Google a ajouté un document de support pour le robot d’exploration Web que Google utilise pour Duplex, ses fonctionnalités vocales Google Assistant qui peuvent avoir des conversations avec des personnes. L’agent utilisateur du bot s’appelle DuplexWeb-Google et fait désormais partie de l’ensemble moderne des robots d’exploration GoogleBot. Google a écrit que « DuplexWeb-Google est l’agent utilisateur qui prend en charge le service Duplex sur le Web ». Voici comment il rampe :
- Aucun service utilisant l’agent utilisateur DuplexWeb-Google n’effectuera d’achats ou d’autres actions importantes lors de l’exploration de votre site
- Les explorations de l’agent utilisateur DuplexWeb-Google se produisent quelques fois par jour à quelques fois par heure, selon la fonctionnalité en cours d’apprentissage, mais ces exécutions sont calculées pour ne pas surcharger votre site ou perturber votre trafic
- Les explorations de l’agent utilisateur DuplexWeb-Google ne sont pas utilisées par la recherche Google pour l’indexation. Comme ils ne sont pas utilisés pour l’indexation, l’agent utilisateur DuplexWeb-Google ne reconnaît pas la directive noindex
- Google Analytics n’enregistre pas les demandes de page effectuées par l’agent utilisateur DuplexWeb-Google lors de l’exploration et de l’analyse
Google a dit de le bloquer, « vous devez explicitement bloquer l’agent utilisateur DuplexWeb-Google à l’aide de la règle Disallow robots.txt pour l’empêcher d’explorer votre site ». Le bot DuplexWeb suivra l’ensemble de règles robots.txt à l’exception de :
- Lorsque Duplex sur le Web est activé à l’aide de la Search Console (valeur par défaut), l’agent utilisateur DuplexWeb-Google ignore les règles d’interdiction dans les groupes d’agents utilisateur génériques *
- Lorsque Duplex sur le Web est désactivé à l’aide de la Search Console, l’agent utilisateur DuplexWeb-Google respecte les règles d’interdiction dans les groupes d’agents utilisateur génériques *
Juste pour être clair, Duplex n’est pas nouveau, il existe depuis 2018 ou avant. Mais je n’ai jamais vu de détails sur un spider/bot pour Duplex auparavant, je suis sûr qu’il a existé mais je ne l’ai jamais vu. Forum de discussion sur Twitter.