Google ajoute un nouveau robot nommé GoogleOther pour aider Googlebot

Google a ajouté un nouveau crawler à sa liste de Google Crawlers et user agents, celui-ci se nomme GoogleOther. Il est décrit comme un « crawler générique qui peut être utilisé par diverses équipes produit pour récupérer du contenu accessible au public à partir de sites ». Par exemple, il peut être utilisé pour des explorations ponctuelles pour la recherche et le développement internes, a expliqué Google.

Le robot d’exploration GoogleOther obéit toujours aux règles robots.txt pour son jeton d’agent utilisateur et l’agent utilisateur global, et utilise les mêmes plages d’adresses IP que Googlebot. Le jeton de l’agent utilisateur est « GoogleOther » et la chaîne complète de l’agent utilisateur est « GoogleOther ».

explore pour libérer une certaine capacité d’exploration pour Googlebot. » Gary a écrit  : « Nous avons ajouté un nouveau robot d’exploration, GoogleOther, à notre liste de robots d’exploration qui, en fin de compte, soulageront Googlebot. C’est un changement sans opération pour vous, mais c’est intéressant Néanmoins, je pense.

Alors que nous optimisons comment et ce que Googlebot explore, nous voulions nous assurer que les tâches d’exploration de Googlebot ne sont utilisées qu’en interne pour créer l’index utilisé par la recherche. Pour cela, nous avons ajouté un nouveau robot d’exploration, GoogleOther, qui remplacera certains des autres travaux de Googlebot, tels que les explorations R&D, pour libérer de la capacité d’exploration pour Googlebot. Le nouveau robot d’exploration utilise la même infrastructure que Googlebot et présente donc les mêmes limitations et fonctionnalités que Googlebot  : limitations de charge d’hôte, robotstxt (bien que jeton d’agent utilisateur différent), version du protocole http, taille de récupération, nommez-le.

Il s’agit essentiellement de Googlebot sous un nom différent. « Il n’y a aucun commentaire sur l’utilisation ou non de ce robot pour Google Bard. Donc, si vous voyez ce nouveau robot, GoogleOther, c’est de cela qu’il s’agit.

Je pense qu’ils auraient dû nommer il « MiniMeGoogleBot. »Forum de discussion sur LinkedIn.

Tags: