En réponse à une question sur la raison pour laquelle les outils de référencement n’affichent pas tous les backlinks, l’avocat de la recherche de Google, John Mueller, déclare qu’il est impossible d’explorer l’ensemble du Web. Ceci est indiqué dans un commentaire sur Reddit dans un fil de discussion lancé par un professionnel du référencement frustré. Ils demandent pourquoi tous les liens pointant vers un site ne sont pas trouvés par un outil de référencement qu’ils utilisent. Quel outil la personne utilise n’est pas important. Comme nous l’apprend Mueller, il n’est pas possible pour quelconque outil pour découvrir 100% des liens entrants d’un site web. Voici pourquoi.
Il n’y a aucun moyen d’explorer le Web « correctement »
Mueller dit qu’il n’y a pas de manière objectivement correcte d’explorer le Web car il a un nombre infini d’URL. Personne n’a les ressources nécessaires pour conserver une quantité infinie d’URL dans une base de données, donc les robots d’exploration Web essaient de déterminer ce qui vaut la peine d’être exploré. « Il n’existe aucun moyen objectif d’explorer correctement le Web. Il est théoriquement impossible de tout explorer, car le nombre d’URL réelles est effectivement infini. Étant donné que personne ne peut se permettre de conserver un nombre infini d’URL dans une base de données, tous les robots d’exploration Web font des hypothèses, des simplifications et des suppositions sur ce qui vaut réellement la peine d’être exploré. Et même dans ce cas, pour des raisons pratiques, vous ne pouvez pas explorer tout cela tout le temps, Internet n’a pas assez de connectivité et de bande passante pour cela, et cela coûte très cher si vous souhaitez accéder régulièrement à de nombreuses pages. (pour le crawler et pour le propriétaire du site). Après cela, certaines pages changent rapidement, d’autres n’ont pas changé depuis 10 ans. Les crawlers essaient donc d’économiser leurs efforts en se concentrant davantage sur les pages qu’ils s’attendent à changer, plutôt que sur celles qu’ils s’attendent à ne pas changer.
Comment les robots d’exploration Web déterminent ce qui vaut la peine d’être exploré
Mueller poursuit en expliquant comment les robots d’exploration Web, y compris les moteurs de recherche et les outils de référencement, déterminent quelles URL valent la peine d’être explorées. « Et puis, nous abordons la partie où les robots essaient de déterminer quelles pages sont réellement utiles. Le Web est rempli de déchets dont personne ne se soucie, de pages qui ont été spammées jusqu’à devenir inutiles. Ces pages peuvent encore changer régulièrement, elles peuvent avoir des URL raisonnables, mais elles sont juste destinées à la décharge, et tout moteur de recherche qui se soucie de leurs utilisateurs les ignorera. Parfois, il ne s’agit pas seulement de bric-à-brac non plus. De plus en plus, les sites sont techniquement corrects, mais n’atteignent tout simplement pas « la barre » d’un point de vue de la qualité pour mériter d’être explorés davantage.
Les robots d’exploration Web fonctionnent avec un ensemble limité d’URL
Mueller conclut sa réponse en disant que tous les robots d’exploration Web fonctionnent sur un ensemble « simplifié » d’URL. Puisqu’il n’y a pas de manière correcte d’explorer le Web, comme mentionné précédemment, chaque outil de référencement a sa propre façon de décider quelles URL valent la peine d’être analysées. C’est pourquoi un outil peut découvrir des backlinks qu’un autre outil n’a pas trouvés. « Par conséquent, tous les robots d’exploration (y compris les outils de référencement) fonctionnent sur un ensemble d’URL très simplifié, ils doivent déterminer la fréquence d’exploration, les URL à explorer plus souvent et les parties du Web à ignorer. Il n’y a pas de règles fixes pour tout cela, donc chaque outil devra prendre ses propres décisions en cours de route. C’est pourquoi les moteurs de recherche ont des contenus indexés différents, pourquoi les outils de référencement répertorient différents liens, pourquoi toutes les mesures construites sur ceux-ci sont si différentes.
La source : Reddit Image en vedette : rangizzz/Shutterstock