La réponse 500 sur Robots.txt Fetch peut avoir un impact sur les résultats riches

John Mueller de Google a reçu des commentaires sur un bogue dans la façon dont la Search Console valide les résultats enrichis. Google supprimera les images des résultats enrichis en raison d’une erreur dans la façon dont un CDN qui héberge les images gère une demande pour un fichier robots.txt inexistant. Le bogue qui a été découvert concernait la façon dont la console de recherche et le test de résultats enrichis de Google n’alerteraient pas l’éditeur de l’erreur et donneraient ensuite aux données structurées une validation réussie. Un bogue dans le contexte de la programmation est lorsqu’un logiciel se comporte de manière inattendue. Un bogue n’est pas toujours un problème dans le codage, mais comme dans ce cas, il peut s’agir d’une incapacité à anticiper un problème qui, à son tour, conduit à des résultats inattendus, comme celui-ci. L’éditeur posant la question a essayé d’utiliser les outils de Google pour diagnostiquer la raison pour laquelle leurs résultats riches disparaissaient et a été surpris de constater qu’ils n’étaient d’aucune utilité pour cette erreur particulière. Bien que ce problème affectait l’aperçu de l’image des résultats enrichis de la recette dans les résultats enrichis de la recette de Google, ce problème pouvait également être un problème pour d’autres situations. Il est donc bon d’être conscient de ce problème car il pourrait apparaître d’autres manières.

Les aperçus d’images de résultats enrichis de recettes ont disparu

La personne qui a posé la question a fourni un historique de ce qui s’est passé.

Il a raconté ce qui s’est passé :

l’image manquait. Et il semble qu’il y ait eu un changement chez Google et que si un robots.txt était nécessaire pour que les images soient récupérées, alors rien de ce que nous pouvions voir dans les outils ne disait en fait que quelque chose n’était pas valide. Et donc c’est un peu gênant, quand vous cochez quelque chose pour dire « est-ce un résultat de recette riche valide? » et il dit oui, c’est génial, c’est absolument génial, nous avons toutes les métadonnées. Et vous vérifiez que toutes les URL et toutes les images sont correctes, mais il s’avère qu’en coulisses, il y avait une nouvelle exigence selon laquelle vous aviez un fichier robots.txt.

John Muller a demandé :

« Comment voulez-vous dire que vous deviez avoir un fichier robots.txt ? »

La personne qui pose la question a répondu :

«Ce que nous avons trouvé, c’est que si vous avez demandé le robots.txt à notre CDN, cela vous a donné comme un 500. Lorsque nous y avons mis un robots.txt, immédiatement les aperçus ont commencé à apparaître correctement. Et cela implique de l’explorer et de le mettre sur un site statique, je pense. Donc, sur le plan opérationnel, nous avons trouvé en ajoutant que robots.txt faisait le travail.

John Mueller hocha la tête et dit :

« Ouais ok. Donc, de notre point de vue, ce n’est pas qu’un fichier robots.txt soit nécessaire. Mais il doit avoir un code de résultat approprié. Donc, si vous n’en avez pas, il devrait renvoyer 404. Si vous en avez un, nous pouvons évidemment le lire. Mais si vous renvoyez une erreur de serveur pour le fichier robots.txt, nos systèmes supposeront qu’il y a peut-être un problème avec le serveur et nous n’explorerons pas. Et c’est un peu quelque chose qui est comme ça depuis le début. Mais ce genre de problèmes, en particulier lorsque vous êtes sur un CDN et qu’il se trouve sur un nom d’hôte distinct, est parfois très difficile à repérer. Et j’imagine le test des résultats riches, du moins pour autant que je sache, il se concentre sur le contenu qui se trouve sur la page HTML. Ainsi, le balisage JSON-LD que vous avez là, il ne vérifie probablement pas si les images sont réellement récupérables. Et puis, s’ils ne peuvent pas être récupérés, bien sûr, nous ne pouvons pas non plus les utiliser dans le carrousel. Donc, c’est peut-être quelque chose que nous devons trouver comment mieux mettre en évidence.

La réponse d’erreur 500 pour CDN Robots.txt peut causer des problèmes

C’est l’un de ces problèmes de référencement qui sont difficiles à diagnostiquer, mais qui peuvent causer beaucoup de problèmes négatifs, comme l’a noté la personne qui pose la question. Normalement, une exploration d’un fichier robots.txt qui n’existe pas devrait entraîner un code de réponse du serveur de 404, ce qui signifie que le fichier robots.txt n’existe pas. Donc, si la demande d’un fichier robots.txt génère un code de réponse 500, cela indique que quelque chose sur le serveur ou le CMS est mal configuré. La solution à court terme consiste à télécharger un fichier robots.txt. Mais il peut être judicieux de plonger dans le CMS ou le serveur pour vérifier quel est le problème sous-jacent.

Code de réponse 500 pour une récupération Robots.txt

Les conséquences négatives pour l’aperçu des résultats enrichis des recettes en raison d’un CDN qui renvoie une réponse d’erreur 500 peuvent être un problème rare. Un code de réponse d’erreur de serveur 500 se produit parfois lorsqu’il y a quelque chose d’inattendu ou de manquant dans le code et que le serveur répond en mettant fin au traitement du code et en lançant le code de réponse 500. Par exemple, si vous éditez un fichier PHP et oubliez d’indiquer la fin d’une section de code, cela pourrait amener le serveur à abandonner le traitement du code et à renvoyer une réponse 500. Quelle que soit la raison de la réponse d’erreur lorsque Google a essayé de récupérer le fichier robots.txt, c’est un bon problème à garder à l’esprit pour cette situation rare lorsque cela vous arrive.

Citation

CDN pour les images et le bogue des résultats enrichis de recettes

Regarder à la marque des minutes 51 :45

Tags: , ,