Les sites de test utilisés pour les tests et le développement ne devraient idéalement pas être indexés
Fuites accidentelles et importance de la configuration DNS
Mueller et Illyes discutent du maintien des sites de mise en scène cachés des moteurs de recherche et partagent des anecdotes de fuites accidentelles du passé de Google. Ils parlent du lancement du tableau de bord de l’état de la recherche de Google et des stratégies pour le dissimuler avant sa sortie officielle. Illyes dit qu’ils n’ont « littéralement rien » pour garder le tableau de bord secret avant de l’annoncer à tout le monde. Il était en ligne depuis des mois et personne ne l’a remarqué car aucun lien ne pointait vers lui. Illyes déclare : « Si vous n’êtes pas lié à quelque chose sur Internet, il est très difficile de le remarquer, ou vous ne le mentionnez nulle part, et c’est ce que nous faisions. Ne le mentionner nulle part, ne pas le lier, ne pas l’avoir dans des fichiers JavaScript aléatoires. Et au fait, c’est une raison de plus de ne pas faire de JavaScript. Et ça a juste marché, c’était risqué, je dirais. Sassman ajoute qu’il n’y avait pas de sitemap pour le nouveau tableau de bord Google, ce qui le rendait encore plus difficile à trouver. La conversation aborde également le rôle critique de la configuration DNS et la distinction entre l’utilisation d’un sous-domaine et d’un nouveau domaine. Malgré les risques associés à leur stratégie de lancement, les hôtes conviennent que les conséquences potentielles étaient minimes.
Emporter : Un moyen viable, mais risqué, d’empêcher un site de mise en scène de le fuir pour ne pas le mentionner ou le lier de n’importe où.
Autres moyens de bloquer les sites de développement
Illyes explique que robots.txt est généralement suffisant pour empêcher les moteurs de recherche d’explorer les sites de développement. Interrogé sur les méthodes alternatives pour garder un site caché avant le lancement, Illyes suggère d’utiliser une balise noindex sur chaque page. Vous pouvez également utiliser une protection par mot de passe ou des listes d’adresses IP autorisées pour les sites de développement. Cela a conduit à une histoire de Mueller sur l’utilisation d’adresses IP statiques pour l’accès au backend du serveur, ce qui a entraîné une perte d’accès lorsque son adresse IP a changé.
Lancer des sites avec un grand nombre de pages et choisir des noms de domaine
Image en vedette : sacs/Shutterstock
Source : Recherche Off The Record