Comment vérifier mon fichier robots.txt dans Google Search Console ?

Q: Comment vérifier mon fichier robots.txt dans Google Search Console ?

Ouvrez le rapport robots.txt dans Paramètres pour voir chaque fichier trouvé par Google, la date de la dernière récupération et les erreurs d'analyse. Vérifiez une URL précise avec l'inspection d'URL.

Ouvrez Paramètres, puis le rapport robots.txt. Il liste les fichiers robots.txt que Google a trouvés pour votre site, la date de leur dernière vérification, la réussite ou l'échec de la récupération, la taille du fichier et les lignes que Google n'a pas pu analyser. Pour savoir si une URL en particulier est bloquée, inspectez-la et consultez le champ Exploration autorisée ?. L'outil de test du fichier robots.txt autonome que décrivent les anciens guides ne fait plus partie des outils de Search Console.

Ce que montre le rapport

D'après l'aide de Google sur le rapport robots.txt :

Il n'est disponible que pour les propriétés de niveau domaine : une propriété Domaine, ou une propriété de préfixe d'URL sans chemin (https://example.com/, et non https://example.com/shop/).
Pour une propriété Domaine, il couvre les 20 principaux hôtes en fonction de leur taux d'exploration, puisque chaque hôte possède son propre fichier.
Pour chaque fichier, vous voyez son chemin, son statut de récupération, la date de sa dernière vérification, sa taille en octets et le nombre de problèmes. Les erreurs conduisent Google à ignorer une règle ; les avertissements, non.
Les fichiers apparaissent si Google les a récupérés, ou a tenté de le faire, au cours des 30 derniers jours.

Statut	Signification
Récupéré	Google a obtenu le fichier. Il ignore les lignes qu'il n'a pas pu analyser et utilise les autres
Non récupéré : introuvable (404)	Il n'y a pas de fichier, ce qui ne pose pas de problème : Google peut explorer toutes les URL
Non récupéré : toute autre raison	Un autre problème est survenu ; voir le tableau ci-dessous

Après une modification du fichier

Google met généralement le fichier robots.txt en cache pendant 24 heures au plus, de sorte qu'une modification n'est pas instantanée. Si vous avez débloqué des URL importantes ou corrigé une erreur de récupération, ouvrez le menu du fichier dans le rapport et choisissez Demander une nouvelle exploration. Sinon, ce n'est pas nécessaire : Google récupère souvent à nouveau le fichier robots.txt.

Comment Google traite un fichier robots.txt défaillant

Ce que Google reçoit	Ce qui se passe
Une réponse 2xx	Les règles sont appliquées
Une redirection	Google suit au moins cinq redirections, puis traite une chaîne non résolue comme une erreur 404
Une erreur 4xx autre que 429	Traitée comme si le fichier n'existait pas : rien n'est bloqué
Une erreur 5xx ou une défaillance réseau	L'exploration s'arrête pendant 12 heures, puis la dernière copie valide est utilisée pendant 30 jours au maximum ; passé ce délai, si le site est par ailleurs disponible, Google agit comme s'il n'y avait pas de fichier
Un fichier de plus de 500 Kio	Tout ce qui dépasse la limite est ignoré

Source : How Google interprets robots.txt. La ligne 5xx est celle qu'il faut redouter : un serveur qui renvoie une erreur sur ce seul fichier peut suspendre l'exploration de l'ensemble du site.

Tester les règles avant leur mise en ligne

Pour une URL déjà en ligne, le champ Exploration autorisée ? de l'inspection d'URL donne la réponse la plus rapide.
Pour un brouillon de fichier, Google renvoie les développeurs vers sa bibliothèque robots.txt open source afin de le tester en local.
Lorsque des règles entrent en conflit, Google applique la plus spécifique, c'est-à-dire celle dont le chemin correspondant est le plus long ; à spécificité égale, la moins restrictive l'emporte.

Ce que robots.txt ne peut pas faire

Le fichier robots.txt contrôle l'exploration, pas l'indexation. Google précise qu'il n'est pas un moyen d'exclure une page de Google : une URL bloquée peut tout de même être indexée, sans description, si d'autres pages pointent vers elle. Pour exclure une page des résultats, utilisez noindex ou une protection par mot de passe, comme expliqué dans la suppression d'une URL.

Ce qu'apporte AutoPSEO

L'inspection d'URL en masse d'AutoPSEO affiche l'état du fichier robots.txt tel que Google le signale pour chaque URL, jusqu'à 500 URL par exécution à partir d'une liste collée ou d'un sitemap. Vous pouvez ainsi vérifier rapidement qu'une modification de règle n'a pas bloqué une section entière par erreur.