L'indexation expliquée : comment Google explore, indexe et signale les pages

Comment une URL passe de sa découverte à l'index de Google, ce que signifie chaque statut du rapport d'indexation des pages et lesquels exigent une correction, d'après la documentation de Google.

L'indexation consiste, pour Google, à stocker une page afin qu'elle puisse apparaître dans les résultats de recherche. Pour en arriver là, Google doit d'abord découvrir l'URL, l'explorer et, le plus souvent, en effectuer le rendu. Il détermine ensuite si la page duplique une autre URL et si elle mérite d'être conservée. Le rapport d'indexation des pages de Search Console indique à quelle étape de ce parcours chacune de vos URL s'est arrêtée, ainsi que le motif donné par Google.

De l'URL au résultat de recherche

La description du fonctionnement de la Recherche par Google découpe le parcours en étapes que vous pouvez vérifier une à une.

Découverte. Il n'existe aucune liste centrale des pages web : Google cherche donc en permanence de nouvelles pages. Il en trouve la plupart grâce aux liens présents sur des pages qu'il connaît déjà et aux sitemaps soumis par les propriétaires de sites.
Exploration. Googlebot récupère l'URL, à condition que le fichier robots.txt l'autorise. Google limite sa vitesse d'exploration pour ne pas surcharger votre serveur, et les erreurs serveur le conduisent à ralentir encore davantage.
Rendu. Google exécute le JavaScript de la page avec une version récente de Chrome, car certains contenus n'existent qu'après l'exécution des scripts.
Indexation. Google analyse le contenu, regroupe les pages en doublon ou quasi identiques, en choisit une comme canonique, puis la stocke. Il peut aussi décider de ne pas indexer une page, par exemple parce que son contenu est de faible qualité ou parce qu'une règle meta robots l'interdit.
Diffusion. Pour chaque recherche, Google sélectionne des résultats dans l'index. Être indexée rend une page éligible à l'affichage, sans garantir qu'elle apparaîtra.

Google précise clairement qu'il ne garantit aucune de ces étapes pour aucune page. Ce que vous pouvez faire, c'est lever les obstacles et lui donner de bonnes raisons de poursuivre.

Lire le rapport d'indexation des pages

Le rapport répartit les URL connues de Google entre Indexées et Non indexées, et indique un motif pour chaque groupe d'URL non indexées (Rapport d'indexation des pages). Deux principes issus des consignes de Google doivent guider votre lecture :

Non indexée ne signifie pas forcément problème. Google invite les propriétaires de sites à ne pas s'attendre à ce que toutes les URL soient indexées. Les doublons, les adresses redirigées et les pages sans contenu significatif ont vocation à rester en dehors de l'index. L'essentiel est que vos pages clés y figurent.
Regardez la Source. Chaque motif indique si la cause vient du site web ou des systèmes de Google. En règle générale, vous ne pouvez corriger que les motifs dont la source est « Site web ».

La bonne question n'est donc jamais « pourquoi mon nombre de pages non indexées est-il élevé ? », mais « certaines des pages dont j'ai besoin figurent-elles dans cette liste, et pourquoi ? ».

Que signifie chaque statut

Les motifs de Google se répartissent en cinq groupes. La réponse à apporter dépend bien plus du groupe que de la formulation exacte.

Vous avez demandé à Google de ne pas indexer la page

Statut	Ce qui s'est passé	Action
URL marquée « noindex »	La page porte une règle noindex	Aucune si c'est voulu ; supprimez la règle si la page doit se positionner
URL bloquée par le fichier robots.txt	Le fichier robots.txt empêche Google de l'explorer	Bloquer l'exploration ne garantit pas que la page reste hors de l'index
Page alternative avec balise canonique appropriée	La page désigne une autre URL comme canonique, et Google est d'accord	Aucune
Page avec redirection	L'URL redirige ailleurs, elle n'est donc pas indexée elle-même	Aucune, tant que la cible est bien la page que vous voulez indexer

Google n'a pas pu la récupérer

Statut	Ce qui s'est passé	Action
Erreur serveur (5xx)	Votre serveur a renvoyé une erreur de type 500	Corrigez le serveur ; des erreurs répétées ralentissent aussi l'exploration
Erreur de redirection	Une chaîne de redirections était trop longue, bouclait ou menait vers une URL incorrecte ou vide	Faites pointer la redirection directement vers l'URL finale
Bloquée en raison d'une requête non autorisée (401), d'un accès interdit (403) ou d'un autre problème 4xx	La page a refusé l'accès à Googlebot	Levez l'obstacle si la page doit être publique
Introuvable (404)	L'URL a renvoyé une erreur 404	Normal pour les pages supprimées ; corrigez les liens si la page existe toujours ailleurs

Google a choisi une autre URL

Statut	Ce qui s'est passé	Action
Doublon sans URL canonique sélectionnée par l'utilisateur	Google considère la page comme un doublon et a retenu une autre canonique	En général aucune ; Google indique que c'est le fonctionnement attendu
Doublon : Google a choisi une URL canonique différente de celle de l'utilisateur	Vous avez désigné une canonique, mais Google a préféré une autre URL	Harmonisez vos signaux (voir ci-dessous)

Google n'a pas encore tranché en votre faveur

Statut	Ce qui s'est passé	Action
Détectée, actuellement non indexée	Google connaît l'URL mais ne l'a pas encore explorée, souvent reportée pour éviter de surcharger le site	Ajoutez des liens vers elle depuis des pages explorées ; sur les très grands sites, gérez l'exploration
Explorée, actuellement non indexée	Google a exploré la page sans l'indexer, et il pourra ou non le faire plus tard	Rendez la page nettement utile et distincte, ou fusionnez-la avec une page plus solide

Le contenu paraît anormal

Statut	Ce qui s'est passé	Action
Soft 404	La page répond 200 mais ressemble à une page d'erreur ou vide	Renvoyez un vrai code 404 pour les pages absentes, ou donnez un vrai contenu aux pages réelles
Page indexée sans contenu (avertissement)	Indexée, mais Google n'a pas pu lire le contenu	Vérifiez ce que reçoit Googlebot avec l'inspection d'URL
Indexée malgré le blocage par le fichier robots.txt (avertissement)	Indexée alors que robots.txt la bloque	Pour la garder hors de l'index, autorisez l'exploration et ajoutez noindex

La dernière ligne piège beaucoup de monde. Google ne peut voir une règle noindex que sur une page qu'il a le droit d'explorer ; bloquer une page dans robots.txt tout en y ajoutant noindex revient donc à ce que le noindex ne soit jamais lu (Bloquer l'indexation avec noindex).

Quand Google choisit une autre canonique

Les balises canoniques sont des signaux, pas des ordres. Google en pondère plusieurs : les redirections et rel="canonical" sont des signaux forts, la présence dans un sitemap en est un faible, et il préfère les adresses HTTPS aux adresses HTTP (Regrouper les URL en double). Lorsque vos signaux se contredisent, par exemple une balise canonique pointant vers une URL alors que vos liens internes et votre sitemap en utilisent une autre, Google tranche de son côté. Faites en sorte que tous les signaux désignent la même URL, et pointez vos liens internes vers elle. N'utilisez ni robots.txt ni noindex pour choisir une canonique : noindex retire entièrement la page de la Recherche.

Vérifier une URL avec l'inspection d'URL

Le rapport d'indexation des pages présente des groupes ; l'inspection d'URL détaille une seule URL (Outil d'inspection d'URL). Elle indique si l'URL est indexée, la canonique que vous avez déclarée et celle que Google a retenue, la date de la dernière exploration et le type d'agent utilisateur (mobile ou ordinateur), si robots.txt autorise l'exploration, si la récupération a réussi et si l'indexation est autorisée.

Deux précautions. D'abord, la vue par défaut décrit la dernière version indexée, qui peut être obsolète ; Tester l'URL en direct récupère la page à l'instant même, ce qui permet de confirmer une correction, même si un test en direct réussi ne garantit pas l'indexation. Ensuite, lorsque robots.txt bloque l'exploration, « Indexation autorisée ? » affiche toujours oui, car Google ne peut pas voir une règle noindex qu'il n'a pas eu le droit de récupérer.

Demander une indexation invite Google à explorer à nouveau l'URL. Cette action est soumise à un quota quotidien, et Google précise que demander plusieurs fois l'exploration de la même URL ne la fera pas avancer plus vite (Demander à Google de réexplorer vos URL). Pour de nombreuses URL, soumettez plutôt un sitemap à jour.

Combien de temps l'indexation prend-elle ?

Google donne des fourchettes plutôt que des promesses. L'indexation d'une nouvelle page peut prendre quelques jours et n'est jamais instantanée, même après une demande directe. Un nouveau site peut nécessiter environ une semaine pour être exploré et indexé, et une réexploration prend de quelques jours à plusieurs semaines. Lorsque vous corrigez un problème et cliquez sur Valider la correction, la vérification prend généralement jusqu'à deux semaines environ. Si une page importante est toujours absente au bout d'un mois, suivez le guide pratique sur les problèmes techniques d'indexation plutôt que de redemander l'indexation.

Aider Google à trouver et à conserver vos pages

Ajoutez des liens vers les nouvelles pages depuis des pages que Google explore déjà, comme votre page d'accueil, vos pages de catégorie ou des articles connexes. Les liens sont le principal moyen par lequel Google découvre les URL.
Limitez les sitemaps aux URL canoniques, écrites sous forme d'adresses absolues complètes, avec au maximum 50 000 URL ou 50 Mo non compressés par fichier. Google utilise <lastmod> lorsque cette valeur est systématiquement exacte, et ignore <priority> et <changefreq> (Créer un sitemap).
Donnez une seule URL à chaque contenu, en veillant à ce que redirections, balises canoniques, sitemaps et liens internes concordent.
Renvoyez un vrai code 404 ou 410 pour les pages supprimées, plutôt qu'une page vide avec un statut 200.
Ne vous préoccupez du budget d'exploration qu'à grande échelle. Le guide de Google sur le budget d'exploration s'adresse aux sites de plus d'un million de pages mises à jour chaque semaine, ou de plus de 10 000 pages mises à jour chaque jour.

Ce qu'apporte AutoPSEO

AutoPSEO exécute l'inspection d'URL directement depuis l'application, dans la limite du quota quotidien de Google de 2 000 inspections par propriété. L'Index Tracker conserve une liste d'un maximum de 1 800 URL de votre choix et en réinspecte jusqu'à 200 par jour, en commençant par celles qui n'ont pas été vérifiées depuis le plus longtemps. Il vous avertit lorsqu'une URL a été désindexée au cours des 30 derniers jours ou n'a pas été explorée depuis 120 jours, et peut déclencher une alerte « Index flip » dans Slack, Teams ou un webhook lorsqu'une URL suivie sort de l'index ou y revient. IndexNow prévient Bing et les autres moteurs qui le prennent en charge ; Google ne participe pas à IndexNow, de sorte que, pour Google, le sitemap et les liens internes restent la voie d'accès.

Les articles rédigés par le moteur de contenu sont livrés sur votre propre site, qui les publie et les relie comme n'importe quelle autre page. Lorsque votre site déclare une clé IndexNow, AutoPSEO notifie IndexNow de chaque adresse nouvelle ou mise à jour sur votre hôte (Livraison).