Comment diagnostiquer les problèmes techniques d'indexation

Un ordre de priorités pour le rapport d'indexation des pages dans Search Console : quoi corriger en premier, comment confirmer les causes avec l'inspection d'URL, et quand s'arrêter.

Diagnostiquez les problèmes d'indexation à partir des pages dont vous avez besoin, et non à partir des totaux du rapport. Dressez la liste des URL qui comptent, déterminez lesquelles ne sont pas indexées et pourquoi, puis traitez les causes par ordre de gravité : d'abord les erreurs de serveur et d'accès, ensuite les blocages accidentels, les conflits de canonique, les pages assimilées à des erreurs et, enfin, les pages que Google a simplement choisi de ne pas indexer. Confirmez chaque correction par un test en direct dans l'inspection d'URL avant de demander à Google de la valider.

Ce guide suppose que vous connaissez les statuts décrits dans Comprendre l'indexation.

Étape 1 : dresser la liste des URL qui comptent

Le rapport d'indexation des pages compte toutes les URL que Google connaît, y compris les paramètres, les anciennes adresses et les pages que vous n'avez jamais voulu publier. Un nombre élevé de pages « non indexées » est normal, et Google le dit clairement : toutes les URL n'ont pas vocation à être indexées (Page indexing report). Partez donc de votre propre liste :

Les pages qui génèrent du trafic : les 50 à 100 premières de Performance → Pages sur trois mois.
Les pages qui rapportent de l'argent : pages produit, tarifs, services et lieux, quel que soit leur trafic.
Les nouvelles pages : tout ce qui a été publié au cours des 90 derniers jours.
Vos sitemaps : ils doivent lister exactement les URL canoniques que vous voulez voir indexées. Vous pouvez filtrer le rapport d'indexation des pages par sitemap pour voir combien de ses URL sont indexées, et chaque sitemap du rapport Sitemaps renvoie vers la couverture d'indexation de ses URL.

Étape 2 : repérer celles qui ne sont pas indexées

Pour une liste courte, inspectez chaque URL dans l'inspection d'URL. Pour une liste plus longue, ouvrez le rapport d'indexation des pages filtré sur votre sitemap et passez en revue chaque motif en vérifiant lesquelles de vos URL importantes figurent dans ses exemples. Notez pour chaque URL son motif et la source de ce motif. Règle générale de Google : vous ne pouvez en principe corriger que les problèmes dont la source est indiquée comme « Site web ».

Étape 3 : traiter les causes dans l'ordre

Corrigez les causes dans cet ordre. Chaque niveau peut masquer le suivant, et les premiers touchent le plus de pages à la fois.

Ordre	Statut	À vérifier d'abord	Correction habituelle
1	Erreur de serveur (5xx)	Les journaux du serveur et l'état de l'hébergement aux heures d'exploration de Google	Corriger la capacité ou les plantages ; des réponses 5xx répétées ralentissent aussi l'exploration par Google
2	Erreur de redirection	La chaîne de redirection complète de l'URL	Rediriger en une seule étape vers l'URL finale ; supprimer les boucles
3	Bloquée en raison d'une requête non autorisée (401), accès interdit (403) ou autre erreur 4xx	Pages protégées par identifiant, règles de pare-feu ou de protection anti-bots	Laisser Googlebot accéder aux pages publiques
4	URL marquée « noindex »	La balise meta robots de la page et son en-tête `X-Robots-Tag`	Retirer noindex des pages qui doivent être positionnées
5	URL bloquée par le fichier robots.txt	La règle robots.txt correspondante	Supprimer la règle pour les pages qui doivent être explorées
6	Doublon, Google a choisi une URL canonique différente de celle de l'utilisateur	L'URL désignée par votre balise canonique, vos redirections, votre sitemap et vos liens internes	Faire pointer tous les signaux vers la même URL
7	Soft 404	Ce que la page affiche lorsque Googlebot la récupère	Une vraie 404 pour les pages absentes ; un vrai contenu pour les vraies pages
8	Explorée, actuellement non indexée	Si la page apporte quelque chose que vos autres pages et vos concurrents n'apportent pas	L'améliorer, ou la fusionner avec une page plus solide
9	Détectée, actuellement non indexée	Si une page explorée renvoie un lien vers elle	Créer des liens vers elle depuis des pages explorées ; sur de très grands sites, gérer l'exploration

Diagnostiquer une URL avec l'inspection d'URL

Pour chaque URL importante de votre liste, effectuez les mêmes cinq vérifications (URL Inspection tool) :

Lisez le verdict et le motif. « L'URL est inconnue de Google » signifie que Google n'a pas vu l'adresse du tout : le travail porte alors sur la découverte. Créez des liens vers elle depuis des pages que Google explore déjà et ajoutez-la à votre sitemap.
Comparez les canoniques. Si la canonique sélectionnée par Google diffère de celle que vous avez déclarée, Google indexe une autre URL à la place de celle-ci. Examinez cette autre URL avant de modifier quoi que ce soit.
Vérifiez l'exploration. Notez la date de la dernière exploration, si Google a exploré la page en tant que mobile ou ordinateur, si l'exploration était autorisée et si la récupération de la page a réussi. Une précaution : lorsque robots.txt bloque l'exploration, « Indexation autorisée ? » indique toujours oui, car Google ne peut pas voir un noindex sur une page qu'il n'a pas le droit de récupérer.
Lancez Tester l'URL en direct. L'affichage par défaut décrit la dernière version indexée, qui peut être ancienne. Le test en direct récupère la page à l'instant et montre une capture d'écran de la page rendue, ce qui est le moyen le plus rapide de repérer un contenu qui n'apparaît que pour les utilisateurs connectés ou lorsqu'un script échoue.
Ne demandez l'indexation qu'après une correction. Google applique un quota quotidien et précise que des demandes répétées pour la même URL n'accélèrent rien (Ask Google to recrawl).

Notes sur les statuts les plus difficiles

Bloquée par robots.txt ne veut pas dire exclue de l'index. Le fichier robots.txt contrôle l'exploration, pas l'indexation : une URL bloquée vers laquelle d'autres pages font des liens peut quand même être indexée, sans son contenu. Pour garder une page hors de Google, autorisez l'exploration et utilisez noindex, dans une balise meta ou un en-tête X-Robots-Tag (Block indexing). N'oubliez pas que la suppression n'a lieu que lorsque Google réexplore la page, ce qui peut prendre un certain temps.

Les conflits de canonique sont généralement involontaires. Google considère les redirections et rel="canonical" comme des signaux forts, l'inclusion dans un sitemap comme un signal faible, et il privilégie HTTPS (Consolidate duplicate URLs). Le conflit typique : une balise canonique désigne une URL alors que la navigation, le sitemap et les liens internes utilisent une variante (barre oblique finale, majuscules, paramètre de suivi, http://). Faites en sorte que tout concorde et le conflit se résout généralement à la prochaine exploration.

Les soft 404 sont de deux types. Certaines sont de véritables pages absentes, comme un modèle « article introuvable » qui renvoie un code 200 ; elles doivent renvoyer 404 ou 410. D'autres sont de vraies pages qui paraissent vides à Google, comme une catégorie sans produits ou une page dont le contenu se charge après l'échec d'un script ; il leur faut un contenu que Google puisse voir, ce que la capture d'écran du test en direct permettra de confirmer.

« Explorée, actuellement non indexée » est un jugement, pas une erreur. Google a exploré la page et a décidé, pour l'instant, de ne pas la conserver ; elle pourra ou non être indexée plus tard. Demandez-vous honnêtement ce que la page apporte. Les variantes minces d'autres pages, les pages de tags avec deux articles et les articles qui répètent ce que disent dix autres sites en sont les habitués. Rendez la page nettement meilleure ou différente, ou fusionnez-la avec une page qui l'est déjà.

« Détectée, actuellement non indexée » tient généralement aux liens. Google connaît l'URL mais ne l'a pas encore explorée. Sur la plupart des sites, la solution consiste à créer des liens vers la page depuis des pages que Google explore déjà et à la maintenir dans le sitemap. Le guide de Google sur le budget d'exploration s'adresse à un groupe plus restreint : les sites de plus d'un million de pages mises à jour chaque semaine, ou de plus de 10 000 pages mises à jour chaque jour (Managing crawl budget). Si c'est votre cas, réduisez l'inventaire d'URL : regroupez les doublons, bloquez l'exploration des URL qui ne devraient jamais être récupérées, renvoyez 404 ou 410 pour les pages supprimées et corrigez les soft 404, qui continuent d'être explorées.

Étape 4 : valider la correction

Lorsque les URL d'un motif sont corrigées, ouvrez ce motif dans le rapport d'indexation des pages et cliquez sur Valider la correction, une seule fois. Google vérifie d'abord quelques pages échantillons ; si le problème persiste, la validation s'arrête. Sinon, il revérifie toutes les URL concernées connues et marque chacune comme réussie ou échouée. Google indique que la validation prend en général jusqu'à environ deux semaines, et parfois beaucoup plus. Il peut aussi constater des corrections lors de l'exploration normale, sans demande de validation.

Quand s'arrêter

Cessez de poursuivre un statut lorsque les URL concernées n'ont pas besoin d'être indexées (paramètres, vues filtrées, résultats de recherche interne, anciennes redirections) ou lorsqu'une page a été améliorée, liée et soumise à nouveau et que Google la refuse encore après un ou deux mois. À ce stade, le plus utile est généralement de fusionner la page avec une page plus solide et de la rediriger, plutôt que de redemander l'indexation.

Comment AutoPSEO vous aide

AutoPSEO transforme l'étape 2 en contrôle permanent. L'Index Tracker conserve jusqu'à 1 800 URL de votre choix, en réinspecte jusqu'à 200 chaque jour via l'URL Inspection API (la vérification la plus ancienne d'abord, dans la limite de 2 000 inspections par propriété et par jour fixée par Google), et signale les pages désindexées au cours des 30 derniers jours ainsi que celles que Google n'a pas explorées depuis 120 jours. Une alerte Index flip est envoyée sur Slack, Microsoft Teams ou un webhook lorsqu'une URL suivie sort de l'index ou y revient (alertes). L'inspection d'URL et les sitemaps fonctionnent directement dans l'application, et les problèmes d'exploration Bing montrent le même type de problèmes du point de vue de Bing.

Pour les nouvelles pages, IndexNow signale les URL modifiées à Bing et aux autres moteurs qui le prennent en charge ; Google ne participe pas à IndexNow, de sorte que les sitemaps et les liens internes restent le moyen d'atteindre Google. Les articles issus du moteur de contenu sont livrés sur votre propre site, qui les publie et les relie comme n'importe quelle autre page ; lorsque votre site déclare une clé IndexNow, AutoPSEO notifie IndexNow de chaque adresse publiée ou mise à jour sur votre hôte et enregistre la réponse d'IndexNow (Livraison).