Google Search Console affiche-t-il mon budget de crawl ?
SEO technique
Non. Search Console n'affiche aucun chiffre de budget de crawl, car celui-ci n'est pas une enveloppe fixe. Google le décrit comme l'ensemble des URL qu'il peut et souhaite explorer sur votre site, déterminé par la charge d'exploration que votre serveur peut supporter et par l'intérêt que Google porte à vos pages. La plupart des sites n'ont jamais à s'en soucier : le guide de Google sur le sujet s'adresse aux sites de plus d'un million de pages, ou de plus de 10 000 pages mises à jour chaque jour.
Ce qui détermine votre budget de crawl
- Limite de capacité d'exploration. Le nombre de connexions que Google ouvre et la durée pendant laquelle il les maintient. Tous les sites démarrent avec le même réglage prudent, qui augmente tant que votre serveur répond rapidement et diminue en cas de réponses lentes, d'erreurs
5xxet de limitation de débit429. - Demande d'exploration. L'intérêt que Google porte à vos URL : leur popularité, la vitesse à laquelle leur contenu devient obsolète et la part de votre inventaire d'URL qui semble mériter d'être explorée. Les URL en double ou indésirables gaspillent cette demande. Une migration de site l'augmente pendant un temps.
Chaque nom d'hôte a son propre budget : www.example.com et shop.example.com sont donc explorés séparément.
Votre site doit-il s'en préoccuper ?
Google cite trois situations, qu'il présente comme des estimations approximatives et non comme des seuils :
- Les sites de plus d'un million de pages uniques dont le contenu change environ chaque semaine.
- Les sites de plus de 10 000 pages uniques dont le contenu change chaque jour.
- Les sites dont une grande partie des URL figure dans Détectée, actuellement non indexée.
Si vos nouvelles pages sont généralement explorées le jour même de leur publication, le budget de crawl n'est pas votre problème. Les pages non indexées sont alors bien plus probablement freinées par des doublons, par la qualité du contenu ou par la configuration.
Où Search Console montre les signaux d'alerte
- Statistiques sur l'exploration (dans Paramètres) : baisse du nombre de requêtes avec hausse des temps de réponse, problèmes d'état de l'hôte, et répartition entre exploration de découverte et exploration d'actualisation. Voir Statistiques sur l'exploration.
- Indexation des pages : un nombre élevé ou croissant de pages Détectée, actuellement non indexée. Voir ce motif expliqué.
- Inspection d'URL : un message Charge de l'hôte dépassée signifie que Google s'est retenu parce que votre serveur était à saturation.
Comment tirer le meilleur parti de l'exploration
- Consolidez les doublons, pour que Google consacre son exploration aux pages uniques.
- Bloquez dans
robots.txtles URL qui ne doivent jamais être explorées, comme les variantes triées ou filtrées d'une même liste. - Renvoyez un code
404ou410pour les pages définitivement supprimées, et corrigez les soft 404, qui continuent d'être explorées. - Maintenez vos sitemaps à jour, avec
<lastmod>pour les pages modifiées. - Évitez les longues chaînes de redirections et faites en sorte que vos pages soient rapides à servir ; prendre en charge
304 Not Modifiedéconomise de la bande passante sur les pages inchangées.
Deux tactiques courantes ne fonctionnent pas. noindex n'économise pas de budget de crawl, car Google doit tout de même demander la page pour lire la balise. Et bloquer des pages dans robots.txt ne redistribue pas leur part aux autres pages, sauf si votre site a déjà atteint sa limite de capacité. Pour augmenter le budget lui-même, ajoutez de la capacité serveur lorsque vous voyez Charge de l'hôte dépassée, et rendez votre contenu digne d'être exploré.
Ce qu'apporte AutoPSEO
L'Index Tracker regroupe vos URL suivies selon l'ancienneté de leur dernière exploration par Google, de moins d'une semaine à plus de 120 jours, et signale les pages indexées restées sans exploration depuis 120 jours ou plus : l'indice concret qu'une section est explorée moins souvent que vous ne le pensez. Le moteur de contenu d'AutoPSEO contribue aussi à garder votre inventaire d'URL allégé. Chaque sujet planifié est comparé à vos pages existantes avant toute rédaction, et deux pages qui répondent aux mêmes recherches peuvent être fusionnées, l'ancienne adresse étant redirigée vers celle qui reste. Voir les sujets dans le moteur de contenu.
Sources : le guide du budget de crawl de Google et l'aide du rapport Statistiques sur l'exploration.
Plus dans SEO technique
- Comment vérifier les erreurs d'ergonomie mobile dans Google Search Console ?
- Comment vérifier les données structurées dans Google Search Console ?
- Comment vérifier mon fichier robots.txt dans Google Search Console ?
- Comment trouver et corriger les erreurs 404 dans Google Search Console ?
- Qu'est-ce que le rapport Expérience sur la page dans Google Search Console ?
- Comment vérifier les résultats enrichis dans Google Search Console ?
Mettez votre contenu SEO en pilote automatique
Connectez Search Console et votre site. AutoPSEO l'analyse et planifie aussitôt les premiers sujets. Sans carte bancaire.