Google Search Console mostra il mio crawl budget?

No. Search Console non ha alcun valore di crawl budget, perché il crawl budget non è un limite fisso. Google lo descrive come l'insieme degli URL che può e vuole scansionare sul tuo sito, determinato da quanta scansione il tuo server può sostenere e da quanto Google desidera le tue pagine. La maggior parte dei siti non ha mai bisogno di pensarci: la guida di Google sull'argomento è scritta per siti con oltre un milione di pagine, oppure con oltre 10.000 pagine che cambiano ogni giorno.

Che cosa determina il tuo crawl budget

• Limite della capacità di scansione. Quante connessioni apre Google e per quanto tempo le mantiene. Ogni sito parte dalla stessa impostazione prudente, che aumenta finché il server risponde rapidamente e diminuisce con risposte lente, errori 5xx e limitazioni di frequenza 429.
• Domanda di scansione. Quanto Google desidera i tuoi URL: quanto sono popolari, con che rapidità diventano obsoleti e quanta parte del tuo inventario di URL sembra valere la scansione. Gli URL duplicati e indesiderati sprecano domanda. Una migrazione del sito la aumenta per un certo periodo.

Ogni hostname ha il proprio budget, quindi www.example.com e shop.example.com vengono scansionati separatamente.

Il tuo sito deve preoccuparsene?

Google indica tre situazioni, definendole stime approssimative e non soglie:

1. Siti con più di un milione di pagine uniche il cui contenuto cambia circa ogni settimana.
2. Siti con più di 10.000 pagine uniche il cui contenuto cambia ogni giorno.
3. Siti in cui una larga quota di URL si trova in Rilevata, ma non indicizzata.

Se le tue nuove pagine vengono di solito scansionate il giorno stesso della pubblicazione, il crawl budget non è il tuo problema. In quel caso, le pagine non indicizzate sono molto più probabilmente frenate da duplicazione, qualità o configurazione.

Dove Search Console mostra i segnali d'allarme

• Statistiche di scansione (in Impostazioni): richieste in calo con tempi di risposta in aumento, problemi di stato dell'host e la ripartizione tra scansione di scoperta e di aggiornamento. Vedi Statistiche di scansione.
• Indicizzazione delle pagine: un conteggio elevato o in crescita di Rilevata, ma non indicizzata. Vedi questo motivo spiegato.
• Controllo URL: un messaggio Hostload exceeded significa che Google si è trattenuto perché il tuo server era al limite della capacità.

Come far rendere di più la scansione

• Consolida i duplicati, così Google dedica la scansione alle pagine uniche.
• Blocca in robots.txt gli URL che non dovrebbero mai essere scansionati, come le varianti ordinate o filtrate di uno stesso elenco.
• Restituisci 404 o 410 per le pagine eliminate definitivamente e correggi i soft 404, che continuano a essere scansionati.
• Mantieni aggiornate le sitemap, con <lastmod> per le pagine modificate.
• Evita lunghe catene di redirect e rendi le pagine veloci da servire; supportare 304 Not Modified fa risparmiare banda sulle pagine invariate.

Due tattiche diffuse non funzionano. noindex non fa risparmiare crawl budget, perché Google richiede comunque la pagina per leggere il tag. E bloccare le pagine in robots.txt non trasferisce la loro quota ad altre pagine, a meno che il sito non sia già al limite della propria capacità. Per aumentare il budget vero e proprio, aggiungi capacità al server quando vedi Hostload exceeded e rendi i contenuti degni di essere scansionati.

Come ti aiuta AutoPSEO

L'Index Tracker raggruppa gli URL monitorati in base a quanto tempo fa Google li ha scansionati l'ultima volta, da meno di una settimana a oltre 120 giorni, e segnala le pagine indicizzate rimaste non scansionate per 120 giorni o più: il segnale pratico che una sezione viene scansionata meno di quanto pensi. Anche il motore di contenuti di AutoPSEO mantiene snello il tuo inventario di URL. Ogni argomento pianificato viene confrontato con le pagine esistenti prima che venga scritto qualsiasi testo, e due pagine che rispondono alle stesse ricerche possono essere unite, con il vecchio indirizzo reindirizzato a quello che resta. Vedi gli argomenti nel motore di contenuti.

Fonti: la guida al crawl budget di Google e la guida al report Statistiche di scansione.