Indicizzazione spiegata: come Google esegue la scansione, indicizza e segnala le pagine

Come un URL passa dalla scoperta all'indice di Google, che cosa significa ogni stato di Indicizzazione delle pagine e quali richiedono un intervento, in base alla documentazione di Google.

L'indicizzazione è il processo con cui Google memorizza una pagina in modo che possa comparire nei risultati di ricerca. Perché questo accada, Google deve prima scoprire l'URL, eseguirne la scansione e, di solito, il rendering. Poi decide se la pagina duplica un altro URL e se vale la pena conservarla. Il report Indicizzazione delle pagine di Search Console mostra in quale punto di questo percorso si è fermato ciascuno dei tuoi URL e qual è il motivo indicato da Google.

Dall'URL al risultato di ricerca

La descrizione di Google su come funziona la Ricerca divide il percorso in fasi che puoi verificare una alla volta.

Scoperta. Non esiste un elenco centrale delle pagine web, quindi Google continua a cercarne di nuove. Ne trova la maggior parte attraverso i link provenienti da pagine che già conosce e attraverso le sitemap inviate dai proprietari dei siti.
Scansione. Googlebot recupera l'URL, a patto che il file robots.txt lo consenta. Google limita la velocità di scansione per non sovraccaricare il tuo server e, in presenza di errori del server, rallenta ulteriormente.
Rendering. Google esegue il JavaScript della pagina con una versione recente di Chrome, perché alcuni contenuti esistono solo dopo l'esecuzione degli script.
Indicizzazione. Google analizza il contenuto, raggruppa le pagine duplicate o quasi duplicate, ne sceglie una come canonica e la memorizza. Può anche decidere di non indicizzare affatto una pagina, ad esempio perché il contenuto è di bassa qualità o perché una regola meta robots lo vieta.
Pubblicazione dei risultati. Per ogni ricerca, Google sceglie i risultati dall'indice. Essere indicizzata rende una pagina idonea a comparire, ma non garantisce che accada.

Google afferma esplicitamente di non garantire nessuna di queste fasi per nessuna pagina. Quello che puoi fare è rimuovere gli ostacoli e offrirgli buone ragioni per andare avanti.

Come leggere il report Indicizzazione delle pagine

Il report divide gli URL noti a Google in Indicizzato e Non indicizzato, e indica un motivo per ogni gruppo di URL non indicizzati (Report Indicizzazione delle pagine). Due indicazioni di Google dovrebbero guidare la tua lettura:

Non indicizzato non significa necessariamente un problema. Google invita i proprietari dei siti a non aspettarsi che ogni URL venga indicizzato. Duplicati, indirizzi con redirect e pagine senza contenuto significativo devono restare fuori. Ciò che conta è che le pagine chiave siano presenti.
Guarda l'origine. Ogni motivo indica se la causa dipende dal sito web o dai sistemi di Google. In generale, puoi risolvere solo i motivi la cui origine è "Sito web".

La domanda utile, quindi, non è mai "perché il numero di pagine non indicizzate è alto?", ma "ci sono in questo elenco pagine che mi servono e, se sì, perché?".

Che cosa significa ogni stato

I motivi indicati da Google si dividono in cinque gruppi. La risposta giusta dipende molto più dal gruppo che dalla formulazione esatta.

Hai detto a Google di non indicizzarla

Stato	Che cosa è successo	Azione
URL contrassegnato con 'noindex'	La pagina contiene una regola noindex	Nessuna se è voluto; rimuovi la regola se la pagina deve posizionarsi
URL bloccato da robots.txt	robots.txt impedisce a Google di eseguirne la scansione	Bloccare la scansione non garantisce che la pagina resti fuori dall'indice
Pagina alternativa con tag canonico appropriato	La pagina indica un altro URL come canonico e Google è d'accordo	Nessuna
Pagina con reindirizzamento	L'URL reindirizza altrove, quindi non viene indicizzato	Nessuna, purché la destinazione sia la pagina che vuoi indicizzare

Google non è riuscito a recuperarla

Stato	Che cosa è successo	Azione
Errore del server (5xx)	Il tuo server ha restituito un errore di livello 500	Correggi il server; errori ripetuti rallentano anche la scansione
Errore di reindirizzamento	Una catena di reindirizzamenti era troppo lunga, andava in loop o portava a un URL non valido o vuoto	Fai puntare il reindirizzamento direttamente all'URL finale
Bloccato a causa di una richiesta non autorizzata (401), accesso vietato (403) o altro problema 4xx	La pagina ha rifiutato Googlebot	Rimuovi la barriera se la pagina deve essere pubblica
Non trovato (404)	L'URL ha restituito 404	Va bene per le pagine rimosse; correggi i link se la pagina esiste ancora altrove

Google ha scelto un altro URL

Stato	Che cosa è successo	Azione
Duplicato senza canonico selezionato dall'utente	Google considera la pagina un duplicato e ha scelto un canonico diverso	Di solito nessuna; Google la considera una situazione di normale funzionamento
Duplicato, Google ha scelto un canonico diverso da quello dell'utente	Hai indicato un canonico, ma Google ha preferito un altro URL	Fai in modo che i tuoi segnali coincidano (vedi sotto)

Google non ha ancora deciso a tuo favore

Stato	Che cosa è successo	Azione
Rilevata, ma non indicizzata	Google conosce l'URL ma non ne ha ancora eseguito la scansione, spesso riprogrammata per non sovraccaricare il sito	Inserisci link verso la pagina da pagine già sottoposte a scansione; sui siti molto grandi, gestisci la scansione
Scansionata, ma non indicizzata	Google ha eseguito la scansione della pagina ma non l'ha indicizzata, e in futuro potrebbe farlo oppure no	Rendi la pagina chiaramente utile e distinta, oppure uniscila a una pagina più solida

Il contenuto sembra errato

Stato	Che cosa è successo	Azione
Soft 404	La pagina risponde 200 ma sembra una pagina di errore o vuota	Restituisci un vero 404 per le pagine mancanti, oppure dai alle pagine reali un contenuto reale
Pagina indicizzata senza contenuto (avviso)	Indicizzata, ma Google non è riuscito a leggerne il contenuto	Verifica con l'Ispezione URL che cosa riceve Googlebot
Indicizzata, ma bloccata da robots.txt (avviso)	Indicizzata anche se robots.txt la blocca	Per tenerla fuori, consenti la scansione e aggiungi noindex

L'ultima riga coglie impreparate molte persone. Google può vedere una regola noindex solo su una pagina di cui gli è consentito eseguire la scansione: bloccare una pagina in robots.txt e aggiungere contemporaneamente noindex significa quindi che il noindex non verrà mai letto (Blocco dell'indicizzazione con noindex).

Quando Google sceglie un canonico diverso

I tag canonici sono segnali, non comandi. Google ne valuta diversi: i reindirizzamenti e rel="canonical" sono segnali forti, l'inclusione in una sitemap è un segnale debole e gli indirizzi HTTPS sono preferiti a quelli HTTP (Consolidamento degli URL duplicati). Quando i tuoi segnali sono in conflitto, ad esempio un tag canonico che punta a un URL mentre i link interni e la sitemap ne usano un altro, Google decide da sé. Fai in modo che ogni segnale indichi lo stesso URL e inserisci i link interni verso quell'URL. Non usare robots.txt o noindex per scegliere un canonico: noindex rimuove del tutto la pagina dalla Ricerca.

Controllare un singolo URL con l'Ispezione URL

Il report Indicizzazione delle pagine mostra gruppi di URL; l'Ispezione URL mostra un singolo URL nel dettaglio (Strumento Ispezione URL). Indica se l'URL è indicizzato, qual è il canonico che hai dichiarato e quale quello selezionato da Google, quando Google ha eseguito l'ultima scansione e se l'ha fatta con uno user agent mobile o desktop, se robots.txt consente la scansione, se il recupero è riuscito e se l'indicizzazione è consentita.

Due avvertenze. Primo: la vista predefinita descrive l'ultima versione indicizzata, che potrebbe essere obsoleta; Testa URL live recupera la pagina in questo momento, ed è il modo per confermare una correzione, anche se un test live superato non garantisce l'indicizzazione. Secondo: quando robots.txt blocca la scansione, "Indicizzazione consentita?" mostra sempre sì, perché Google non può vedere una regola noindex che non gli è stato permesso di recuperare.

Richiedi indicizzazione chiede a Google di eseguire di nuovo la scansione dell'URL. È soggetta a una quota giornaliera, e Google precisa che richiedere più volte la scansione dello stesso URL non la farà avvenire più in fretta (Richiedere a Google una nuova scansione). Per molti URL, invia invece una sitemap aggiornata.

Quanto tempo richiede l'indicizzazione?

Google fornisce intervalli, non promesse. L'indicizzazione di una nuova pagina può richiedere alcuni giorni e non è mai istantanea, nemmeno dopo una richiesta diretta. Per i siti nuovi possono servire circa una settimana o più perché vengano sottoposti a scansione e indicizzati, mentre una nuova scansione può richiedere da pochi giorni a qualche settimana. Quando correggi un problema e premi Convalida correzione, il controllo richiede in genere fino a circa due settimane. Se una pagina importante manca ancora dopo un mese, consulta il playbook sui problemi tecnici di indicizzazione invece di richiedere di nuovo l'indicizzazione.

Aiutare Google a trovare e mantenere le tue pagine

Inserisci link alle nuove pagine da pagine che Google già scansiona, come la home page, le pagine hub o gli articoli correlati. I link sono il modo principale con cui Google scopre gli URL.
Limita le sitemap agli URL canonici, scritti come indirizzi assoluti completi, con al massimo 50.000 URL o 50 MB non compressi per file. Google usa <lastmod> quando è costantemente accurato e ignora <priority> e <changefreq> (Creare una sitemap).
Assegna un solo URL a ogni contenuto, facendo in modo che reindirizzamenti, tag canonici, sitemap e link interni siano coerenti.
Restituisci un vero 404 o 410 per le pagine rimosse, invece di una pagina vuota con stato 200.
Preoccupati del crawl budget solo su larga scala. La guida di Google al crawl budget si rivolge ai siti con oltre un milione di pagine che cambiano ogni settimana, o con oltre 10.000 pagine che cambiano ogni giorno.

Come ti aiuta AutoPSEO

AutoPSEO esegue l'Ispezione URL direttamente dall'app e conta nel limite giornaliero di 2.000 ispezioni per proprietà imposto da Google. L'Index Tracker conserva un elenco di fino a 1.800 URL a tua scelta e ne riesamina fino a 200 al giorno, partendo da quelli controllati da più tempo. Segnala quando uno di essi è stato rimosso dall'indice negli ultimi 30 giorni oppure non viene scansionato da 120 giorni, e può inviare un avviso "Index flip" su Slack, Teams o tramite webhook quando un URL monitorato esce dall'indice o ci rientra. IndexNow notifica Bing e gli altri motori che lo supportano; Google non partecipa a IndexNow, quindi per Google la sitemap e i link interni restano la via d'accesso.

Gli articoli scritti dal motore di contenuti vengono consegnati al tuo sito, che li pubblica e li collega come qualsiasi altra pagina. Quando il tuo sito dichiara una chiave IndexNow, AutoPSEO invia un ping a IndexNow per ogni indirizzo nuovo o aggiornato sul tuo host (Consegna).