Come controllo il mio robots.txt in Google Search Console?

Q: Come controllo il mio robots.txt in Google Search Console?

Apri il report robots.txt in Impostazioni per vedere ogni file trovato da Google, quando è stato recuperato ed eventuali errori di analisi. Controlla i singoli URL con l'Ispezione URL.

Apri Impostazioni e poi il report robots.txt. Elenca i file robots.txt che Google ha trovato per il tuo sito, la data dell'ultimo controllo di ciascuno, l'esito del recupero, la dimensione del file e le eventuali righe che Google non è riuscito ad analizzare. Per sapere se un URL specifico è bloccato, ispeziona quell'URL e leggi il campo Scansione consentita?. Lo strumento di test robots.txt autonomo descritto nelle guide meno recenti non fa più parte degli strumenti di Search Console.

Cosa mostra il report

Secondo la guida di Google al report robots.txt:

È disponibile solo per le proprietà a livello di dominio: una proprietà Dominio, oppure una proprietà con prefisso URL senza percorso (https://example.com/, non https://example.com/shop/).
Per una proprietà Dominio copre i primi 20 host per frequenza di scansione, dato che ogni host ha il proprio file.
Per ogni file vengono indicati il percorso, lo stato del recupero, la data dell'ultimo controllo, la dimensione in byte e il numero di problemi. Gli errori fanno sì che Google ignori una regola; gli avvisi no.
I file compaiono se Google li ha recuperati, o ha tentato di farlo, negli ultimi 30 giorni.

Stato	Cosa significa
Recuperato	Google ha ottenuto il file. Ignora le righe che non è riuscito ad analizzare e usa il resto
Non recuperato: Non trovato (404)	Il file non esiste, e va bene così: Google può scansionare qualsiasi URL
Non recuperato: qualsiasi altro motivo	Si è verificato un altro problema; vedi la tabella sotto

Dopo aver modificato il file

In genere Google memorizza in cache il robots.txt per un massimo di 24 ore, quindi una modifica non ha effetto immediato. Se hai sbloccato URL importanti o risolto un errore di recupero, apri il menu del file nel report e scegli Richiedi una nuova scansione. Altrimenti non serve: Google recupera di nuovo il robots.txt con frequenza.

Come Google gestisce un robots.txt non valido

Cosa riceve Google	Cosa succede
Una risposta 2xx	Le regole vengono applicate
Un reindirizzamento	Google segue almeno cinque passaggi, poi tratta una catena non risolta come un 404
Un errore 4xx diverso da 429	Viene trattato come se il file non esistesse: non viene bloccato nulla
Un errore 5xx o un guasto di rete	La scansione si interrompe per 12 ore, poi viene usata l'ultima copia valida per un massimo di 30 giorni; trascorso questo periodo, se il sito è altrimenti disponibile, Google si comporta come se il file non esistesse
Un file di oltre 500 KiB	Tutto ciò che supera il limite viene ignorato

Fonte: How Google interprets robots.txt. La riga sui 5xx è quella da temere: un server che restituisce errori solo su questo file può bloccare la scansione dell'intero sito.

Testare le regole prima della pubblicazione

Per un URL già online, il campo Scansione consentita? dell'Ispezione URL è la risposta più rapida.
Per una bozza del file, Google rimanda gli sviluppatori alla propria libreria robots.txt open source per i test in locale.
Quando le regole sono in conflitto, Google applica quella più specifica, cioè quella con il percorso corrispondente più lungo; se due regole hanno la stessa specificità, prevale la meno restrittiva.

Cosa non può fare il robots.txt

Il robots.txt controlla la scansione, non l'indicizzazione. Google afferma che non è un modo per escludere una pagina da Google: un URL bloccato può comunque essere indicizzato, senza descrizione, se altre pagine rimandano a esso. Per escludere una pagina dai risultati, usa noindex o una password, come descritto in rimozione di un URL.

Come ti aiuta AutoPSEO

L'ispezione URL in blocco di AutoPSEO mostra lo stato del robots.txt segnalato da Google per ogni URL, fino a 500 URL per esecuzione da un elenco incollato o da una sitemap. Così è facile verificare che una modifica alle regole non abbia bloccato per errore un'intera sezione.