Como verificar meu robots.txt no Google Search Console?

Q: Como verificar meu robots.txt no Google Search Console?

Abra o relatório do robots.txt em Configurações para ver cada arquivo que o Google encontrou, quando foi buscado e quaisquer erros de análise. Verifique URLs individuais com a Inspeção de URL.

Abra Configurações e depois o relatório robots.txt. Ele lista os arquivos robots.txt que o Google encontrou para o seu site, quando cada um foi verificado pela última vez, se a busca funcionou, o tamanho do arquivo e as linhas que o Google não conseguiu analisar. Para saber se uma URL específica está bloqueada, inspecione essa URL e leia o campo Rastreamento permitido?. O Testador de robots.txt independente que os guias mais antigos descrevem não faz mais parte das ferramentas do Search Console.

O que o relatório mostra

De acordo com a ajuda do relatório do robots.txt do Google:

Ele só está disponível para propriedades no nível do domínio: uma propriedade de Domínio ou uma propriedade de prefixo de URL sem caminho (https://example.com/, não https://example.com/shop/).
Em uma propriedade de Domínio, ele cobre os 20 principais hosts por taxa de rastreamento, já que cada host tem o próprio arquivo.
Para cada arquivo, você vê o caminho, o status da busca, a data da última verificação, o tamanho em bytes e o número de problemas. Os erros fazem o Google ignorar uma regra; os avisos não.
Os arquivos aparecem se o Google os buscou, ou tentou buscar, nos últimos 30 dias.

Status	O que significa
Buscado	O Google obteve o arquivo. Ele ignora as linhas que não conseguiu analisar e usa o restante
Não buscado: Não encontrado (404)	Não há arquivo, e isso não é um problema: o Google pode rastrear todas as URLs
Não buscado: qualquer outro motivo	Algo mais deu errado; veja a tabela abaixo

Depois de alterar o arquivo

Em geral, o Google mantém o robots.txt em cache por até 24 horas, então uma alteração não é instantânea. Se você desbloqueou URLs importantes ou corrigiu um erro de busca, abra o menu do arquivo no relatório e escolha Solicitar novo rastreamento. Fora isso, não é necessário: o Google busca o robots.txt novamente com frequência.

Como o Google trata um robots.txt com problemas

O que o Google recebe	O que acontece
Uma resposta 2xx	As regras são aplicadas
Um redirecionamento	O Google segue pelo menos cinco saltos e, se a cadeia não for resolvida, trata o caso como um 404
Um erro 4xx diferente de 429	Tratado como se não houvesse arquivo: nada é bloqueado
Um erro 5xx ou falha de rede	O rastreamento é interrompido por 12 horas; depois, a última cópia válida é usada por até 30 dias; passado esse prazo, se o site estiver disponível, o Google age como se não houvesse arquivo
Um arquivo com mais de 500 KiB	Tudo o que ultrapassa o limite é ignorado

Fonte: Como o Google interpreta o robots.txt. A linha do 5xx é a que merece mais atenção: um servidor que retorna erro apenas nesse arquivo pode pausar o rastreamento do site inteiro.

Testando regras antes de publicá-las

Para uma URL que já está no ar, o campo Rastreamento permitido? da Inspeção de URL é a resposta mais rápida.
Para um arquivo em rascunho, o Google indica aos desenvolvedores a biblioteca de robots.txt de código aberto para testar localmente.
Quando as regras entram em conflito, o Google aplica a mais específica, ou seja, a regra com o caminho correspondente mais longo; se duas forem igualmente específicas, prevalece a menos restritiva.

O que o robots.txt não faz

O robots.txt controla o rastreamento, não a indexação. O Google afirma que ele não é uma forma de manter uma página fora do Google: uma URL bloqueada ainda pode ser indexada, sem descrição, se outras páginas apontarem para ela. Para manter uma página fora dos resultados, use noindex ou uma senha, conforme descrito em remover uma URL.

Como o AutoPSEO ajuda

A inspeção de URLs em massa do AutoPSEO mostra o estado do robots.txt informado pelo Google para cada URL, com até 500 URLs por execução, a partir de uma lista colada ou de um sitemap. Assim, fica fácil confirmar que uma alteração de regra não bloqueou uma seção inteira por engano.