Como diagnosticar problemas técnicos de indexação

Uma ordem de triagem para o relatório de indexação de páginas do Search Console: o que corrigir primeiro, como confirmar as causas com a Inspeção de URL e quando parar.

Diagnostique problemas de indexação a partir das páginas de que você precisa, não dos totais do relatório. Monte uma lista das URLs que importam, descubra quais delas não estão indexadas e por quê, e depois trate as causas em ordem de gravidade: primeiro erros de servidor e de acesso, depois bloqueios acidentais, conflitos de canonical, páginas com comportamento de erro e, por último, as páginas que o Google simplesmente escolheu não indexar. Confirme cada correção com um teste ao vivo na Inspeção de URL antes de pedir ao Google que a valide.

Este guia pressupõe que você conheça os status descritos em Indexing explained.

Etapa 1: monte a lista das URLs que importam

O relatório de indexação de páginas conta todas as URLs que o Google conhece, incluindo parâmetros, endereços antigos e páginas que você nunca pretendeu publicar. Um número alto em "Não indexadas" é normal, e o Google deixa claro que nem toda URL deve ser indexada (Page indexing report). Por isso, comece pela sua própria lista:

Páginas que geram tráfego: as 50 a 100 principais em Desempenho → Páginas nos últimos três meses.
Páginas que geram receita: páginas de produto, preços, serviços e localização, independentemente do tráfego.
Páginas novas: tudo o que foi publicado nos últimos 90 dias.
Seus sitemaps: eles devem listar exatamente as URLs canônicas que você quer indexadas. Você pode filtrar o relatório de indexação de páginas por sitemap para ver quantas das URLs dele estão indexadas, e cada sitemap no relatório de Sitemaps leva à cobertura de indexação das suas URLs.

Etapa 2: descubra quais delas não estão indexadas

Para uma lista curta, inspecione cada URL na Inspeção de URL. Para uma lista mais longa, abra o relatório de indexação de páginas filtrado pelo seu sitemap e percorra cada motivo, verificando quais das suas URLs importantes aparecem nos exemplos. Registre cada URL com o motivo e a origem desse motivo. Regra prática do Google: em geral, você só pode corrigir problemas cuja origem aparece como "Website".

Etapa 3: trate as causas em ordem

Corrija as causas nesta ordem. Cada nível pode esconder o seguinte, e os primeiros afetam o maior número de páginas de uma só vez.

Ordem	Status	Verifique primeiro	Correção típica
1	Erro de servidor (5xx)	Logs do servidor e status da hospedagem nos horários em que o Google fez a varredura	Corrija a capacidade ou as falhas; respostas 5xx repetidas também fazem o Google rastrear mais devagar
2	Erro de redirecionamento	A cadeia completa de redirecionamentos da URL	Redirecione em uma única etapa para a URL final; elimine loops
3	Bloqueada por solicitação não autorizada (401), acesso proibido (403) ou outro 4xx	Telas de login, firewall ou regras de proteção contra bots	Permita que o Googlebot acesse páginas públicas
4	URL marcada com 'noindex'	A meta tag robots da página e o cabeçalho `X-Robots-Tag`	Remova o noindex das páginas que devem ranquear
5	URL bloqueada pelo robots.txt	A regra do robots.txt que corresponde à URL	Remova a regra das páginas que devem ser rastreadas
6	Duplicada, o Google escolheu um canonical diferente do usuário	Qual URL é indicada pela sua tag canonical, pelos redirecionamentos, pelo sitemap e pelos links internos	Faça todos os sinais apontarem para a mesma URL
7	Soft 404	O que a página mostra quando o Googlebot a acessa	404 real para páginas inexistentes; conteúdo real para páginas reais
8	Rastreada: atualmente não indexada	Se a página acrescenta algo que suas outras páginas e os concorrentes não oferecem	Melhore-a ou una-a a uma página mais forte
9	Descoberta: atualmente não indexada	Se alguma página rastreada tem link para ela	Crie links para ela a partir de páginas rastreadas; em sites muito grandes, gerencie o rastreamento

Diagnosticando uma URL com a Inspeção de URL

Para cada URL importante da sua lista, faça as mesmas cinco verificações (URL Inspection tool):

Leia o veredito e o motivo. "O URL é desconhecido para o Google" significa que o Google ainda não viu o endereço, então o trabalho é de descoberta: crie links para ele a partir de páginas que o Google já rastreia e inclua-o no sitemap.
Compare os canonicals. Se o canonical selecionado pelo Google for diferente do declarado pelo usuário, o Google está indexando outra URL no lugar desta. Examine essa outra URL antes de mudar qualquer coisa.
Verifique o rastreamento. Anote a data da última varredura, se o Google rastreou como smartphone ou como computador, se o rastreamento foi permitido e se a busca da página foi bem-sucedida. Um alerta: quando o robots.txt bloqueia o rastreamento, "Indexação permitida?" sempre indica sim, porque o Google não consegue ver um noindex em uma página que não tem permissão para acessar.
Execute Testar URL ativo. A visualização padrão descreve a última versão indexada, que pode ser antiga. O teste ao vivo busca a página agora e mostra uma captura de tela da página renderizada, a maneira mais rápida de identificar conteúdo que só aparece para usuários logados ou quando um script falha.
Solicite a indexação somente depois de uma correção. O Google mantém uma cota diária e afirma que pedidos repetidos para a mesma URL não aceleram nada (Ask Google to recrawl).

Observações sobre os status mais difíceis

Bloqueada pelo robots.txt não é o mesmo que fora do índice. O robots.txt controla o rastreamento, não a indexação; uma URL bloqueada para a qual outras páginas têm links ainda pode ser indexada, mas sem o conteúdo. Para manter uma página fora do Google, permita o rastreamento e use noindex, em uma meta tag ou em um cabeçalho X-Robots-Tag (Block indexing). Lembre-se de que a remoção só acontece quando o Google rastreia a página novamente, o que pode demorar.

Conflitos de canonical geralmente são autoinfligidos. O Google considera redirecionamentos e rel="canonical" sinais fortes, a inclusão no sitemap um sinal fraco, e prefere HTTPS (Consolidate duplicate URLs). O conflito típico é uma tag canonical que indica uma URL enquanto a navegação, o sitemap e os links internos usam uma variante (barra final, letras maiúsculas, um parâmetro de rastreamento, http://). Faça tudo concordar e o conflito normalmente se resolve no próximo rastreamento.

Os soft 404 são de dois tipos. Alguns são páginas realmente inexistentes, como um template de "item não encontrado" que retorna 200; elas devem retornar 404 ou 410. Outros são páginas reais que parecem vazias para o Google, como uma categoria sem produtos ou uma página cujo conteúdo carrega depois que um script falha; essas precisam de conteúdo que o Google consiga ver, o que a captura de tela do teste ao vivo vai confirmar.

Rastreada: atualmente não indexada é um julgamento, não um erro. O Google rastreou a página e decidiu, por ora, não mantê-la; ela pode ou não ser indexada mais tarde. Pergunte-se com honestidade o que a página acrescenta. Variações superficiais de outras páginas, páginas de tags com dois posts e artigos que repetem o que dez outros sites dizem são os habitantes mais comuns. Torne a página claramente melhor ou diferente, ou una-a a uma página que já seja.

Descoberta: atualmente não indexada costuma ser uma questão de links. O Google conhece a URL, mas ainda não a rastreou. Na maioria dos sites, a solução é criar links para a página a partir de páginas que o Google já rastreia e mantê-la no sitemap. O guia de orçamento de rastreamento do Google é voltado a um grupo mais restrito: sites com mais de um milhão de páginas que mudam toda semana, ou com mais de 10.000 páginas que mudam todo dia (Managing crawl budget). Se esse é o seu caso, reduza o inventário de URLs: consolide duplicatas, bloqueie o rastreamento de URLs que nunca deveriam ser acessadas, retorne 404 ou 410 para páginas removidas e corrija os soft 404, que continuam sendo rastreados.

Etapa 4: valide a correção

Quando as URLs de um motivo estiverem corrigidas, abra o motivo no relatório de indexação de páginas e clique em Validar correção, uma única vez. O Google primeiro verifica algumas páginas de amostra; se o problema persistir, a validação é interrompida. Caso contrário, ele verifica novamente todas as URLs afetadas conhecidas e marca cada uma como aprovada ou reprovada. O Google diz que a validação normalmente leva até cerca de duas semanas e, às vezes, muito mais. Ele também pode perceber correções durante o rastreamento normal, sem um pedido de validação.

Quando parar

Pare de perseguir um status quando as URLs por trás dele forem URLs que você não precisa indexar (parâmetros, visualizações filtradas, resultados de busca interna, redirecionamentos antigos) ou quando uma página já tiver sido melhorada, ligada por links e reenviada e o Google ainda a recusar depois de alguns meses. Nesse ponto, o mais útil geralmente é unir a página a outra mais forte e redirecioná-la, em vez de solicitar a indexação de novo.

Como o AutoPSEO ajuda

O AutoPSEO transforma a etapa 2 em uma verificação permanente. O Index Tracker guarda até 1.800 URLs à sua escolha, reinspeciona até 200 delas por dia por meio da API de Inspeção de URL (começando pela verificação mais antiga, dentro do limite do Google de 2.000 inspeções por propriedade por dia) e marca as páginas desindexadas nos últimos 30 dias e as páginas que o Google não rastreia há 120 dias. Um alerta de Index flip é enviado ao Slack, ao Microsoft Teams ou a um webhook quando uma URL monitorada sai do índice ou volta a ele (alertas). A Inspeção de URL e os Sitemaps funcionam dentro do app, e os problemas de rastreamento do Bing mostram o mesmo tipo de problema do ponto de vista do Bing.

Para páginas novas, o IndexNow avisa o Bing e os outros mecanismos compatíveis sobre as URLs alteradas; o Google não participa do IndexNow, então sitemaps e links internos continuam sendo o caminho para chegar ao Google. Os artigos do motor de conteúdo são entregues ao seu próprio site, que os publica e cria links para eles como para qualquer outra página; quando o seu site declara uma chave do IndexNow, o AutoPSEO notifica o IndexNow a cada endereço publicado ou atualizado no seu host e registra o que o IndexNow respondeu (Entrega).