Indexação explicada: como o Google rastreia, indexa e reporta páginas
Como uma URL percorre o caminho da descoberta até o índice do Google, o que significa cada status de Indexação de páginas e quais precisam de correção, com base na documentação do Google.
Indexar é o Google armazenar uma página para que ela possa aparecer nos resultados de pesquisa. Antes disso, o Google precisa descobrir a URL, rastreá-la e, em geral, renderizá-la. Depois, decide se a página duplica outra URL e se vale a pena mantê-la. O relatório de Indexação de páginas do Search Console mostra em que ponto desse caminho cada uma das suas URLs parou e qual foi o motivo apontado pelo Google.
Da URL ao resultado de pesquisa
A descrição de como a Pesquisa funciona feita pelo Google divide o percurso em etapas que você pode verificar uma a uma.
- Descoberta. Não existe uma lista central de páginas da web, então o Google está sempre à procura de novas. Ele encontra a maioria delas por meio de links de páginas que já conhece e de sitemaps enviados pelos proprietários dos sites.
- Rastreamento. O Googlebot busca a URL, desde que o robots.txt permita. O Google limita a velocidade do rastreamento para não sobrecarregar o seu servidor, e erros de servidor o fazem desacelerar ainda mais.
- Renderização. O Google executa o JavaScript da página com uma versão recente do Chrome, porque parte do conteúdo só existe depois que os scripts rodam.
- Indexação. O Google analisa o conteúdo, agrupa páginas duplicadas ou quase duplicadas, escolhe uma delas como canônica e a armazena. Ele pode decidir não indexar a página, por exemplo porque o conteúdo tem baixa qualidade ou porque uma regra de robots meta o proíbe.
- Veiculação. A cada pesquisa, o Google escolhe resultados a partir do índice. Estar indexada torna a página elegível para aparecer, mas não garante que ela apareça.
O Google deixa claro que não garante nenhuma dessas etapas para nenhuma página. O que você pode fazer é remover os obstáculos e dar a ele bons motivos para seguir adiante.
Como ler o relatório de Indexação de páginas
O relatório divide as URLs que o Google conhece em Indexadas e Não indexadas, e lista um motivo para cada grupo de URLs não indexadas (Relatório de Indexação de páginas). Duas orientações do próprio Google devem guiar a sua leitura:
- Não indexada não significa necessariamente ruim. O Google diz aos proprietários de sites que não esperem ter todas as URLs indexadas. Duplicatas, endereços redirecionados e páginas sem conteúdo relevante devem mesmo ficar de fora. O que importa é que as páginas principais estejam no índice.
- Observe a Origem. Cada motivo indica se a causa está no site ou nos sistemas do Google. Em geral, só é possível corrigir os motivos cuja origem é "Website".
Por isso, a pergunta útil nunca é "por que o meu número de não indexadas é alto?". É "alguma das páginas de que preciso está nesta lista e por quê?".
O que significa cada status
Os motivos do Google se dividem em cinco grupos. A resposta certa depende muito mais do grupo do que da redação exata.
Você disse ao Google para não indexar
| Status | O que aconteceu | Ação |
|---|---|---|
| URL marcada com 'noindex' | A página tem uma regra noindex | Nenhuma se for intencional; remova a regra se a página deve ranquear |
| URL bloqueada pelo robots.txt | O robots.txt impede o Google de rastreá-la | Bloquear o rastreamento não garante que a página fique fora do índice |
| Página alternativa com tag canônica adequada | A página aponta outra URL como canônica, e o Google concorda | Nenhuma |
| Página com redirecionamento | A URL redireciona para outro lugar, por isso ela mesma não é indexada | Nenhuma, desde que o destino seja a página que você quer indexada |
O Google não conseguiu acessá-la
| Status | O que aconteceu | Ação |
|---|---|---|
| Erro de servidor (5xx) | Seu servidor retornou um erro da série 500 | Corrija o servidor; erros repetidos também reduzem o ritmo do rastreamento |
| Erro de redirecionamento | Uma cadeia de redirecionamentos era longa demais, entrou em loop ou levou a uma URL inválida ou vazia | Aponte o redirecionamento diretamente para a URL final |
| Bloqueada devido a solicitação não autorizada (401), acesso proibido (403) ou outro problema 4xx | A página recusou o Googlebot | Remova a barreira se a página deve ser pública |
| Não encontrada (404) | A URL retornou 404 | Tudo bem para páginas removidas; corrija os links se a página ainda existir em outro lugar |
O Google escolheu outra URL
| Status | O que aconteceu | Ação |
|---|---|---|
| Duplicada sem canônica selecionada pelo usuário | O Google vê a página como duplicata e escolheu outra canônica | Em geral nenhuma; o Google diz que isso é o comportamento esperado |
| Duplicada, o Google escolheu uma canônica diferente da do usuário | Você indicou uma canônica, mas o Google preferiu outra URL | Faça seus sinais concordarem (veja abaixo) |
O Google ainda não decidiu a seu favor
| Status | O que aconteceu | Ação |
|---|---|---|
| Descoberta: atualmente não indexada | O Google conhece a URL, mas ainda não a rastreou, muitas vezes reagendada para não sobrecarregar o site | Crie links para ela a partir de páginas já rastreadas; em sites muito grandes, gerencie o rastreamento |
| Rastreada: atualmente não indexada | O Google rastreou a página, mas não a indexou, e pode ou não indexá-la no futuro | Torne a página claramente útil e diferenciada, ou una-a a uma página mais forte |
O conteúdo parece errado
| Status | O que aconteceu | Ação |
|---|---|---|
| Soft 404 | A página responde 200, mas parece uma página de erro ou vazia | Retorne um 404 real para páginas inexistentes, ou dê conteúdo real às páginas reais |
| Página indexada sem conteúdo (aviso) | Indexada, mas o Google não conseguiu ler o conteúdo | Verifique o que o Googlebot recebe com a Inspeção de URL |
| Indexada, embora bloqueada pelo robots.txt (aviso) | Indexada mesmo com o bloqueio do robots.txt | Para mantê-la fora do índice, permita o rastreamento e adicione noindex |
A última linha pega muita gente de surpresa. O Google só consegue ver uma regra noindex em uma página que tem permissão para rastrear; portanto, bloquear uma página no robots.txt e ao mesmo tempo adicionar noindex significa que o noindex nunca será lido (Bloquear a indexação com noindex).
Quando o Google escolhe outra canônica
As tags canônicas são sinais, não comandos. O Google pondera vários deles: redirecionamentos e rel="canonical" são sinais fortes, a inclusão em um sitemap é um sinal fraco, e ele prefere endereços HTTPS a HTTP (Consolidar URLs duplicadas). Quando seus sinais divergem, por exemplo uma tag canônica apontando para uma URL enquanto seus links internos e o sitemap usam outra, o Google decide por conta própria. Faça todos os sinais indicarem a mesma URL e crie links internos para ela. Não use robots.txt nem noindex para escolher uma canônica; o noindex remove a página da Pesquisa por completo.
Verificando uma URL com a Inspeção de URL
O relatório de Indexação de páginas mostra grupos; a Inspeção de URL mostra uma URL em detalhe (Ferramenta de Inspeção de URL). Ela informa se a URL está indexada, a canônica que você declarou e a que o Google selecionou, quando o Google rastreou a página pela última vez e se o rastreamento foi feito como user agent móvel ou desktop, se o robots.txt permite o rastreamento, se a busca funcionou e se a indexação é permitida.
Dois cuidados. Primeiro, a visualização padrão descreve a última versão indexada, que pode estar desatualizada; Testar URL ativa busca a página agora, e é assim que você confirma uma correção, embora passar no teste ativo não garanta a indexação. Segundo, quando o robots.txt bloqueia o rastreamento, "Indexação permitida?" sempre mostra sim, porque o Google não consegue ver uma regra noindex que não teve permissão para buscar.
Solicitar indexação pede ao Google que rastreie a URL novamente. Há uma cota diária, e o Google afirma que solicitar o rastreamento várias vezes para a mesma URL não faz com que ele aconteça mais rápido (Pedir ao Google para rastrear novamente). Para muitas URLs, envie um sitemap atualizado.
Quanto tempo leva a indexação?
O Google fornece faixas de tempo, não promessas. Indexar uma página nova pode levar alguns dias e nunca é instantâneo, mesmo após um pedido direto. Sites novos podem levar cerca de uma semana ou mais para serem rastreados e indexados, e um novo rastreamento pode levar de alguns dias a algumas semanas. Quando você corrige um problema e clica em Validar correção, a verificação costuma levar até cerca de duas semanas. Se uma página importante ainda não aparecer depois de um mês, siga o guia prático de problemas técnicos de indexação em vez de solicitar a indexação de novo.
Como ajudar o Google a encontrar e manter suas páginas
- Crie links para as páginas novas a partir de páginas que o Google já rastreia, como a página inicial, páginas de categoria ou artigos relacionados. Os links são a principal forma de o Google descobrir URLs.
- Mantenha nos sitemaps apenas URLs canônicas, escritas como endereços absolutos completos, com no máximo 50.000 URLs ou 50MB sem compactação por arquivo. O Google usa
<lastmod>quando ele é consistentemente preciso e ignora<priority>e<changefreq>(Criar um sitemap). - Dê a cada conteúdo uma única URL, com redirecionamentos, tags canônicas, sitemaps e links internos em concordância.
- Retorne um 404 ou 410 real para páginas removidas, em vez de uma página vazia com status 200.
- Só se preocupe com o orçamento de rastreamento em grande escala. O guia de orçamento de rastreamento do Google é voltado a sites com mais de um milhão de páginas que mudam toda semana, ou mais de 10.000 páginas que mudam todo dia.
Como o AutoPSEO ajuda
O AutoPSEO executa a Inspeção de URL dentro do app e conta contra a cota diária de 2.000 inspeções por propriedade do Google. O Index Tracker mantém uma lista de até 1.800 URLs que você escolhe e reinspeciona até 200 delas por dia, começando pelas que estão há mais tempo sem verificação. Ele avisa quando uma URL foi desindexada nos últimos 30 dias ou não é rastreada há 120 dias, e pode disparar um alerta de "Index flip" no Slack, no Teams ou em um webhook quando uma URL monitorada sai do índice ou volta a ele. O IndexNow notifica o Bing e os demais mecanismos que o suportam; o Google não participa do IndexNow, então, para o Google, o sitemap e os links internos continuam sendo o caminho de entrada.
Os artigos escritos pelo mecanismo de conteúdo são entregues ao seu próprio site, que os publica e cria links para eles como para qualquer outra página. Quando o seu site declara uma chave do IndexNow, o AutoPSEO notifica o IndexNow a cada endereço novo ou atualizado no seu host (Entrega).
Continue lendo
Noções básicas de SEO em 10 minutos: como o Google encontra, armazena e classifica páginas
As três etapas da Pesquisa Google, os quatro números do Search Console e como identificar a qual etapa um problema pertence.
O que é o Google Search Console? Um guia simples para donos de sites
O que o Search Console reporta, como os seus dados são limitados, que tipo de propriedade adicionar e as primeiras verificações a fazer.
Cliques vs impressões no Google Search Console
Como o Google conta impressões e cliques, por que os totais divergem entre as visões e como interpretar a diferença entre os dois.