AutoPSEO-Bot

Identificando-o

As requisições carregam o user agent AutoPSEO-Bot/1.0 (On-Page SEO Checker), que o verificador on-page estende com um link de volta para esta página. O rastreador roda no Cloudflare Workers, então os endereços de origem vêm de faixas do Cloudflare e mudam sem aviso: filtre pela string do user agent, não por uma lista de permissões de IP.

O que ele solicita

Um GET por URL, e nada mais. Ele não executa JavaScript, então vê exatamente o HTML que seu servidor retorna.

• Somente GET, nunca POST ou qualquer outro método
• Aceita text/html, segue até 5 redirecionamentos e desiste após 8 segundos
• No máximo 5 requisições simultâneas
• Para de ler após aproximadamente 1 MB de HTML
• Apenas hosts públicos http e https, então endereços privados e loopback são recusados

Quando ele é executado

Somente enquanto uma verificação está em andamento: ele busca o robots.txt, os sitemaps de que precisa e as páginas em teste. Os resultados ficam em cache por 24 horas, então reabrir um relatório não custa nada ao seu servidor. Um rastreamento completo do site é limitado a 100 páginas por padrão, com um limite máximo de 500, profundidade de 3 e uma requisição por página.

Permitindo-o

Se o robots.txt permite todos os agentes, não há nada a fazer. Se você bloqueia agentes desconhecidos por padrão, adicione um bloqueio explícito para o AutoPSEO-Bot com os caminhos que deseja verificar; um site de staging protegido por autenticação HTTP simplesmente retorna 401 e o relatório informa isso em vez de adivinhar.

Bloqueando-o

Um bloco User-agent nomeando AutoPSEO-Bot com Disallow: / interrompe o rastreador na próxima execução, e as regras Allow dentro desse bloco são respeitadas normalmente. URLs bloqueadas são reportadas na execução como bloqueadas pelo robots.txt em vez de descartadas silenciosamente, então uma verificação que repentinamente não retorna nada é fácil de explicar.