AutoPSEO-Bot

Cómo identificarlo

Las solicitudes llevan el user agent AutoPSEO-Bot/1.0 (On-Page SEO Checker), que el verificador on-page amplía con un enlace de vuelta a esta página. El rastreador se ejecuta en Cloudflare Workers, por lo que las direcciones de origen provienen de rangos de Cloudflare y cambian sin previo aviso: filtra por la cadena de user agent, no por una lista blanca de IPs.

Qué solicita

Un GET por URL, y nada más. No ejecuta JavaScript, así que ve exactamente el HTML que devuelve tu servidor.

• Solo GET, nunca POST ni ningún otro método
• Acepta text/html, sigue hasta 5 redirecciones y se rinde a los 8 segundos
• Como máximo 5 solicitudes simultáneas
• Deja de leer tras aproximadamente 1 MB de HTML
• Solo hosts públicos http y https, así que las direcciones privadas y de loopback se rechazan

Cuándo se ejecuta

Solo mientras se ejecuta una revisión: obtiene robots.txt, los sitemaps que necesite y las páginas bajo prueba. Los resultados se cachean durante 24 horas, así que volver a abrir un informe no le cuesta nada a tu servidor. Un rastreo completo del sitio está limitado a 100 páginas por defecto, con un tope máximo de 500, una profundidad de 3 y una solicitud por página.

Cómo permitirlo

Si robots.txt permite todos los agentes, no hay nada que hacer. Si bloqueas agentes desconocidos por defecto, añade un bloque explícito de permiso para AutoPSEO-Bot con las rutas que quieras revisar; un sitio de staging protegido con autenticación HTTP simplemente devuelve 401 y el informe lo indica en lugar de adivinar.

Cómo bloquearlo

Un bloque User-agent que nombre a AutoPSEO-Bot con Disallow: / detiene el rastreador en la próxima ejecución, y las reglas Allow dentro de ese bloque se respetan como es habitual. Las URLs bloqueadas se reportan en la ejecución como bloqueadas por robots.txt en lugar de descartarse silenciosamente, así que una revisión que de repente no devuelve nada es fácil de explicar.