AutoPSEO-Bot

L'identifier

Les requêtes portent le user agent AutoPSEO-Bot/1.0 (On-Page SEO Checker), que le vérificateur on-page complète par un lien vers cette page. Le robot fonctionne sur Cloudflare Workers : les adresses source proviennent donc de plages Cloudflare et changent sans préavis. Filtrez sur la chaîne du user agent, pas sur une liste blanche d'IP.

Ce qu'il requête

Une requête GET par URL, rien de plus. Il n'exécute pas JavaScript : il voit exactement le HTML renvoyé par votre serveur.

• GET uniquement, jamais POST ni aucune autre méthode
• Accepte text/html, suit jusqu'à 5 redirections, et abandonne après 8 secondes
• Au maximum 5 requêtes simultanées
• Arrête la lecture après environ 1 Mo de HTML
• Hôtes publics http et https uniquement : les adresses privées et loopback sont refusées

Quand il s'exécute

Uniquement pendant une vérification en cours : il récupère le robots.txt, les sitemaps nécessaires et les pages testées. Les résultats sont mis en cache 24 heures, donc rouvrir un rapport ne coûte rien à votre serveur. Une exploration complète du site est limitée à 100 pages par défaut, avec un plafond strict de 500, une profondeur de 3 et une requête par page.

L'autoriser

Si robots.txt autorise tous les agents, il n'y a rien à faire. Si vous bloquez les agents inconnus par défaut, ajoutez un blocage explicite pour AutoPSEO-Bot avec les chemins à vérifier ; un site de préproduction protégé par authentification HTTP renvoie simplement 401, et le rapport l'indique au lieu de deviner.

Le bloquer

Un bloc User-agent nommant AutoPSEO-Bot avec Disallow: / arrête le robot dès la prochaine exécution, et les règles Allow de ce bloc sont respectées normalement. Les URL bloquées sont signalées dans l'exécution comme bloquées par robots.txt plutôt que silencieusement ignorées, ce qui rend facile à expliquer une vérification qui ne renvoie soudainement rien.