AutoPSEO-Bot

Identifiera den

Begäranden bär user agent AutoPSEO-Bot/1.0 (On-Page SEO Checker), som on-page-kontrollen utökar med en länk tillbaka till den här sidan. Sökroboten körs på Cloudflare Workers, så källadresser kommer från Cloudflare-intervall och ändras utan förvarning: matcha på user agent-strängen, inte på en IP-tillåtelselista.

Vad den begär

En GET per URL, och inget annat. Den kör inte JavaScript, så den ser exakt den HTML din server returnerar.

• Endast GET, aldrig POST eller någon annan metod
• Accepterar text/html, följer upp till 5 omdirigeringar och ger upp efter 8 sekunder
• Högst 5 begäranden i luften samtidigt
• Slutar läsa efter ungefär 1 MB HTML
• Endast publika http- och https-värdar, så privata och loopback-adresser avvisas

När den körs

Endast medan en kontroll körs: den hämtar robots.txt, eventuella sitemaps den behöver och sidorna som testas. Resultaten cachelagras i 24 timmar, så att öppna en rapport igen kostar din server ingenting. En full sajtcrawl är begränsad till 100 sidor som standard med ett hårt tak på 500, ett djup på 3 och en begäran per sida.

Tillåta den

Om robots.txt tillåter alla agenter finns det inget att göra. Om du blockerar okända agenter som standard, lägg till ett explicit block för AutoPSEO-Bot med de sökvägar du vill kontrollera; en staging-sajt bakom HTTP-auth returnerar helt enkelt 401 och rapporten säger det i stället för att gissa.

Blockera den

Ett User-agent-block som namnger AutoPSEO-Bot med Disallow: / stoppar sökroboten vid nästa körning, och Allow-regler inom det blocket respekteras som vanligt. Blockerade URL:er rapporteras i körningen som blockerade av robots.txt i stället för att tyst släppas, så en kontroll som plötsligt inte returnerar något är lätt att förklara.