AutoPSEO-Bot

Azonosítás

A kérések user agentje AutoPSEO-Bot/1.0 (On-Page SEO Checker), amelyet az oldalellenőrző egy erre az oldalra mutató linkkel egészít ki. A webrobot Cloudflare Workers-en fut, így a forráscímek Cloudflare-tartományokból származnak, és előzetes értesítés nélkül változhatnak: a user agent stringre szűrj, ne IP-engedélyezési listára.

Mit kér le

URL-enként egy GET kérés, semmi más. Nem futtat JavaScriptet, így pontosan azt a HTML-t látja, amit a szervered visszaad.

• Kizárólag GET, soha POST vagy más metódus
• text/html-t fogad el, legfeljebb 5 átirányítást követ, és 8 másodperc után feladja
• Egyszerre legfeljebb 5 folyamatban lévő kérés
• Nagyjából 1 MB HTML után leáll az olvasással
• Kizárólag nyilvános http és https hostok, a privát és loopback címeket elutasítja

Mikor fut

Csak ellenőrzés futása közben: letölti a robots.txt-et, a szükséges sitemapeket és a tesztelt oldalakat. Az eredmények 24 órán át gyorsítótárazva vannak, így egy jelentés újbóli megnyitása semmibe sem kerül a szervered számára. Egy teljes oldalbejárás alapértelmezés szerint 100 oldalra korlátozódik, 500-as kemény felső határral, 3-as mélységgel és oldalanként egy kéréssel.

Engedélyezés

Ha a robots.txt minden ügynököt enged, nincs teendő. Ha alapértelmezetten letiltod az ismeretlen ügynököket, adj hozzá egy explicit blokkot az AutoPSEO-Bothoz az ellenőrizni kívánt elérési utakkal; a HTTP hitelesítés mögötti staging oldal egyszerűen 401-et ad vissza, és a jelentés ezt jelzi, nem tippel.

Letiltás

Egy AutoPSEO-Botot megnevező User-agent blokk Disallow: / paranccsal leállítja a webrobotot a következő futásnál, és a blokkon belüli Allow szabályok a szokásos módon érvényesülnek. A letiltott URL-ek a futásban robots.txt által letiltottként jelennek meg, nem tűnnek el nyomtalanul, így egy hirtelen semmit sem visszaadó ellenőrzés könnyen megmagyarázható.