AutoPSEO-Bot

Identificare

Solicitările poartă user agent-ul AutoPSEO-Bot/1.0 (On-Page SEO Checker), pe care verificatorul on-page îl extinde cu un link către această pagină. Crawlerul rulează pe Cloudflare Workers, astfel încât adresele sursă provin din intervalele Cloudflare și se schimbă fără notificare: potriviți după șirul user agent, nu după o listă albă de adrese IP.

Ce solicită

Un singur GET per URL și nimic altceva. Nu execută JavaScript, așa că vede exact codul HTML returnat de serverul dvs.

• Doar GET, niciodată POST sau altă metodă
• Acceptă text/html, urmează până la 5 redirecționări și renunță după 8 secunde
• Cel mult 5 solicitări simultane
• Se oprește din citit după aproximativ 1 MB de HTML
• Doar gazde http și https publice, astfel încât adresele private și loopback sunt refuzate

Când rulează

Doar în timp ce o verificare este în curs: preia robots.txt, sitemap-urile de care are nevoie și paginile testate. Rezultatele sunt stocate în cache timp de 24 de ore, astfel încât redeschiderea unui raport nu costă nimic serverul dvs. O accesare completă a site-ului este limitată implicit la 100 de pagini, cu un plafon maxim de 500, o adâncime de 3 și o solicitare per pagină.

Permitere

Dacă robots.txt permite toți agenții, nu este nevoie de nicio acțiune. Dacă blocați implicit agenții necunoscuți, adăugați un bloc explicit pentru AutoPSEO-Bot cu căile pe care doriți să le verificați; un site de staging protejat prin autentificare HTTP returnează pur și simplu 401, iar raportul menționează acest lucru în loc să presupună.

Blocare

Un bloc User-agent care indică AutoPSEO-Bot cu Disallow: / oprește crawlerul la următoarea rulare, iar regulile Allow din acel bloc sunt respectate ca de obicei. URL-urile blocate sunt raportate în rulare ca blocate de robots.txt, în loc să fie eliminate silențios, astfel încât o verificare care returnează brusc nimic este ușor de explicat.