AutoPSEO-Bot

Identifikace

Požadavky nesou user agent AutoPSEO-Bot/1.0 (On-Page SEO Checker), který on-page kontrola doplní odkazem zpět na tuto stránku. Prohledávač běží na Cloudflare Workers, proto zdrojové adresy pocházejí z rozsahů Cloudflare a mění se bez upozornění: shodu hledejte podle řetězce user agenta, ne podle seznamu povolených IP.

Co požaduje

Jeden GET na URL a nic dalšího. Nespouští JavaScript, takže vidí přesně HTML, které váš server vrátí.

• Pouze GET, nikdy POST ani jiná metoda
• Přijímá text/html, následuje až 5 přesměrování a po 8 sekundách to vzdá
• Nejvýše 5 souběžných požadavků najednou
• Přestane číst po zhruba 1 MB HTML
• Pouze veřejné hostitele http a https, soukromé a loopback adresy se odmítají

Kdy běží

Jen po dobu běžící kontroly: stáhne robots.txt, potřebné sitemapy a testované stránky. Výsledky se cachují 24 hodin, takže opětovné otevření reportu váš server nic nestojí. Procházení celého webu je ve výchozím stavu omezené na 100 stránek, s tvrdým stropem 500, hloubkou 3 a jedním požadavkem na stránku.

Povolení

Pokud robots.txt povoluje všechny agenty, není co řešit. Pokud ve výchozím stavu blokujete neznámé agenty, přidejte explicitní blok pro AutoPSEO-Bot s cestami, které chcete zkontrolovat; staging za HTTP auth jednoduše vrátí 401 a report to řekne, místo aby to hádal.

Blokování

Blok User-agent s názvem AutoPSEO-Bot a Disallow: / zastaví prohledávač při dalším běhu a pravidla Allow v tomto bloku se ctí jako obvykle. Zablokované URL se v běhu hlásí jako zablokované robots.txt, ne tiše vynechají, takže kontrola, která najednou nic nevrátí, se snadno vysvětlí.