AutoPSEO-Bot

Rozpoznawanie go

Żądania zawierają user agent AutoPSEO-Bot/1.0 (On-Page SEO Checker), który narzędzie do sprawdzania on-page rozszerza o link do tej strony. Robot działa na Cloudflare Workers, więc adresy źródłowe pochodzą z zakresów Cloudflare i zmieniają się bez zapowiedzi: dopasowuj po ciągu user agent, a nie po liście dozwolonych adresów IP.

Co pobiera

Jedno żądanie GET na adres URL i nic więcej. Nie wykonuje JavaScript, więc widzi dokładnie taki HTML, jaki zwraca Twój serwer.

• Tylko GET, nigdy POST ani żadna inna metoda
• Akceptuje text/html, wykonuje maksymalnie 5 przekierowań i rezygnuje po 8 sekundach
• Maksymalnie 5 żądań jednocześnie
• Przerywa odczyt po ok. 1 MB kodu HTML
• Tylko publiczne hosty http i https — adresy prywatne i loopback są odrzucane

Kiedy działa

Tylko podczas trwania sprawdzenia: pobiera plik robots.txt, potrzebne sitemapy i testowane strony. Wyniki są przechowywane w pamięci podręcznej przez 24 godziny, więc ponowne otwarcie raportu nic nie kosztuje Twojego serwera. Pełne skanowanie witryny jest domyślnie ograniczone do 100 stron, z twardym limitem 500, głębokością 3 i jednym żądaniem na stronę.

Zezwalanie na niego

Jeśli plik robots.txt zezwala wszystkim robotom, nie musisz nic robić. Jeśli domyślnie blokujesz nieznane roboty, dodaj jawną regułę dla AutoPSEO-Bot ze ścieżkami, które chcesz sprawdzać. Witryna testowa (staging) zabezpieczona uwierzytelnianiem HTTP po prostu zwraca 401, a raport to zgłasza zamiast zgadywać.

Blokowanie go

Blok User-agent wskazujący AutoPSEO-Bot z regułą Disallow: / zatrzymuje robota od następnego uruchomienia, a reguły Allow w tym bloku są uwzględniane jak zwykle. Zablokowane adresy URL są w raporcie oznaczone jako zablokowane przez robots.txt, a nie po cichu pomijane, więc sprawdzenie, które nagle nic nie zwraca, łatwo wyjaśnić.