AutoPSEO-Bot

Как его распознать

Запросы отправляются с user agent AutoPSEO-Bot/1.0 (On-Page SEO Checker), к которому инструмент проверки страницы добавляет ссылку на эту страницу. Краулер работает на Cloudflare Workers, поэтому адреса источника берутся из диапазонов Cloudflare и меняются без предупреждения: ориентируйтесь на строку user agent, а не на список разрешённых IP-адресов.

Что он запрашивает

Один GET-запрос на URL — и ничего больше. Он не выполняет JavaScript, поэтому видит ровно тот HTML, который возвращает ваш сервер.

• Только GET, никогда POST или другой метод
• Принимает text/html, переходит максимум по 5 редиректам и прекращает попытку через 8 секунд
• Не более 5 одновременных запросов
• Прекращает чтение примерно после 1 МБ HTML
• Только публичные хосты http и https — приватные и loopback-адреса отклоняются

Когда он работает

Только пока выполняется проверка: он запрашивает robots.txt, нужные файлы sitemap и проверяемые страницы. Результаты кэшируются на 24 часа, поэтому повторное открытие отчёта ничего не стоит вашему серверу. Полный обход сайта по умолчанию ограничен 100 страницами, с жёстким пределом в 500, глубиной 3 и одним запросом на страницу.

Как разрешить

Если robots.txt разрешает всех агентов, ничего делать не нужно. Если по умолчанию вы блокируете неизвестных агентов, добавьте явный блок для AutoPSEO-Bot с путями, которые нужно проверить; staging-сайт за HTTP-авторизацией просто вернёт 401, и отчёт укажет на это, а не будет строить догадки.

Как заблокировать

Блок User-agent с AutoPSEO-Bot и правилом Disallow: / останавливает краулер уже при следующем запуске, а правила Allow внутри этого блока учитываются как обычно. Заблокированные URL отмечаются в отчёте как заблокированные robots.txt, а не просто пропадают, поэтому проверку, которая внезапно ничего не вернула, легко объяснить.