AutoPSEO-Bot

Як його розпізнати

Запити містять user agent AutoPSEO-Bot/1.0 (On-Page SEO Checker), який перевірка на сторінці доповнює посиланням на цю сторінку. Краулер працює на Cloudflare Workers, тому вихідні адреси належать до діапазонів Cloudflare і змінюються без попередження: орієнтуйтеся на рядок user agent, а не на список дозволених IP.

Що він запитує

Один GET-запит на URL, і нічого більше. Він не виконує JavaScript, тож бачить саме той HTML, який повертає ваш сервер.

• Лише GET, ніколи POST чи будь-який інший метод
• Приймає text/html, переходить максимум за 5 перенаправленнями і зупиняється через 8 секунд
• Не більше 5 одночасних запитів
• Припиняє читання приблизно після 1 МБ HTML
• Лише публічні хости http і https, тому приватні та loopback-адреси відхиляються

Коли він працює

Лише під час виконання перевірки: він завантажує robots.txt, потрібні файли sitemap і сторінки, що перевіряються. Результати кешуються на 24 години, тож повторне відкриття звіту нічого не коштує вашому серверу. Повне сканування сайту обмежене 100 сторінками за замовчуванням, із жорстким лімітом у 500, глибиною 3 та одним запитом на сторінку.

Як дозволити

Якщо robots.txt дозволяє всіх агентів, нічого робити не потрібно. Якщо ви за замовчуванням блокуєте невідомих агентів, додайте окремий блок для AutoPSEO-Bot зі шляхами, які потрібно перевірити; тестовий сайт за HTTP-автентифікацією просто поверне 401, і звіт це вкаже, а не робитиме припущень.

Як заблокувати

Блок User-agent з назвою AutoPSEO-Bot та Disallow: / зупинить краулер під час наступного запуску, а правила Allow в цьому блоці враховуються як зазвичай. Заблоковані URL позначаються у звіті як заблоковані robots.txt, а не просто відкидаються, тож перевірку, яка раптом нічого не повертає, легко пояснити.