Як перевірити robots.txt у Google Search Console?

Q: Як перевірити robots.txt у Google Search Console?

Відкрийте звіт robots.txt у розділі «Налаштування», щоб побачити кожен файл, який знайшов Google, час його завантаження та помилки розбору. Окремі URL перевіряйте за допомогою інструмента перевірки URL.

Відкрийте Налаштування, а потім звіт robots.txt. У ньому перелічено файли robots.txt, які Google знайшов для вашого сайту, час останньої перевірки кожного з них, результат завантаження, розмір файлу та рядки, які Google не вдалося розібрати. Щоб дізнатися, чи заблоковано конкретний URL, перевірте його й подивіться на поле Сканування дозволено?. Окремого інструмента robots.txt Tester, який описують старіші посібники, у Search Console вже немає.

Що показує звіт

Згідно з довідкою Google про звіт robots.txt:

Він доступний лише для ресурсів рівня домену: ресурсу «Домен» або ресурсу з префіксом URL без шляху (https://example.com/, а не https://example.com/shop/).
Для ресурсу «Домен» звіт охоплює 20 хостів із найвищою частотою сканування, оскільки кожен хост має власний файл.
Для кожного файлу відображаються його шлях, статус завантаження, час останньої перевірки, розмір у байтах і кількість проблем. Через помилки Google пропускає правило, а через попередження — ні.
Файли з'являються у звіті, якщо Google завантажував їх або намагався завантажити протягом останніх 30 днів.

Статус	Що це означає
Fetched	Google отримав файл. Рядки, які не вдалося розібрати, він ігнорує, а решту використовує
Not fetched: Not found (404)	Файлу немає, і це нормально: Google може сканувати всі URL
Not fetched: any other reason	Сталася інша проблема; див. таблицю нижче

Після зміни файлу

Google зазвичай кешує robots.txt до 24 годин, тож зміни набувають чинності не миттєво. Якщо ви розблокували важливі URL або виправили помилку завантаження, відкрийте меню файлу у звіті й виберіть Request a recrawl. В інших випадках цього робити не потрібно: Google й так часто повторно завантажує robots.txt.

Як Google обробляє несправний robots.txt

Що отримує Google	Що відбувається
Відповідь 2xx	Правила застосовуються
Переспрямування	Google проходить щонайменше п'ять переходів, а нерозв'язаний ланцюжок вважає відповіддю 404
Помилка 4xx, крім 429	Вважається, що файлу немає: нічого не блокується
Помилка 5xx або збій мережі	Сканування зупиняється на 12 годин, після чого до 30 днів використовується остання справна копія; далі, якщо сайт загалом доступний, Google діє так, ніби файлу немає
Файл понад 500 КіБ	Усе, що перевищує ліміт, ігнорується

Джерело: How Google interprets robots.txt. Найнебезпечніший варіант — рядок про 5xx: сервер, який видає помилку саме для цього файлу, може призупинити сканування всього сайту.

Перевірка правил до їх запуску

Для URL, який уже працює, найшвидшу відповідь дає поле Сканування дозволено? в інструменті перевірки URL.
Для чернетки файлу Google радить розробникам локально тестувати його за допомогою відкритої бібліотеки robots.txt.
Коли правила суперечать одне одному, Google застосовує найконкретніше з них — те, чий шлях збігається найдовше, а якщо два правила однаково конкретні, діє менш обмежувальне.

Чого robots.txt не може

robots.txt керує скануванням, а не індексуванням. Google наголошує, що це не спосіб приховати сторінку від Google: заблокований URL усе одно може потрапити в індекс без опису, якщо на нього посилаються інші сторінки. Щоб сторінка не потрапляла в результати пошуку, використовуйте noindex або пароль, як описано в статті про видалення URL.

Як допомагає AutoPSEO

Масова перевірка URL в AutoPSEO показує стан robots.txt, про який повідомляє Google для кожного URL, — до 500 URL за один запуск зі вставленого списку або з файлу sitemap. Так можна швидко пересвідчитися, що зміна правил не заблокувала випадково цілий розділ.