Как проверить robots.txt в Google Search Console?

Q: Как проверить robots.txt в Google Search Console?

Откройте отчёт robots.txt в разделе «Настройки»: в нём указаны все файлы, которые нашёл Google, время их загрузки и ошибки разбора. Отдельные URL можно проверить с помощью инструмента проверки URL.

Откройте Настройки, а затем отчёт robots.txt. В нём перечислены файлы robots.txt, которые Google нашёл для вашего сайта, время последней проверки каждого из них, результат загрузки, размер файла и строки, которые Google не удалось разобрать. Чтобы узнать, заблокирован ли конкретный URL, проверьте его в инструменте проверки URL и посмотрите поле Сканирование разрешено?. Отдельного инструмента для проверки файла robots.txt, о котором пишут в старых руководствах, в Search Console больше нет.

Что показывает отчёт

Согласно справке Google по отчёту robots.txt:

Отчёт доступен только для ресурсов уровня домена: ресурса «Домен» или ресурса с префиксом URL без пути (https://example.com/, а не https://example.com/shop/).
Для ресурса «Домен» в отчёте показываются 20 хостов с наибольшей частотой сканирования, поскольку у каждого хоста свой файл.
Для каждого файла указаны его путь, статус загрузки, время последней проверки, размер в байтах и количество проблем. Из-за ошибок Google пропускает правило, предупреждения на это не влияют.
Файлы появляются в отчёте, если Google загружал их или пытался загрузить за последние 30 дней.

Статус	Что он означает
Загружен	Google получил файл. Строки, которые не удалось разобрать, он игнорирует, а остальные использует
Не загружен: не найден (404)	Файла нет, и это нормально: Google может сканировать любые URL
Не загружен: другая причина	Возникла другая проблема; см. таблицу ниже

После изменения файла

Обычно Google кэширует robots.txt на срок до 24 часов, поэтому изменения вступают в силу не сразу. Если вы разблокировали важные URL или исправили ошибку загрузки, откройте меню файла в отчёте и выберите Запросить повторное сканирование. В остальных случаях этого делать не нужно: Google и так часто перезагружает robots.txt.

Как Google обрабатывает некорректный robots.txt

Что получает Google	Что происходит
Ответ 2xx	Правила применяются
Перенаправление	Google переходит как минимум по пяти перенаправлениям, после чего незавершённую цепочку считает ответом 404
Ошибка 4xx, кроме 429	Считается, что файла нет: ничего не блокируется
Ошибка 5xx или сбой сети	Сканирование останавливается на 12 часов, затем до 30 дней используется последняя рабочая копия; после этого, если сайт в остальном доступен, Google действует так, как будто файла нет
Файл больше 500 КиБ	Всё, что выходит за лимит, игнорируется

Источник: How Google interprets robots.txt. Строки с ошибкой 5xx стоит опасаться больше всего: если сервер возвращает ошибку именно для этого файла, сканирование всего сайта может приостановиться.

Проверка правил до их публикации

Для URL, который уже опубликован, быстрее всего ответит поле Сканирование разрешено? в инструменте проверки URL.
Для черновика файла Google советует разработчикам проверять его локально с помощью открытой библиотеки robots.txt.
Если правила противоречат друг другу, Google применяет наиболее конкретное из них, то есть правило с самым длинным совпадающим путём; если два правила одинаково конкретны, побеждает менее строгое.

Чего robots.txt сделать не может

Файл robots.txt управляет сканированием, а не индексированием. Google подчёркивает, что он не позволяет скрыть страницу из Google: заблокированный URL всё равно может попасть в индекс без описания, если на него ссылаются другие страницы. Чтобы страница не попадала в результаты поиска, используйте noindex или защиту паролем, как описано в материале об удалении URL.

Как помогает AutoPSEO

Массовая проверка URL в AutoPSEO показывает состояние robots.txt, о котором сообщает Google для каждого URL; за один запуск можно проверить до 500 URL из вставленного списка или из карты сайта. Так можно быстро убедиться, что изменение правил не заблокировало случайно целый раздел.