Где находится отчёт «Статистика сканирования» в Google Search Console?

Q: Где находится отчёт «Статистика сканирования» в Google Search Console?

Статистика сканирования находится в разделе «Настройки», а не в главном меню, и доступна только для ресурсов корневого уровня. Как открыть отчёт, разобрать каждый график и заметить проблемы со сканированием.

Отчёта «Статистика сканирования» нет в левом меню Search Console. Откройте Настройки (значок шестерёнки), затем Статистика сканирования и перейдите к отчёту оттуда. Он есть только у ресурсов корневого уровня: ресурса типа «Домен», например example.com, или ресурса с префиксом URL в корне, например https://example.com/. У ресурса для папки вроде https://example.com/blog/ такого отчёта нет. По словам Google, сайтам менее чем с 1000 страниц он нужен редко.

Как открыть отчёт

Переключитесь на ресурс типа «Домен» или на ресурс с префиксом URL в корне. Если у вас есть только ресурс уровня папки, добавьте для сайта ресурс типа «Домен».
Выберите Настройки внизу меню.
Найдите на странице настроек Статистика сканирования и откройте отчёт.

Что показывает отчёт

На верхнем графике по дням отображаются три суммарных показателя:

Всего запросов на сканирование: все запросы Googlebot, успешные и нет. Повторные запросы к одному и тому же URL учитываются каждый раз, как и каждый переход в цепочке редиректов.
Общий размер загрузки: объём полученных данных в байтах. Ресурс, который кэшируется и используется несколькими страницами, загружается один раз.
Среднее время ответа: по всем загруженным ресурсам, причём каждый ресурс страницы учитывается отдельно.

Ниже состояние хоста за последние 90 дней проверяет три вещи: удалось ли получить robots.txt, разрешился ли DNS и ответил ли сервер. Для каждой проверки показывается один из статусов: зелёная отметка, проблема более недельной давности или недавняя проблема за последнюю неделю.

Затем идут четыре разбивки, каждая в виде доли запросов:

Разбивка	По какому признаку делится	На что обратить внимание
По ответу	200, 301/308, 302/307, 304, 404, 5xx, ошибки DNS и ошибки загрузки	Растущая доля 5xx, тайм-аутов или ошибок «страница недоступна»
По типу файла	HTML, изображения, JavaScript, CSS, JSON, PDF и другие	Резкий рост одного типа после изменения шаблона или приложения
По назначению	Обнаружение (URL, которые ещё не сканировались) или обновление (повторное сканирование)	Мало обнаружения при активной публикации новых страниц
По типу Googlebot	Смартфон, компьютер, изображения, видео, загрузка ресурсов страницы, AdsBot, StoreBot	Всплески AdsBot, которые обычно вызваны целями динамических поисковых объявлений

Google относит ответы 404 к категории «возможно, нормальные»: удалённая страница должна возвращать 404, и исправлять каждый такой случай не нужно.

Как сбой robots.txt останавливает сканирование

robots.txt важнее всего остального в отчёте. Ответы 200 (даже для пустого файла), 403, 404 и 410 считаются успешной загрузкой. Ответ 429 или 5xx считается сбоем, и тогда:

В первые 12 часов Google прекращает сканировать сайт и продолжает запрашивать файл.
В период от 12 часов до 30 дней используется последняя удачно полученная копия.
Через 30 дней Google сканирует сайт без ограничений, если главная страница доступна, и прекращает сканирование, если нет.

Поэтому красный статус хоста для robots.txt — это аварийная ситуация: он может остановить сканирование целиком.

Ситуации, требующие действий

Число запросов падает, а время ответа растёт. Google снижает скорость сканирования, когда сервер замедляется или возвращает ошибки. Прежде всего исправьте сервер.
Googlebot перегружает сервер. Возвращайте 503 или 429 лишь ненадолго, не дольше двух-трёх дней, иначе сканирование может остаться на сниженном уровне и после этого.
Вы хотите, чтобы сайт сканировали чаще. Запросить это нельзя. Поддерживайте файлы Sitemap в актуальном состоянии, удаляйте дубликаты и ненужные URL и следите, чтобы важные страницы не были заблокированы.
В отчёте больше запросов, чем в ваших логах. Так бывает, если robots.txt долго был недоступен: Google учитывает сканирования, которые он выполнил бы.

Два ограничения, которые стоит помнить: запросы перечисляются по фактически загруженному URL, а не приводятся к канонической версии, и ресурсы, размещённые на других доменах, в отчёте не отображаются. Кроме того, у этого отчёта нет API, поэтому серверные логи остаются единственным источником данных о визитах Googlebot по каждому URL. О том, ограничивает ли всё это индексирование, читайте в материале про краулинговый бюджет.

Чем помогает AutoPSEO

API Google не предоставляет статистику сканирования, поэтому AutoPSEO не может воспроизвести этот отчёт. Вместо этого Index Tracker фиксирует дату последнего сканирования, которую Google сообщает для каждого отслеживаемого URL, и отмечает проиндексированные страницы, которые не сканировались 120 дней и более. Если подключён ключ Bing Webmaster Tools, AutoPSEO также показывает ежедневную статистику сканирования Bing и список проблем сканирования.

Источники: справка Google по отчёту «Статистика сканирования» и справочник по Search Console API.