Де знайти звіт «Статистика сканування» в Google Search Console?

Звіту «Статистика сканування» немає в лівому меню Search Console. Відкрийте Налаштування (значок шестерні), потім Статистика сканування й перейдіть до звіту звідти. Він існує лише для кореневих ресурсів: ресурсу типу «Домен», наприклад example.com, або ресурсу з префіксом URL у корені, наприклад https://example.com/. Для ресурсу на рівні папки, як-от https://example.com/blog/, цього звіту немає. За словами Google, сайтам, на яких менше ніж 1000 сторінок, він потрібен рідко.

Як його відкрити

1. Перейдіть до ресурсу типу «Домен» або до кореневого ресурсу з префіксом URL. Якщо у вас є лише ресурс на рівні папки, додайте для сайту ресурс типу «Домен».
2. Виберіть Налаштування внизу меню.
3. Знайдіть на сторінці налаштувань пункт Статистика сканування і відкрийте звіт.

Що показує звіт

На верхній діаграмі щодня відображаються три загальні показники:

• Загальна кількість запитів на сканування: усі запити Googlebot, успішні й неуспішні. Повторні запити до того самого URL враховуються щоразу, так само як і кожен перехід у ланцюжку перенаправлень.
• Загальний розмір завантажених даних: кількість отриманих байтів. Ресурс, кешований і повторно використаний кількома сторінками, завантажується один раз.
• Середній час відповіді: за всіма отриманими ресурсами, причому кожен ресурс сторінки враховується окремо.

Нижче розташований блок стану хоста, який за останні 90 днів перевіряє три речі: чи вдалося отримати robots.txt, чи розпізнався DNS і чи відповів сервер. Для кожної з них показано зелену позначку, проблему тижневої давності або давнішу, або нещодавню проблему за останній тиждень.

Далі йдуть чотири розподіли, кожен у відсотках від запитів:

Google відносить помилки 404 до «можливо, нормальних»: видалена сторінка має повертати 404, тож виправляти кожну з них не потрібно.

Як збій robots.txt зупиняє сканування

robots.txt важить у цьому звіті більше за все інше. Відповіді 200 (навіть для порожнього файлу), 403, 404 або 410 вважаються успішним отриманням. Відповідь 429 або 5xx вважається збоєм, і тоді:

1. Протягом перших 12 годин Google припиняє сканувати сайт і далі запитує цей файл.
2. Від 12 годин до 30 днів використовується остання справна копія.
3. Після 30 днів Google сканує сайт без обмежень, якщо головна сторінка доступна, і не сканує, якщо недоступна.

Тому червоний запис у стані хоста для robots.txt — це аварійна ситуація: вона може повністю зупинити сканування.

Закономірності, які потребують дій

• Кількість запитів падає, а час відповіді зростає. Google знижує швидкість сканування, коли сервер сповільнюється або повертає помилки. Спершу виправте сервер.
• Googlebot перевантажує ваш сервер. Повертайте 503 або 429 лише нетривалий час, не довше двох-трьох днів, інакше сканування згодом може залишатися зниженим.
• Ви хочете, щоб сканували більше. Запросити це неможливо. Підтримуйте файли Sitemap в актуальному стані, видаляйте дублікати та непотрібні URL і стежте, щоб важливі сторінки не були заблоковані.
• У звіті більше запитів, ніж у ваших логах. Таке можливо, якщо robots.txt довго був недоступний, адже Google враховує сканування, які він виконав би.

Пам'ятайте про два обмеження: запити перелічено за URL, який було фактично отримано, без зведення до канонічних URL, а ресурси, розміщені на інших доменах, не відображаються. Крім того, для цього звіту немає API, тож логи вашого сервера залишаються єдиним джерелом даних про візити Googlebot за окремими URL. Чи обмежує щось із цього індексування, дивіться в статті про бюджет сканування.

Як допомагає AutoPSEO

API Google не надає статистики сканування, тому AutoPSEO не може відтворити цей звіт. Натомість Index Tracker записує останню дату сканування, яку повідомляє Google для кожного відстежуваного URL, і позначає індексовані сторінки, які не скануvалися 120 днів або довше. Якщо підключити ключ Bing Webmaster Tools, AutoPSEO також показує щоденну статистику сканування від Bing і список проблем зі скануванням.

Джерела: довідка Google про звіт «Статистика сканування» і довідник Search Console API.