Показывает ли Google Search Console краулинговый бюджет?

Нет. В Search Console нет числового значения краулингового бюджета, потому что краулинговый бюджет — это не фиксированная квота. Google описывает его как набор URL, которые он может и хочет сканировать на вашем сайте. Он определяется тем, какую нагрузку выдерживает ваш сервер и насколько Google интересны ваши страницы. Большинству сайтов об этом думать не нужно: руководство Google по этой теме написано для сайтов с более чем миллионом страниц или с более чем 10 000 страниц, которые меняются ежедневно.

От чего зависит краулинговый бюджет

• Лимит скорости сканирования. Сколько соединений открывает Google и как долго их удерживает. Для каждого сайта изначально задаётся одинаковое осторожное значение: оно растёт, пока сервер отвечает быстро, и снижается при медленных ответах, ошибках 5xx и ограничении запросов с кодом 429.
• Потребность в сканировании. Насколько Google интересны ваши URL: насколько они популярны, как быстро устаревают и какая доля вашего набора URL выглядит достойной сканирования. Дубликаты и ненужные URL расходуют этот интерес впустую. Перенос сайта на время повышает его.

У каждого имени хоста свой бюджет, поэтому www.example.com и shop.example.com сканируются отдельно.

Нужно ли вашему сайту об этом заботиться?

Google называет три ситуации и подчёркивает, что это приблизительные оценки, а не пороговые значения:

1. Сайты с более чем миллионом уникальных страниц, содержимое которых меняется примерно раз в неделю.
2. Сайты с более чем 10 000 уникальных страниц, содержимое которых меняется ежедневно.
3. Сайты, на которых большая доля URL находится в статусе Обнаружена, но пока не проиндексирована.

Если ваши новые страницы обычно сканируются в день публикации, краулинговый бюджет — не ваша проблема. Тогда непроиндексированные страницы гораздо вероятнее страдают из-за дублирования, качества контента или настроек.

Где Search Console показывает тревожные признаки

• Статистика сканирования (в разделе Настройки): снижение числа запросов при росте времени ответа, проблемы со статусом хоста, а также соотношение сканирования для обнаружения и для обновления. См. Статистика сканирования.
• Индексирование страниц: большое или растущее число страниц со статусом Обнаружена, но пока не проиндексирована. См. разбор этой причины.
• Инструмент проверки URL: сообщение Превышена нагрузка на хост означает, что Google притормозил, потому что сервер работал на пределе возможностей.

Как сделать сканирование эффективнее

• Объединяйте дубликаты, чтобы Google тратил сканирование на уникальные страницы.
• Закрывайте в robots.txt URL, которые не нужно сканировать, например варианты одного списка с разной сортировкой или фильтрами.
• Возвращайте 404 или 410 для страниц, удалённых навсегда, и исправляйте soft 404: их продолжают сканировать.
• Поддерживайте актуальность файлов Sitemap, указывая <lastmod> для изменённых страниц.
• Избегайте длинных цепочек редиректов и добивайтесь быстрой отдачи страниц; поддержка 304 Not Modified экономит трафик на неизменившихся страницах.

Два распространённых приёма не работают. noindex не экономит краулинговый бюджет, потому что Google всё равно запрашивает страницу, чтобы увидеть этот тег. А блокировка страниц в robots.txt не передаёт их долю другим страницам, если только сайт уже не упирается в лимит скорости сканирования. Чтобы увеличить сам бюджет, добавьте серверные мощности, если видите Превышена нагрузка на хост, и делайте контент, который стоит сканировать.

Чем помогает AutoPSEO

Index Tracker группирует отслеживаемые URL по тому, как давно их сканировал Google: от менее недели до более 120 дней. Он также отмечает проиндексированные страницы, которые не сканировались 120 дней и более. Это практический признак того, что раздел сканируется реже, чем вы думаете. Контент-движок AutoPSEO тоже помогает держать набор URL компактным. Каждая запланированная тема сверяется с существующими страницами до того, как будет написан текст, а две страницы, отвечающие на одни и те же запросы, можно объединить, настроив с прежнего адреса редирект на ту, что остаётся. См. темы в контент-движке.

Источники: руководство Google по краулинговому бюджету и справка по отчёту «Статистика сканирования».