Перейти к содержимому

Что означает статус \"Обнаружено — сейчас не проиндексировано\"?

Отправка и индексация

Google нашёл URL по ссылке или в файле sitemap, но ещё не загрузил страницу, поэтому в инструменте проверки URL нет даты последнего сканирования. По объяснению Google, обычно он откладывает сканирование, чтобы не перегружать ваш сайт. Несколько новых страниц в таком состоянии — это нормально, и со временем ситуация исправляется сама. Если же тысячи URL остаются в этом статусе неделями, значит, сервер не справляется с нагрузкой или сайт создаёт больше URL, чем Google готов сканировать.

Почему Google откладывает сканирование

Объём сканирования Google определяет по двум факторам:

  • Ёмкость сканирования (crawl capacity). Сколько запросов выдерживает ваш сервер. Быстрые и стабильные ответы повышают её; медленные ответы, ошибки 5xx и ответы 429 снижают.
  • Спрос на сканирование (crawl demand). Насколько Google заинтересован в ваших URL: насколько они популярны, как часто меняются и какая доля вашего набора URL кажется стоящей загрузки. Дубликаты и малоценные URL расходуют этот спрос впустую.

Каждое имя хоста рассматривается как отдельный сайт, поэтому www.example.com и shop.example.com сканируются независимо.

Это проблема для вашего сайта?

Что вы видитеЧто это обычно значит
Несколько недавних страниц на любом сайтеНорма. По словам Google, на обнаружение и сканирование новой страницы часто уходит несколько дней.
Большая доля URL на протяжении нескольких недель на сайте от 10 000 страницПроблема с краулинговым бюджетом. Руководство Google по краулинговому бюджету написано именно для такого случая.
URL, которые вы не собирались публиковать: фильтры, варианты сортировки, идентификаторы сессийСайт генерирует больше URL, чем на нём страниц.
Много URL после сбоя сервера или периода медленной работыGoogle снизил нагрузку, пока сервер испытывал трудности; когда ответы нормализуются, он снова наращивает объём сканирования.

Как добиться сканирования страниц

  1. Сначала проверьте сервер. Откройте Настройки > Статистика сканирования и посмотрите состояние хоста и среднее время ответа. Прежде всего устраните ошибки сервера и медленные ответы. См. Статистика сканирования.
  2. Уберите URL, которых не должно быть. Закройте от сканирования фасетные варианты и варианты сортировки в robots.txt, для удалённых страниц возвращайте 404 или 410, исправьте мягкие ошибки 404 и сократите цепочки редиректов. Не полагайтесь здесь на noindex: чтобы увидеть тег, Google всё равно должен запросить страницу.
  3. Ставьте ссылки на важные страницы с уже просканированных и проиндексированных страниц. URL, известный только из sitemap, имеет небольшой вес.
  4. Держите sitemap в порядке. Включайте только канонические URL, доступные для индексирования, и указывайте точный <lastmod>, когда меняется содержимое.
  5. Запрашивайте индексирование умеренно. Кнопка Запросить индексирование в инструменте проверки URL помогает для нескольких приоритетных страниц в рамках дневного лимита. Накопившуюся по всему сайту очередь она не устранит.

Если число не снижается, когда сервер здоров, а набор URL приведён в порядок, оцените, стоят ли страницы сканирования: спрос зависит и от того, насколько полезными и популярными их считает Google. После сканирования страница всё равно может попасть в статус Просканировано — сейчас не проиндексировано. Более общую картину см. в материале о краулинговом бюджете.

Как помогает AutoPSEO

Отчёт Sitemap Performance сопоставляет список URL каждого файла sitemap с данными Search Console по страницам и показывает, сколько перечисленных URL приносят клики, сколько не приносят ни одного и сколько вообще не появляются в Search Console — именно там и прячутся необнаруженные и несканированные страницы. Затем Index Tracker ежедневно проверяет важные для вас URL через URL Inspection API и фиксирует первый день, когда каждый из них попал в индекс, так что вы видите, сколько времени на вашем сайте занимает индексирование новых страниц.

Источники: Google — справка по отчёту об индексировании страниц, руководство по краулинговому бюджету и справка по инструменту проверки URL.

Переведите SEO-контент на автопилот

Подключите Search Console и свой сайт. AutoPSEO просканирует его и сразу спланирует первые темы. Банковская карта не нужна.