Что означает статус \"Обнаружено — сейчас не проиндексировано\"?
Отправка и индексация
Google нашёл URL по ссылке или в файле sitemap, но ещё не загрузил страницу, поэтому в инструменте проверки URL нет даты последнего сканирования. По объяснению Google, обычно он откладывает сканирование, чтобы не перегружать ваш сайт. Несколько новых страниц в таком состоянии — это нормально, и со временем ситуация исправляется сама. Если же тысячи URL остаются в этом статусе неделями, значит, сервер не справляется с нагрузкой или сайт создаёт больше URL, чем Google готов сканировать.
Почему Google откладывает сканирование
Объём сканирования Google определяет по двум факторам:
- Ёмкость сканирования (crawl capacity). Сколько запросов выдерживает ваш сервер. Быстрые и стабильные ответы повышают её; медленные ответы, ошибки 5xx и ответы
429снижают. - Спрос на сканирование (crawl demand). Насколько Google заинтересован в ваших URL: насколько они популярны, как часто меняются и какая доля вашего набора URL кажется стоящей загрузки. Дубликаты и малоценные URL расходуют этот спрос впустую.
Каждое имя хоста рассматривается как отдельный сайт, поэтому www.example.com и shop.example.com сканируются независимо.
Это проблема для вашего сайта?
| Что вы видите | Что это обычно значит |
|---|---|
| Несколько недавних страниц на любом сайте | Норма. По словам Google, на обнаружение и сканирование новой страницы часто уходит несколько дней. |
| Большая доля URL на протяжении нескольких недель на сайте от 10 000 страниц | Проблема с краулинговым бюджетом. Руководство Google по краулинговому бюджету написано именно для такого случая. |
| URL, которые вы не собирались публиковать: фильтры, варианты сортировки, идентификаторы сессий | Сайт генерирует больше URL, чем на нём страниц. |
| Много URL после сбоя сервера или периода медленной работы | Google снизил нагрузку, пока сервер испытывал трудности; когда ответы нормализуются, он снова наращивает объём сканирования. |
Как добиться сканирования страниц
- Сначала проверьте сервер. Откройте Настройки > Статистика сканирования и посмотрите состояние хоста и среднее время ответа. Прежде всего устраните ошибки сервера и медленные ответы. См. Статистика сканирования.
- Уберите URL, которых не должно быть. Закройте от сканирования фасетные варианты и варианты сортировки в
robots.txt, для удалённых страниц возвращайте404или410, исправьте мягкие ошибки 404 и сократите цепочки редиректов. Не полагайтесь здесь наnoindex: чтобы увидеть тег, Google всё равно должен запросить страницу. - Ставьте ссылки на важные страницы с уже просканированных и проиндексированных страниц. URL, известный только из sitemap, имеет небольшой вес.
- Держите sitemap в порядке. Включайте только канонические URL, доступные для индексирования, и указывайте точный
<lastmod>, когда меняется содержимое. - Запрашивайте индексирование умеренно. Кнопка Запросить индексирование в инструменте проверки URL помогает для нескольких приоритетных страниц в рамках дневного лимита. Накопившуюся по всему сайту очередь она не устранит.
Если число не снижается, когда сервер здоров, а набор URL приведён в порядок, оцените, стоят ли страницы сканирования: спрос зависит и от того, насколько полезными и популярными их считает Google. После сканирования страница всё равно может попасть в статус Просканировано — сейчас не проиндексировано. Более общую картину см. в материале о краулинговом бюджете.
Как помогает AutoPSEO
Отчёт Sitemap Performance сопоставляет список URL каждого файла sitemap с данными Search Console по страницам и показывает, сколько перечисленных URL приносят клики, сколько не приносят ни одного и сколько вообще не появляются в Search Console — именно там и прячутся необнаруженные и несканированные страницы. Затем Index Tracker ежедневно проверяет важные для вас URL через URL Inspection API и фиксирует первый день, когда каждый из них попал в индекс, так что вы видите, сколько времени на вашем сайте занимает индексирование новых страниц.
Источники: Google — справка по отчёту об индексировании страниц, руководство по краулинговому бюджету и справка по инструменту проверки URL.
Ещё в разделе Отправка и индексация
Переведите SEO-контент на автопилот
Подключите Search Console и свой сайт. AutoPSEO просканирует его и сразу спланирует первые темы. Банковская карта не нужна.