Индексирование: как Google сканирует, индексирует страницы и сообщает о них

Как URL проходит путь от обнаружения до индекса Google, что означает каждый статус отчёта «Индексирование страниц» и какие из них нужно исправлять. По материалам документации Google.

Индексирование — это сохранение страницы в базе Google, чтобы она могла появиться в результатах поиска. Прежде чем это произойдёт, Google должен обнаружить URL, просканировать его и, как правило, выполнить рендеринг. Затем система решает, не дублирует ли страница другой URL и стоит ли её вообще хранить. Отчёт «Индексирование страниц» в Search Console показывает, на каком этапе этого пути остановился каждый из ваших URL, и называет причину, которую указал Google.

От URL до результата поиска

В описании работы Поиска Google разбивает этот путь на шаги, которые можно проверять по отдельности.

Обнаружение. Единого списка веб-страниц не существует, поэтому Google постоянно ищет новые. Большую часть он находит по ссылкам с уже известных страниц и по файлам sitemap, которые отправляют владельцы сайтов.
Сканирование. Googlebot загружает URL, если это разрешено в robots.txt. Google ограничивает скорость сканирования, чтобы не перегружать ваш сервер, а при ошибках сервера снижает её ещё сильнее.
Рендеринг. Google выполняет JavaScript страницы в актуальной версии Chrome, потому что часть контента появляется только после запуска скриптов.
Индексирование. Google анализирует содержимое, группирует страницы-дубликаты и почти-дубликаты, выбирает среди них канонический URL и сохраняет его. Он может вообще отказаться индексировать страницу, например из-за низкого качества контента или запрещающего правила в метатеге robots.
Показ. На каждый поисковый запрос Google подбирает результаты из индекса. Индексирование делает страницу кандидатом на показ, но не гарантирует, что она будет показана.

Google прямо заявляет, что не гарантирует выполнение ни одного из этих шагов ни для одной страницы. Вам остаётся убрать препятствия и дать ему веские причины двигаться дальше.

Как читать отчёт «Индексирование страниц»

Отчёт делит известные Google URL на проиндексированные и непроиндексированные и для каждой группы непроиндексированных URL указывает причину (отчёт «Индексирование страниц»). Два принципа из рекомендаций самого Google помогут правильно его читать:

Отсутствие в индексе — не всегда плохо. Google советует владельцам сайтов не ждать, что все URL будут проиндексированы. Дубликаты, перенаправленные адреса и страницы без содержательного контента и не должны попадать в индекс. Важно, чтобы в нём были ключевые страницы.
Смотрите на источник. Для каждой причины указано, кроется ли она в самом сайте или в системах Google. Как правило, исправить можно только те причины, у которых источник — «Сайт».

Поэтому полезный вопрос — не «почему у меня так много непроиндексированных страниц?», а «есть ли в этом списке нужные мне страницы и почему они там оказались?».

Что означает каждый статус

Причины, которые указывает Google, делятся на пять групп. Правильное действие зависит от группы гораздо сильнее, чем от конкретной формулировки.

Вы сами запретили индексирование

Статус	Что произошло	Действие
URL помечен как «noindex»	На странице есть правило noindex	Ничего, если так задумано; уберите правило, если страница должна ранжироваться
URL заблокирован в robots.txt	robots.txt не даёт Google сканировать его	Блокировка сканирования не гарантирует, что страница не попадёт в индекс
Альтернативная страница с корректным каноническим тегом	Страница указывает на другой URL как на канонический, и Google с этим согласен	Ничего
Страница с редиректом	URL перенаправляет на другой адрес, поэтому сам не индексируется	Ничего, если целевая страница — именно та, которую нужно индексировать

Google не смог загрузить страницу

Статус	Что произошло	Действие
Ошибка сервера (5xx)	Сервер вернул ошибку из класса 500	Почините сервер; повторяющиеся ошибки к тому же замедляют сканирование
Ошибка перенаправления	Цепочка редиректов оказалась слишком длинной, зациклилась или привела на неверный либо пустой URL	Настройте редирект сразу на конечный URL
Заблокировано из-за неавторизованного запроса (401), доступ запрещён (403) или другой ошибки 4xx	Страница отказала Googlebot в доступе	Уберите ограничение, если страница должна быть общедоступной
Не найдено (404)	URL вернул 404	Для удалённых страниц это нормально; исправьте ссылки, если страница существует по другому адресу

Google выбрал другой URL

Статус	Что произошло	Действие
Дубликат: канонический URL не выбран пользователем	Google считает страницу дубликатом и сам выбрал другой канонический URL	Обычно ничего; Google называет это штатной работой
Дубликат: Google выбрал канонический URL, отличный от указанного пользователем	Вы указали канонический URL, но Google предпочёл другой	Приведите свои сигналы в соответствие (см. ниже)

Google пока не принял решение в вашу пользу

Статус	Что произошло	Действие
Обнаружена, но пока не проиндексирована	Google знает URL, но ещё не сканировал его; сканирование часто переносят, чтобы не перегружать сайт	Поставьте на неё ссылки со просканированных страниц; на очень крупных сайтах управляйте сканированием
Просканирована, но пока не проиндексирована	Google просканировал страницу, но не проиндексировал её и может не сделать этого в будущем	Сделайте страницу заметно полезной и самостоятельной либо объедините её с более сильной

Содержимое выглядит неправильно

Статус	Что произошло	Действие
Soft 404	Страница отвечает кодом 200, но выглядит как страница с ошибкой или пустая	Для отсутствующих страниц возвращайте настоящий 404, а реальные страницы наполняйте реальным содержимым
Страница проиндексирована без контента (предупреждение)	Страница в индексе, но Google не смог прочитать её содержимое	С помощью проверки URL посмотрите, что получает Googlebot
Проиндексирована, несмотря на блокировку в robots.txt (предупреждение)	Страница в индексе, хотя robots.txt её блокирует	Чтобы убрать её из индекса, разрешите сканирование и добавьте noindex

Последняя строка сбивает с толку многих. Google видит правило noindex только на странице, которую ему разрешено сканировать, поэтому если одновременно заблокировать страницу в robots.txt и добавить noindex, это правило так и не будет прочитано (Блокировка индексирования с помощью noindex).

Когда Google выбирает другой канонический URL

Канонические теги — это сигналы, а не команды. Google учитывает сразу несколько факторов: редиректы и rel="canonical" — сильные сигналы, включение в sitemap — слабый, а адресам HTTPS он отдаёт предпочтение перед HTTP (Объединение дублирующихся URL). Если ваши сигналы противоречат друг другу, например канонический тег указывает на один URL, а внутренние ссылки и sitemap используют другой, Google выбирает сам. Сделайте так, чтобы все сигналы указывали на один и тот же URL, и ссылайтесь внутри сайта именно на него. Не используйте robots.txt или noindex для выбора канонического URL: noindex полностью убирает страницу из Поиска.

Проверка одного URL с помощью инструмента проверки URL

Отчёт «Индексирование страниц» показывает группы, а проверка URL — подробности по одному адресу (инструмент проверки URL). Она сообщает, проиндексирован ли URL, какой канонический URL указали вы и какой выбрал Google, когда страницу в последний раз сканировали и каким агентом (мобильным или десктопным), разрешает ли сканирование robots.txt, удалась ли загрузка и разрешено ли индексирование.

Два предостережения. Во-первых, по умолчанию показывается последняя проиндексированная версия, которая может устареть; проверка опубликованной страницы загружает страницу прямо сейчас, и именно так подтверждают исправление, хотя успешная проверка не гарантирует индексирования. Во-вторых, если сканирование заблокировано в robots.txt, в поле «Индексирование разрешено?» всегда будет «Да», потому что Google не видит правило noindex на странице, которую ему не разрешили загружать.

Запрос индексирования просит Google просканировать URL ещё раз. На него действует суточная квота, и, по словам Google, повторные запросы сканирования для одного и того же URL не ускорят процесс (Запрос повторного сканирования). Если URL много, лучше отправьте актуальный sitemap.

Сколько занимает индексирование

Google называет диапазоны, а не обещания. Индексирование новой страницы может занять несколько дней и никогда не происходит мгновенно, даже после прямого запроса. Новые сайты сканируются и индексируются примерно за неделю или около того, а повторное сканирование занимает от нескольких дней до нескольких недель. Когда вы исправили проблему и нажали Проверить исправление, проверка обычно длится до двух недель. Если важная страница всё ещё не появилась в индексе через месяц, воспользуйтесь руководством по техническим проблемам индексирования, а не отправляйте запрос индексирования снова.

Как помочь Google найти ваши страницы и сохранить их в индексе

Ставьте на новые страницы ссылки с уже сканируемых страниц, например с главной, страниц-хабов или связанных статей. Ссылки — основной способ, которым Google находит URL.
Включайте в sitemap только канонические URL в виде полных абсолютных адресов; в одном файле — не более 50,000 URL и не более 50MB в несжатом виде. Google учитывает <lastmod>, если это значение стабильно точное, и игнорирует <priority> и <changefreq> (Создание sitemap).
Давайте каждому материалу один URL, чтобы редиректы, канонические теги, sitemap и внутренние ссылки согласовывались между собой.
Для удалённых страниц возвращайте настоящий 404 или 410, а не пустую страницу с кодом 200.
Бюджет сканирования стоит учитывать только на больших сайтах. Руководство Google по бюджету сканирования рассчитано на сайты с более чем миллионом страниц, которые обновляются еженедельно, или с более чем 10,000 страниц, которые обновляются ежедневно.

Чем помогает AutoPSEO

AutoPSEO запускает проверку URL прямо из приложения и расходует суточный лимит Google в 2,000 проверок на ресурс. Index Tracker хранит список из до 1,800 выбранных вами URL и повторно проверяет до 200 из них в сутки, начиная с тех, что дольше всего не проверялись. Он предупреждает, если страница была удалена из индекса за последние 30 дней или не сканировалась 120 дней, а также может отправить оповещение «Index flip» в Slack, Teams или через вебхук, когда отслеживаемый URL выпадает из индекса или возвращается в него. IndexNow уведомляет Bing и другие поисковые системы, которые его поддерживают; Google в IndexNow не участвует, поэтому для него путь в индекс по-прежнему лежит через sitemap и внутренние ссылки.

Статьи, написанные контент-движком, доставляются на ваш сайт, который публикует их и расставляет ссылки так же, как для любой другой страницы. Если на вашем сайте объявлен ключ IndexNow, AutoPSEO отправляет в IndexNow уведомление о каждом новом или обновлённом адресе на вашем хосте (Доставка).