Как диагностировать технические проблемы с индексацией

Порядок разбора отчёта «Индексирование страниц» в Search Console: что исправлять в первую очередь, как подтвердить причины с помощью проверки URL и когда пора остановиться.

Диагностируйте проблемы с индексацией, отталкиваясь от нужных вам страниц, а не от итоговых цифр в отчёте. Составьте список важных URL, выясните, какие из них не проиндексированы и почему, а затем разбирайте причины по степени серьёзности: сначала ошибки сервера и доступа, затем случайные блокировки, конфликты канонических URL, страницы, похожие на ошибки, и в последнюю очередь страницы, которые Google просто решил не индексировать. Подтверждайте каждое исправление проверкой в реальном времени в инструменте проверки URL, прежде чем запрашивать валидацию в Google.

Этот материал предполагает, что вы знакомы со статусами, описанными в статье Индексирование: основы.

Шаг 1: составьте список важных URL

В отчёте «Индексирование страниц» учитываются все URL, о которых знает Google, включая адреса с параметрами, старые адреса и страницы, которые вы не собирались публиковать. Большое число в разделе «Не проиндексировано» — это нормально, и Google прямо говорит, что индексироваться должны не все URL (Отчёт «Индексирование страниц»). Поэтому начните со своего списка:

Страницы, которые приносят трафик: 50–100 лучших в разделе Эффективность → Страницы за три месяца.
Страницы, которые приносят деньги: страницы товаров, тарифов, услуг и филиалов независимо от трафика.
Новые страницы: всё, что опубликовано за последние 90 дней.
Ваши файлы Sitemap: в них должны быть перечислены ровно те канонические URL, которые вы хотите видеть в индексе. Отчёт «Индексирование страниц» можно отфильтровать по файлу Sitemap и посмотреть, сколько его URL проиндексировано, а каждый файл в отчёте «Файлы Sitemap» ведёт к данным об индексировании его URL.

Шаг 2: выясните, какие из них не проиндексированы

Если список короткий, проверьте каждый URL в инструменте проверки URL. Если он длиннее, откройте отчёт «Индексирование страниц», отфильтрованный по вашему файлу Sitemap, и пройдите по каждой причине, отмечая, какие из ваших важных URL встречаются среди её примеров. Записывайте для каждого URL причину и её источник. Практическое правило Google: как правило, вы можете исправить только те проблемы, у которых в качестве источника указан «Веб-сайт».

Шаг 3: разбирайте причины по порядку

Исправляйте причины в таком порядке. Каждый уровень может скрывать следующий, а первые затрагивают сразу больше всего страниц.

Порядок	Статус	Что проверить в первую очередь	Типичное исправление
1	Ошибка сервера (5xx)	Логи сервера и статус хостинга на момент обхода Google	Устранить нехватку ресурсов или сбои; повторяющиеся ответы 5xx также замедляют обход со стороны Google
2	Ошибка переадресации	Полная цепочка переадресаций для URL	Переадресовывать на конечный URL за один шаг; убрать циклы
3	Заблокировано из-за несанкционированного запроса (401), доступ запрещён (403) или другие ошибки 4xx	Страницы входа, правила брандмауэра или защиты от ботов	Открыть Googlebot доступ к общедоступным страницам
4	URL помечен как noindex	Метатег robots страницы и её заголовок `X-Robots-Tag`	Убрать noindex со страниц, которые должны ранжироваться
5	URL заблокирован в файле robots.txt	Подходящее правило в robots.txt	Убрать правило для страниц, которые должны сканироваться
6	Дубликат, Google выбрал другой канонический URL, чем пользователь	Какой URL указывают канонический тег, переадресации, Sitemap и внутренние ссылки	Сделать так, чтобы все сигналы указывали на один и тот же URL
7	Soft 404	Что показывает страница, когда её запрашивает Googlebot	Настоящий ответ 404 для отсутствующих страниц; реальное содержимое для реальных страниц
8	Просканировано, но пока не проиндексировано	Даёт ли страница что-то, чего нет на ваших других страницах и у конкурентов	Улучшить её или объединить с более сильной страницей
9	Обнаружено, но пока не проиндексировано	Ведёт ли на неё ссылка хотя бы с одной просканированной страницы	Добавить ссылки на неё с просканированных страниц; на очень больших сайтах — управлять обходом

Диагностика одного URL с помощью проверки URL

Для каждого важного URL из вашего списка выполните одни и те же пять проверок (Инструмент проверки URL):

Прочитайте вердикт и причину. Сообщение «URL неизвестен Google» означает, что Google вообще не видел этот адрес, поэтому задача — обнаружение: добавьте ссылки на него со страниц, которые Google уже сканирует, и включите его в файл Sitemap.
Сравните канонические URL. Если канонический URL, выбранный Google, отличается от указанного пользователем, Google индексирует другой URL вместо этого. Прежде чем что-либо менять, изучите этот другой URL.
Проверьте обход. Обратите внимание на дату последнего обхода, на то, как Google сканировал страницу — как смартфон или как компьютер, был ли обход разрешён и удалось ли загрузить страницу. Одно предостережение: если robots.txt блокирует обход, в поле «Индексирование разрешено?» всегда указано «да», потому что Google не видит noindex на странице, которую ему нельзя загружать.
Запустите проверку опубликованного URL. В режиме по умолчанию описывается последняя проиндексированная версия, которая может быть устаревшей. Проверка опубликованного URL загружает страницу прямо сейчас и показывает снимок экрана отрендеренной страницы — это самый быстрый способ заметить содержимое, которое появляется только для авторизованных пользователей или после сбоя скрипта.
Запрашивайте индексирование только после исправления. У Google есть суточная квота, и, по его словам, повторные запросы для одного и того же URL ничего не ускоряют (Запрос на повторное сканирование).

Заметки о более сложных статусах

«Заблокировано в robots.txt» не означает «скрыто от индекса». Файл robots.txt управляет сканированием, а не индексированием; заблокированный URL, на который ссылаются другие страницы, всё равно может быть проиндексирован без своего содержимого. Чтобы страница не попала в Google, разрешите сканирование и используйте noindex в метатеге или в заголовке X-Robots-Tag (Блокировка индексирования). Помните, что страница исчезает из индекса только после того, как Google повторно просканирует её, а на это может уйти время.

Конфликты канонических URL обычно создаёте вы сами. Google считает переадресации и rel="canonical" сильными сигналами, а включение в Sitemap — слабым, и отдаёт предпочтение HTTPS (Объединение дублирующихся URL). Типичный конфликт возникает, когда канонический тег указывает один URL, а навигация, Sitemap и внутренние ссылки используют вариант этого адреса (со слешем в конце или без него, с заглавными буквами, с параметром отслеживания, с http://). Приведите всё к одному виду, и конфликт, как правило, исчезнет при следующем обходе.

Soft 404 бывают двух видов. Одни — это действительно отсутствующие страницы, например шаблон «товар не найден», который возвращает код 200; такие страницы должны возвращать 404 или 410. Другие — это настоящие страницы, которые для Google выглядят пустыми, например категория без товаров или страница, содержимое которой не загружается из-за сбоя скрипта; им нужно содержимое, видимое для Google, и это подтвердит снимок экрана при проверке в реальном времени.

«Просканировано, но пока не проиндексировано» — это оценка, а не ошибка. Google просканировал страницу и решил, что пока не будет её сохранять; позже она может попасть в индекс, а может и нет. Честно спросите себя, что даёт эта страница. Обычно здесь оказываются слабые вариации других страниц, страницы тегов с двумя публикациями и статьи, которые повторяют то, что уже говорят десять других сайтов. Сделайте страницу явно лучше или не похожей на другие либо объедините её со страницей, которая уже такова.

«Обнаружено, но пока не проиндексировано» — это, как правило, вопрос ссылок. Google знает URL, но ещё не сканировал его. На большинстве сайтов решение — добавить ссылку на страницу с уже сканируемых страниц и оставить её в Sitemap. Руководство Google по краулинговому бюджету рассчитано на более узкую группу: сайты, где больше миллиона страниц, которые меняются раз в неделю, или более 10 000 страниц, которые меняются ежедневно (Управление краулинговым бюджетом). Если это про вас, сократите набор URL: объедините дубликаты, заблокируйте сканирование URL, которые никогда не нужно загружать, возвращайте 404 или 410 для удалённых страниц и исправьте soft 404, которые продолжают сканироваться.

Шаг 4: проверьте исправление

Когда URL, относящиеся к одной причине, исправлены, откройте эту причину в отчёте «Индексирование страниц» и один раз нажмите Проверить исправление. Сначала Google проверяет несколько выборочных страниц; если проблема сохраняется, проверка останавливается. В противном случае он заново проверяет все известные затронутые URL и помечает каждый как прошедший или не прошедший проверку. По словам Google, валидация обычно занимает до двух недель, а иногда значительно дольше. Google может также заметить исправления в ходе обычного сканирования без запроса на валидацию.

Когда остановиться

Прекратите заниматься статусом, если URL за ним вам не нужны в индексе (параметры, отфильтрованные представления, результаты внутреннего поиска, старые переадресации) или если страница улучшена, получила ссылки и отправлена повторно, а Google по-прежнему отказывается её индексировать спустя пару месяцев. В этом случае полезнее всего, как правило, объединить страницу с более сильной и настроить переадресацию, а не запрашивать индексирование снова.

Чем помогает AutoPSEO

AutoPSEO превращает шаг 2 в постоянную проверку. Index Tracker хранит до 1 800 выбранных вами URL, ежедневно повторно проверяет до 200 из них через URL Inspection API (сначала те, что проверялись давнее всего, в рамках лимита Google в 2 000 проверок на ресурс в сутки) и отмечает страницы, исчезнувшие из индекса за последние 30 дней, и страницы, которые Google не сканировал 120 дней. Оповещение Index flip отправляется в Slack, Microsoft Teams или на webhook, когда отслеживаемый URL пропадает из индекса или возвращается в него (оповещения). Проверка URL и Sitemaps доступны прямо в приложении, а проблемы сканирования Bing показывают проблемы того же рода со стороны Bing.

Для новых страниц IndexNow сообщает Bing и другим поддерживающим его поисковым системам об изменённых URL; Google в IndexNow не участвует, поэтому до Google по-прежнему нужно добираться через файлы Sitemap и внутренние ссылки. Статьи из контент-движка доставляются на ваш собственный сайт, который публикует их и ставит на них ссылки так же, как на любые другие страницы; если ваш сайт объявляет ключ IndexNow, AutoPSEO отправляет в IndexNow пинг с каждым опубликованным или обновлённым адресом на вашем хосте и записывает ответ IndexNow (Доставка).