Індексування: як Google сканує, індексує сторінки та звітує про них

Як URL проходить шлях від виявлення до індексу Google, що означає кожен статус у звіті «Індексування сторінок» і які з них потрібно виправляти, за документацією Google.

Індексування — це збереження сторінки в Google, щоб вона могла з'явитися в результатах пошуку. Перед цим Google має виявити URL, просканувати його і зазвичай відрендерити. Після цього він вирішує, чи не дублює сторінка інший URL і чи варто її взагалі зберігати. Звіт «Індексування сторінок» у Search Console показує, на якому етапі цього шляху зупинився кожен із ваших URL, і яку причину вказав Google.

Від URL до результату пошуку

Опис роботи Пошуку від Google розбиває цей шлях на кроки, які можна перевіряти по одному.

Виявлення. Централізованого списку вебсторінок не існує, тому Google постійно шукає нові. Здебільшого він знаходить їх за посиланнями зі сторінок, які вже знає, і за файлами sitemap, які надсилають власники сайтів.
Сканування. Googlebot завантажує URL, якщо robots.txt це дозволяє. Google обмежує швидкість сканування, щоб не перевантажувати ваш сервер, а помилки сервера змушують його сповільнюватися ще більше.
Рендеринг. Google виконує JavaScript сторінки за допомогою актуальної версії Chrome, бо частина контенту з'являється лише після запуску скриптів.
Індексування. Google аналізує контент, групує сторінки, що є дублікатами або майже дублікатами, обирає одну з них канонічною і зберігає її. Він може й зовсім не індексувати сторінку, наприклад через низьку якість контенту або заборону в robots meta.
Показ. Для кожного пошукового запиту Google добирає результати з індексу. Наявність в індексі робить сторінку придатною до показу, але не гарантує, що її покажуть.

Google прямо заявляє, що не гарантує жодного з цих кроків для жодної сторінки. Вам під силу прибрати перешкоди й дати йому вагомі причини рухатися далі.

Як читати звіт «Індексування сторінок»

Звіт ділить відомі Google URL на проіндексовані та непроіндексовані й вказує причину для кожної групи непроіндексованих URL (звіт «Індексування сторінок»). Два принципи з рекомендацій самого Google допоможуть правильно його читати:

Відсутність в індексі не завжди погано. Google радить власникам сайтів не очікувати, що всі URL буде проіндексовано. Дублікати, адреси з редиректами та сторінки без змістовного контенту й мають залишатися поза індексом. Важливо, щоб у ньому були ключові сторінки.
Дивіться на джерело. Для кожної причини вказано, чи криється вона на боці вебсайту, чи в системах Google. Загалом виправити можна лише ті причини, де джерело — «Вебсайт».

Тож корисне запитання — не «чому так багато непроіндексованих?», а «чи є в цьому списку сторінки, які мені потрібні, і чому?».

Що означає кожен статус

Причини від Google поділяються на п'ять груп. Правильна реакція залежить від групи значно більше, ніж від точного формулювання.

Ви самі заборонили індексування

Статус	Що сталося	Дія
URL marked 'noindex'	На сторінці є правило noindex	Нічого, якщо це навмисно; приберіть правило, якщо сторінка має ранжуватися
URL blocked by robots.txt	robots.txt забороняє Google сканувати її	Блокування сканування не гарантує, що сторінка не потрапить в індекс
Alternate page with proper canonical tag	Сторінка вказує на інший URL як на канонічний, і Google з цим згоден	Нічого
Page with redirect	URL перенаправляє кудись, тому сам не індексується	Нічого, якщо цільова сторінка — саме та, яку ви хочете індексувати

Google не зміг завантажити сторінку

Статус	Що сталося	Дія
Server error (5xx)	Ваш сервер повернув помилку класу 500	Виправте сервер; повторювані помилки також уповільнюють сканування
Redirect error	Ланцюжок редиректів задовгий, зациклився або веде на некоректний чи порожній URL	Спрямуйте редирект одразу на кінцевий URL
Blocked due to unauthorized request (401), access forbidden (403) or other 4xx issue	Сторінка відмовила Googlebot	Приберіть перешкоду, якщо сторінка має бути публічною
Not found (404)	URL повернув 404	Нормально для видалених сторінок; виправте посилання, якщо сторінка існує деінде

Google обрав інший URL

Статус	Що сталося	Дія
Duplicate without user-selected canonical	Google вважає сторінку дублікатом і обрав іншу канонічну	Зазвичай нічого; Google називає це штатною роботою
Duplicate, Google chose different canonical than user	Ви вказали канонічну сторінку, але Google віддав перевагу іншому URL	Узгодьте свої сигнали (див. нижче)

Google ще не ухвалив рішення на вашу користь

Статус	Що сталося	Дія
Discovered - currently not indexed	Google знає про URL, але ще не сканував його, часто відклавши сканування, щоб не перевантажувати сайт	Додайте посилання на нього зі сторінок, які вже скануються; на дуже великих сайтах керуйте скануванням
Crawled - currently not indexed	Google просканував сторінку, але не проіндексував її, і в майбутньому може як проіндексувати, так і ні	Зробіть сторінку очевидно корисною та несхожою на інші або обʼєднайте її з сильнішою сторінкою

Контент виглядає хибно

Статус	Що сталося	Дія
Soft 404	Сторінка відповідає кодом 200, але виглядає як сторінка помилки або порожня	Для відсутніх сторінок повертайте справжній 404, а справжнім сторінкам додайте справжній контент
Page indexed without content (warning)	Проіндексовано, але Google не зміг прочитати контент	Перевірте, що отримує Googlebot, за допомогою інструмента перевірки URL
Indexed, though blocked by robots.txt (warning)	Проіндексовано попри блокування в robots.txt	Щоб прибрати з індексу, дозвольте сканування та додайте noindex

Останній рядок збиває з пантелику багатьох. Google бачить правило noindex лише на сторінці, яку йому дозволено сканувати, тож якщо заблокувати сторінку в robots.txt і одночасно додати noindex, це правило ніколи не буде прочитано (Block indexing with noindex).

Коли Google обирає іншу канонічну сторінку

Канонічні теги — це сигнали, а не команди. Google зважує кілька з них: редиректи та rel="canonical" є сильними сигналами, включення в sitemap — слабким, а HTTPS-адреси він вважає кращими за HTTP (Consolidate duplicate URLs). Коли ваші сигнали суперечать один одному, наприклад канонічний тег вказує на один URL, а внутрішні посилання й sitemap використовують інший, Google вирішує сам. Зробіть так, щоб усі сигнали називали той самий URL, і посилайтеся на нього всередині сайту. Не застосовуйте robots.txt чи noindex для вибору канонічної сторінки: noindex повністю прибирає сторінку з Пошуку.

Перевірка одного URL за допомогою інструмента перевірки URL

Звіт «Індексування сторінок» показує групи, а інструмент перевірки URL — детальну картину по одному URL (URL Inspection tool). Він повідомляє, чи проіндексовано URL, яку канонічну сторінку ви вказали і яку обрав Google, коли Google востаннє сканував сторінку та з якого user agent (мобільного чи десктопного), чи дозволяє сканування robots.txt, чи вдалося завантаження і чи дозволено індексування.

Два застереження. По-перше, типовий вигляд описує останню проіндексовану версію, яка може бути застарілою; Перевірка активної сторінки завантажує сторінку просто зараз — так можна підтвердити виправлення, хоча успішна перевірка не гарантує індексування. По-друге, коли robots.txt блокує сканування, пункт «Індексування дозволено?» завжди показує «так», бо Google не бачить правила noindex, яке йому не дозволили завантажити.

Запит на індексування просить Google просканувати URL повторно. Для нього діє денна квота, і Google зазначає, що повторні запити на сканування того самого URL не пришвидшать його (Ask Google to recrawl). Для великої кількості URL краще надішліть актуальний sitemap.

Скільки триває індексування?

Google називає діапазони, а не обіцянки. Індексування нової сторінки може тривати кілька днів і ніколи не буває миттєвим, навіть після прямого запиту. Новим сайтам може знадобитися близько тижня, щоб їх просканували й проіндексували, а повторне сканування займає від кількох днів до кількох тижнів. Коли ви виправляєте проблему й натискаєте Перевірити виправлення, перевірка зазвичай триває до двох тижнів. Якщо важлива сторінка все ще відсутня через місяць, скористайтеся посібником із технічних проблем індексування замість того, щоб знову надсилати запит на індексування.

Як допомогти Google знаходити й зберігати ваші сторінки

Додавайте посилання на нові сторінки зі сторінок, які Google уже сканує, наприклад з головної, тематичних хабів або споріднених статей. Посилання — головний спосіб, у який Google виявляє URL.
Залишайте в sitemap лише канонічні URL у вигляді повних абсолютних адрес, не більше ніж 50 000 URL або 50MB у нестисненому вигляді на файл. Google використовує <lastmod>, якщо значення стабільно точні, а <priority> та <changefreq> ігнорує (Build a sitemap).
Надавайте кожній одиниці контенту один URL, щоб редиректи, канонічні теги, sitemap і внутрішні посилання узгоджувалися між собою.
Повертайте справжній 404 або 410 для видалених сторінок замість порожньої сторінки зі статусом 200.
Турбуйтеся про краул-бюджет лише у великих масштабах. Посібник Google про краул-бюджет розрахований на сайти з понад мільйоном сторінок, що змінюються щотижня, або з понад 10 000 сторінок, що змінюються щодня.

Як допомагає AutoPSEO

AutoPSEO запускає перевірку URL просто в застосунку, і вона зараховується до денного ліміту Google у 2 000 перевірок на ресурс. Index Tracker зберігає список із до 1 800 URL на ваш вибір і щодня повторно перевіряє до 200 із них, починаючи з тих, що не перевірялися найдовше. Він попереджає, якщо URL було видалено з індексу за останні 30 днів або його не сканували 120 днів, а також може надіслати сповіщення «Index flip» у Slack, Teams або на вебхук, коли відстежуваний URL випадає з індексу чи повертається до нього. IndexNow повідомляє Bing та інші пошукові системи, що його підтримують; Google в IndexNow не бере участі, тому для Google шляхом до індексу залишаються sitemap і внутрішні посилання.

Статті, створені контент-рушієм, доставляються на ваш власний сайт, який публікує їх і додає посилання на них, як на будь-які інші сторінки. Якщо ваш сайт оголошує ключ IndexNow, AutoPSEO надсилає в IndexNow сповіщення про кожну нову чи оновлену адресу на вашому хості (Доставка).