Що означає «Discovered – currently not indexed»?
Надсилання та індексування
Google знайшов URL за посиланням або через sitemap, але ще не завантажував його, тому URL Inspection не показує дати останнього сканування. За поясненням Google, зазвичай він відклав сканування, щоб не перевантажити ваш сайт. Кілька нових сторінок у цьому стані — це нормально, і ситуація вирішується сама. Тисячі URL, які тижнями залишаються тут, вказують на сервер, що не справляється з навантаженням, або на сайт, який генерує більше URL, ніж Google готовий сканувати.
Чому Google відкладає сканування
Обсяг сканування Google визначає за двома чинниками:
- Crawl capacity (пропускна здатність сканування). Скільки сканування може витримати ваш сервер. Швидкі й стабільні відповіді її підвищують; повільні відповіді, помилки 5xx і відповіді
429— знижують. - Crawl demand (попит на сканування). Наскільки Google потрібні ваші URL: наскільки вони популярні, як часто змінюються і яка частина вашого переліку URL виглядає вартою завантаження. Дублікати та малоцінні URL марнують цей попит.
Кожне імʼя хоста розглядається як окремий сайт, тому www.example.com і shop.example.com скануються незалежно.
Чи це проблема для вашого сайту?
| Що ви бачите | Що це зазвичай означає |
|---|---|
| Кілька нових сторінок на будь-якому сайті | Норма. За словами Google, на пошук і сканування нової сторінки часто потрібно кілька днів. |
| Велика частка URL упродовж кількох тижнів на сайті з понад 10,000 сторінок | Проблема з краулінговим бюджетом. Посібник Google про краулінговий бюджет написано саме для такого випадку. |
| URL, які ви не збиралися публікувати: фільтри, порядок сортування, ідентифікатори сесій | Ваш сайт генерує більше URL, ніж має сторінок. |
| Багато URL після збою сервера або періоду повільної роботи | Google зменшив навантаження, поки сервер працював із труднощами; коли відповіді нормалізуються, він знову нарощує темп. |
Як домогтися сканування сторінок
- Спершу перевірте сервер. Відкрийте Settings > Crawl stats і подивіться на стан хоста та середній час відповіді. Спочатку усуньте помилки сервера й повільні відповіді. Див. Crawl stats.
- Приберіть URL, яких не повинно існувати. Заблокуйте в
robots.txtсканування фасетних і відсортованих варіантів, повертайте404або410для видалених сторінок, виправте soft 404 і скоротіть ланцюжки редиректів. Не покладайтеся тут наnoindex: Google усе одно має запросити сторінку, щоб побачити тег. - Додайте посилання на важливі сторінки зі сторінок, які вже скановано й проіндексовано. URL, відомий лише із sitemap, має невелику вагу.
- Підтримуйте sitemap у чистоті. Вказуйте лише канонічні URL, придатні до індексації, і точний
<lastmod>щоразу, коли змінюється вміст. - Запитуйте індексацію помірковано. Кнопка Request indexing в URL Inspection допомагає для кількох пріоритетних сторінок у межах добового ліміту. Вона не розвʼязує проблему великого відставання на рівні всього сайту.
Якщо кількість не зменшується після того, як сервер запрацював стабільно, а перелік URL очищено, подумайте, чи варті ці сторінки сканування: попит залежить і від того, наскільки корисними та популярними їх вважає Google. Після сканування сторінка все ще може потрапити до Crawled – currently not indexed. Ширшу картину дивіться в матеріалі про краулінговий бюджет.
Як допомагає AutoPSEO
Звіт Sitemap Performance обʼєднує перелік URL кожного sitemap із даними Search Console про сторінки й показує, скільки URL зі списку приносять кліки, скільки не приносять жодного і скільки взагалі не зʼявляються в Search Console — саме там і ховаються невиявлені та несканowані сторінки. Index Tracker щодня перевіряє важливі для вас URL через URL Inspection API і фіксує перший день, коли кожен із них проіндексовано, тож ви бачите, скільки часу на вашому сайті займають нові сторінки.
Джерела: Google — довідка зі звіту Page indexing, посібник про краулінговий бюджет і довідка щодо інструмента URL Inspection.
Переведіть свій SEO-контент на автопілот
Підключіть Search Console і свій сайт. AutoPSEO просканує його й одразу спланує перші теми. Кредитна картка не потрібна.