Чи показує Google Search Console мій краулінговий бюджет?

Ні. У Search Console немає числа краулінгового бюджету, адже краулінговий бюджет не є фіксованою квотою. Google описує його як набір URL, які він може й хоче сканувати на вашому сайті; він залежить від того, скільки сканування витримує ваш сервер і наскільки Google цікавлять ваші сторінки. Більшості сайтів про нього взагалі не потрібно думати: настанови Google з цієї теми розраховані на сайти з понад мільйоном сторінок або з понад 10 000 сторінок, що змінюються щодня.

Від чого залежить ваш краулінговий бюджет

• Ліміт швидкості сканування. Скільки з'єднань відкриває Google і як довго їх утримує. Для кожного сайту спочатку діє однакове обережне значення: воно зростає, поки сервер відповідає швидко, і знижується через повільні відповіді, помилки 5xx та обмеження частоти запитів із кодом 429.
• Попит на сканування. Наскільки Google потребує ваших URL: наскільки вони популярні, як швидко застарівають і яка частина вашого переліку URL здається вартою сканування. Дублікати та небажані URL марнують цей попит. Переїзд сайту на якийсь час його підвищує.

Кожне ім'я хоста має власний бюджет, тому www.example.com і shop.example.com скануються окремо.

Чи потрібно вашому сайту про це дбати?

Google називає три ситуації й наголошує, що це приблизні оцінки, а не порогові значення:

1. Сайти з понад мільйоном унікальних сторінок, вміст яких змінюється приблизно щотижня.
2. Сайти з понад 10 000 унікальних сторінок, вміст яких змінюється щодня.
3. Сайти, на яких велика частка URL має статус Discovered – currently not indexed («Виявлено, поки не проіндексовано»).

Якщо ваші нові сторінки зазвичай скануються того ж дня, коли ви їх публікуєте, краулінговий бюджет не є вашою проблемою. Тоді сторінки, які не потрапляють в індекс, значно ймовірніше стримують дублювання, якість або налаштування.

Де Search Console показує тривожні ознаки

• Статистика сканування (у розділі Settings): спадна кількість запитів за одночасного зростання часу відповіді, проблеми зі станом хоста та розподіл між скануванням для виявлення й для оновлення. Див. Статистика сканування.
• Індексування сторінок: велика або зростаюча кількість сторінок зі статусом Discovered – currently not indexed. Див. розбір цієї причини.
• Перевірка URL: повідомлення Hostload exceeded означає, що Google притримав сканування, бо сервер працював на межі потужності.

Як зробити сканування ефективнішим

• Об'єднуйте дублікати, щоб Google витрачав сканування на унікальні сторінки.
• Блокуйте в robots.txt URL, які не слід сканувати ніколи, наприклад відсортовані або відфільтровані варіанти одного й того самого списку.
• Повертайте 404 або 410 для сторінок, що зникли назавжди, і виправляйте soft 404, які продовжують скануватися.
• Підтримуйте sitemap в актуальному стані, вказуючи <lastmod> для змінених сторінок.
• Уникайте довгих ланцюжків редиректів і подбайте про швидку віддачу сторінок; підтримка 304 Not Modified заощаджує трафік на незмінених сторінках.

Дві поширені тактики не працюють. noindex не економить краулінговий бюджет, бо Google усе одно запитує сторінку, щоб побачити тег. А блокування сторінок у robots.txt не передає їхню частку іншим сторінкам, якщо сайт ще не впирається в ліміт швидкості сканування. Щоб збільшити сам бюджет, додайте потужності серверу, коли бачите Hostload exceeded, і зробіть вміст вартим сканування.

Як допомагає AutoPSEO

Index Tracker групує відстежувані URL за тим, як давно Google востаннє їх сканував: від тижня й менше до понад 120 днів. Він також позначає проіндексовані сторінки, які не скануються 120 днів і більше, а це практична ознака того, що розділ сканується рідше, ніж ви вважаєте. Контентний рушій AutoPSEO також не дає вашому переліку URL розростатися. Кожну заплановану тему перевіряють на збіг з наявними сторінками ще до написання тексту, а дві сторінки, що відповідають на одні й ті самі запити, можна об'єднати, перенаправивши стару адресу на ту, що залишається. Див. теми в контентному рушії.

Джерела: посібник Google про краулінговий бюджет і довідка про звіт «Статистика сканування».