Czy Google Search Console pokazuje mój crawl budget?

Nie. Search Console nie pokazuje liczby określającej crawl budget, ponieważ crawl budget nie jest stałym limitem. Google opisuje go jako zbiór adresów URL, które może i chce przeskanować w Twojej witrynie. Zależy on od tego, ile skanowania wytrzyma Twój serwer, oraz od tego, jak bardzo Google zależy na Twoich stronach. Większość witryn nigdy nie musi się tym zajmować: poradnik Google na ten temat jest przeznaczony dla witryn z ponad milionem stron lub z ponad 10 000 stron zmieniających się codziennie.

Od czego zależy crawl budget

• Limit wydajności skanowania. Określa, ile połączeń otwiera Google i jak długo je utrzymuje. Każda witryna zaczyna od tego samego, zachowawczego ustawienia, które rośnie, gdy serwer odpowiada szybko, a maleje przy wolnych odpowiedziach, błędach 5xx i ograniczaniu liczby żądań kodem 429.
• Zapotrzebowanie na skanowanie. Mówi, jak bardzo Google zależy na Twoich adresach URL: jak są popularne, jak szybko się dezaktualizują i jaka część Twojej puli adresów URL wydaje się warta skanowania. Duplikaty i niechciane adresy URL marnują to zapotrzebowanie. Przeniesienie witryny na pewien czas je zwiększa.

Każda nazwa hosta ma własny budżet, więc www.example.com i shop.example.com są skanowane osobno.

Czy Twoja witryna musi się tym przejmować?

Google wymienia trzy sytuacje i podkreśla, że to orientacyjne szacunki, a nie progi:

1. Witryny z ponad milionem unikalnych stron, których treść zmienia się mniej więcej co tydzień.
2. Witryny z ponad 10 000 unikalnych stron, których treść zmienia się codziennie.
3. Witryny, w których duża część adresów URL ma status Discovered – currently not indexed (wykryto, obecnie nie zindeksowano).

Jeśli nowe strony są zwykle skanowane w dniu publikacji, crawl budget nie jest Twoim problemem. Strony, które nie są zindeksowane, znacznie częściej blokują wtedy duplikaty, jakość treści lub konfiguracja.

Gdzie Search Console pokazuje sygnały ostrzegawcze

• Statystyki indeksowania (w sekcji Ustawienia): spadająca liczba żądań przy rosnącym czasie odpowiedzi, problemy ze stanem hosta oraz podział na skanowanie w celu wykrywania i odświeżania. Zobacz Statystyki indeksowania.
• Indeksowanie stron: duża lub rosnąca liczba stron ze statusem Discovered – currently not indexed. Zobacz wyjaśnienie tego powodu.
• Sprawdzanie adresów URL: komunikat Hostload exceeded oznacza, że Google się wstrzymał, ponieważ Twój serwer osiągnął granicę swoich możliwości.

Jak sprawić, by skanowanie było wydajniejsze

• Scal duplikaty, aby Google wykorzystywał skanowanie na unikalne strony.
• Zablokuj w robots.txt adresy URL, które nigdy nie powinny być skanowane, na przykład posortowane lub przefiltrowane warianty tej samej listy.
• Zwracaj 404 lub 410 dla stron usuniętych na stałe i napraw soft 404, które są skanowane w kółko.
• Aktualizuj mapy witryny, używając <lastmod> dla zmienionych stron.
• Unikaj długich łańcuchów przekierowań i dbaj o szybkie serwowanie stron; obsługa 304 Not Modified oszczędza transfer przy stronach, które się nie zmieniły.

Dwie popularne taktyki nie działają. noindex nie oszczędza crawl budgetu, ponieważ Google i tak wysyła żądanie do strony, aby zobaczyć ten znacznik. Z kolei zablokowanie stron w robots.txt nie przekazuje ich udziału innym stronom, chyba że witryna osiągnęła już limit wydajności. Aby zwiększyć sam budżet, rozbuduj zasoby serwera, gdy widzisz Hostload exceeded, i dbaj o to, by treści były warte skanowania.

Jak pomaga AutoPSEO

Index Tracker grupuje śledzone adresy URL według tego, jak dawno Google ostatnio je przeskanował, od ostatniego tygodnia po ponad 120 dni, i oznacza zindeksowane strony nieskanowane od 120 dni lub dłużej. To praktyczny sygnał, że dana sekcja jest skanowana rzadziej, niż zakładasz. Moduł treści AutoPSEO dba też o to, by Twoja pula adresów URL pozostała szczupła. Każdy zaplanowany temat jest porównywany z istniejącymi stronami, zanim powstanie jakikolwiek tekst, a dwie strony odpowiadające na te same zapytania można połączyć, przekierowując stary adres na ten, który zostaje. Zobacz tematy w module treści.

Źródła: poradnik Google o crawl budgecie oraz pomoc dotycząca raportu Statystyki indeksowania.