Zobrazuje Google Search Console můj crawl budget?

Ne. Search Console žádné číslo crawl budgetu neukazuje, protože crawl budget není pevně daný limit. Google ho popisuje jako množinu URL, které na vašem webu dokáže a chce procházet. Určuje ho to, kolik procházení váš server unese a jak moc Google o vaše stránky stojí. Většina webů o něm nikdy nemusí přemýšlet: průvodce Googlu k tomuto tématu je určen pro weby s více než milionem stránek nebo s více než 10,000 stránek, které se mění denně.

Co určuje váš crawl budget

• Limit kapacity procházení. Kolik spojení Google otevře a jak dlouho je drží. Každý web začíná se stejným opatrným nastavením, které roste, dokud server odpovídá rychle, a klesá při pomalých odpovědích, chybách 5xx a omezování četnosti požadavků kódem 429.
• Poptávka po procházení. Jak moc Google vaše URL chce: jak jsou oblíbené, jak rychle zastarávají a nakolik se zbytek vašeho inventáře URL jeví jako hodný procházení. Duplicitní a nežádoucí URL poptávku plýtvají. Přesun webu ji na čas zvýší.

Každý název hostitele má vlastní budget, takže www.example.com a shop.example.com se procházejí odděleně.

Musí se váš web crawl budgetem zabývat?

Google uvádí tři situace a označuje je za hrubé odhady, nikoli za prahové hodnoty:

1. Weby s více než milionem unikátních stránek, jejichž obsah se mění zhruba jednou týdně.
2. Weby s více než 10,000 unikátních stránek, jejichž obsah se mění denně.
3. Weby, na kterých velká část URL spadá do stavu Zjištěno – momentálně neindexováno (Discovered – currently not indexed).

Pokud se vaše nové stránky obvykle procházejí v den publikace, crawl budget váš problém není. Neindexované stránky pak mnohem pravděpodobněji brzdí duplicita, kvalita nebo konfigurace.

Kde Search Console ukazuje varovné signály

• Statistiky procházení (v části Nastavení): klesající počet požadavků při rostoucí době odezvy, problémy se stavem hostitele a poměr mezi procházením za účelem objevování a procházením za účelem obnovy. Viz Statistiky procházení.
• Indexování stránek: vysoký nebo rostoucí počet stránek ve stavu Zjištěno – momentálně neindexováno. Viz vysvětlení tohoto důvodu.
• Kontrola URL: zpráva Překročeno zatížení hostitele (Hostload exceeded) znamená, že se Google zdržel, protože váš server byl na hranici kapacity.

Jak z procházení vytěžit víc

• Sjednoťte duplicity, aby Google věnoval procházení unikátním stránkám.
• Zablokujte v robots.txt URL, které se nikdy procházet nemají, například seřazené nebo vyfiltrované varianty téhož seznamu.
• Vracejte 404 nebo 410 u stránek, které zmizely natrvalo, a opravte soft 404, které se procházejí stále dokola.
• Udržujte sitemapy aktuální a u změněných stránek uvádějte <lastmod>.
• Vyhněte se dlouhým řetězcům přesměrování a dbejte na rychlé doručování stránek. Podpora 304 Not Modified šetří přenos dat u nezměněných stránek.

Dvě běžné taktiky nefungují. noindex crawl budget neušetří, protože Google si stránku musí stále vyžádat, aby značku viděl. A zablokování stránek v robots.txt jejich podíl nepřesune na jiné stránky, pokud váš web už není na limitu kapacity. Samotný budget zvýšíte tak, že při zprávě Překročeno zatížení hostitele přidáte kapacitu serveru a zajistíte, aby měl obsah cenu procházet.

Jak pomáhá AutoPSEO

Index Tracker seskupuje sledované URL podle toho, jak dávno je Google naposledy procházel, od posledního týdne po více než 120 dní. Indexované stránky, které zůstaly neprocházené 120 dní nebo déle, označí příznakem. To je praktický signál, že se určitá sekce prochází méně, než předpokládáte. Content engine AutoPSEO také udržuje váš inventář URL štíhlý. Každé plánované téma se před napsáním porovná s vašimi stávajícími stránkami a dvě stránky odpovídající na stejné dotazy lze sloučit, přičemž stará adresa se přesměruje na tu, která zůstane. Viz témata v content engine.

Zdroje: průvodce crawl budgetem a nápověda k přehledu Statistiky procházení od Googlu.