Arată Google Search Console bugetul meu de crawl?

Nu. Search Console nu are un număr pentru bugetul de crawl, deoarece bugetul de crawl nu este o alocare fixă. Google îl descrie ca setul de URL-uri pe care le poate și le dorește să le exploreze pe site-ul tău, stabilit în funcție de cât crawling poate suporta serverul tău și de cât de mult își dorește Google paginile tale. Cele mai multe site-uri nu trebuie să se gândească niciodată la el: ghidul Google pe această temă este scris pentru site-uri cu peste un milion de pagini sau cu peste 10.000 de pagini care se schimbă zilnic.

Ce determină bugetul tău de crawl

• Limita de capacitate de crawl. Câte conexiuni deschide Google și cât timp le menține. Fiecare site pornește cu aceeași setare prudentă, care crește cât timp serverul tău răspunde rapid și scade în cazul răspunsurilor lente, al erorilor 5xx și al limitării cu 429.
• Cererea de crawl. Cât de mult își dorește Google URL-urile tale: cât de populare sunt, cât de repede devin depășite și cât din inventarul tău de URL-uri pare să merite explorat. URL-urile duplicate și nedorite irosesc cererea. Mutarea unui site o crește pentru o perioadă.

Fiecare nume de gazdă are propriul buget, așa că www.example.com și shop.example.com sunt explorate separat.

Trebuie site-ul tău să țină cont de el?

Google menționează trei situații și le numește estimări orientative, nu praguri:

1. Site-uri cu peste un milion de pagini unice, al căror conținut se schimbă aproximativ săptămânal.
2. Site-uri cu peste 10.000 de pagini unice, al căror conținut se schimbă zilnic.
3. Site-uri în care o mare parte din URL-uri se află la Discovered – currently not indexed.

Dacă paginile tale noi sunt de obicei explorate chiar în ziua publicării, bugetul de crawl nu este problema ta. Paginile neindexate sunt atunci mult mai probabil blocate de duplicare, calitate sau configurare.

Unde arată Search Console semnele de avertizare

• Statistici de crawl (la Setări): solicitări în scădere cu timpi de răspuns în creștere, probleme de stare a gazdei și împărțirea între crawlingul de descoperire și cel de reîmprospătare. Vezi Statistici de crawl.
• Indexarea paginilor: un număr mare sau în creștere de pagini la Discovered – currently not indexed. Vezi explicația acestui motiv.
• Inspecția URL-ului: mesajul Hostload exceeded înseamnă că Google s-a oprit deoarece serverul tău era la capacitate maximă.

Cum faci crawlingul mai eficient

• Consolidează duplicatele, astfel încât Google să își folosească crawlingul pe pagini unice.
• Blochează în robots.txt URL-urile care nu ar trebui explorate niciodată, precum variantele sortate sau filtrate ale aceleiași liste.
• Returnează 404 sau 410 pentru paginile dispărute definitiv și remediază soft 404-urile, care continuă să fie explorate.
• Ține sitemap-urile la zi, cu <lastmod> pentru paginile modificate.
• Evită lanțurile lungi de redirecționări și fă paginile rapide de servit; suportul pentru 304 Not Modified economisește lățime de bandă pe paginile nemodificate.

Două tactici frecvente nu funcționează. noindex nu economisește buget de crawl, deoarece Google tot solicită pagina pentru a vedea eticheta. Iar blocarea paginilor în robots.txt nu transferă partea lor către alte pagini, decât dacă site-ul tău este deja la limita de capacitate. Pentru a crește bugetul în sine, adaugă capacitate de server atunci când vezi Hostload exceeded și fă conținutul demn de explorat.

Cum te ajută AutoPSEO

Index Tracker grupează URL-urile urmărite după cât timp a trecut de la ultima explorare de către Google, de la mai puțin de o săptămână până la peste 120 de zile, și semnalează paginile indexate rămase neexplorate 120 de zile sau mai mult: semnul practic că o secțiune este explorată mai rar decât crezi. Motorul de conținut AutoPSEO îți menține, de asemenea, inventarul de URL-uri suplu. Fiecare subiect planificat este verificat în raport cu paginile tale existente înainte de a se scrie ceva, iar două pagini care răspund la aceleași căutări pot fi îmbinate, adresa veche fiind redirecționată către cea care rămâne. Vezi subiectele din motorul de conținut.

Surse: ghidul Google despre bugetul de crawl și ajutorul pentru raportul Statistici de crawl.