Ipinapakita ba ng Google Search Console ang crawl budget ko?

Hindi. Walang crawl budget na numero sa Search Console, dahil ang crawl budget ay hindi isang takdang alokasyon. Inilalarawan ito ng Google bilang hanay ng mga URL na kaya at gusto nitong i-crawl sa iyong site, na nakadepende sa kung gaano karaming crawling ang kayang tanggapin ng iyong server at kung gaano kagusto ng Google ang iyong mga pahina. Karamihan sa mga site ay hindi na kailangang mag-alala rito: ang gabay ng Google tungkol sa paksang ito ay isinulat para sa mga site na may mahigit isang milyong pahina, o mahigit 10,000 pahina na nagbabago araw-araw.

Ano ang nagtatakda ng iyong crawl budget

• Crawl capacity limit. Kung ilang koneksyon ang binubuksan ng Google at gaano katagal nito itong hinahawakan. Nagsisimula ang bawat site sa parehong konserbatibong setting, na tumataas habang mabilis tumugon ang iyong server at bumababa kapag mabagal ang tugon, may mga error na 5xx, at may 429 rate limiting.
• Crawl demand. Kung gaano kagusto ng Google ang iyong mga URL: gaano sila kasikat, gaano kabilis maluma ang nilalaman nila, at gaano karami sa imbentaryo ng iyong URL ang mukhang sulit i-crawl. Nasasayang ang demand sa mga duplicate at hindi kailangang URL. Pansamantala itong tumataas kapag naglipat ka ng site.

May kanya-kanyang budget ang bawat hostname, kaya magkahiwalay na kinakrawl ang www.example.com at shop.example.com.

Kailangan ba itong pagtuunan ng pansin ng site mo?

Tatlong sitwasyon ang binabanggit ng Google, at tinatawag nitong magaspang na pagtataya ang mga ito, hindi mga limitasyon:

1. Mga site na may higit sa isang milyong natatanging pahina na ang nilalaman ay nagbabago halos linggu-linggo.
2. Mga site na may higit sa 10,000 natatanging pahina na ang nilalaman ay nagbabago araw-araw.
3. Mga site na malaking bahagi ng mga URL ay nasa Discovered – currently not indexed.

Kung karaniwang nakakrawl ang iyong mga bagong pahina sa mismong araw na i-publish mo ang mga ito, hindi crawl budget ang problema mo. Mas malamang na ang dahilan ng hindi pag-index ng mga pahina ay duplication, kalidad, o configuration.

Saan ipinapakita ng Search Console ang mga babalang senyales

• Crawl stats (sa ilalim ng Settings): bumababang bilang ng mga request kasabay ng tumataas na response time, mga problema sa host status, at ang hatian ng discovery at refresh crawling. Tingnan ang Crawl stats.
• Page indexing: malaki o patuloy na lumalaking bilang ng Discovered – currently not indexed. Tingnan ang paliwanag sa dahilang iyon.
• URL Inspection: ang mensaheng Hostload exceeded ay nangangahulugang nagpigil ang Google dahil puno na ang kapasidad ng iyong server.

Paano mapapakinabangan nang higit ang crawling

• Pagsamahin ang mga duplicate, para magamit ng Google ang crawling nito sa mga natatanging pahina.
• I-block sa robots.txt ang mga URL na hindi dapat i-crawl kailanman, gaya ng mga naka-sort o naka-filter na bersyon ng iisang listahan.
• Mag-return ng 404 o 410 para sa mga pahinang tuluyan nang nawala, at ayusin ang mga soft 404, na patuloy na kinakrawl.
• Panatilihing napapanahon ang mga sitemap, na may <lastmod> para sa mga pahinang nagbago.
• Iwasan ang mahahabang redirect chain, at gawing mabilis i-serve ang mga pahina; ang pagsuporta sa 304 Not Modified ay nakakatipid ng bandwidth sa mga pahinang hindi nagbago.

May dalawang karaniwang taktika na hindi gumagana. Hindi nakakatipid ng crawl budget ang noindex, dahil hinihingi pa rin ng Google ang pahina para makita ang tag. At ang pag-block ng mga pahina sa robots.txt ay hindi nagpapasa ng bahagi nila sa ibang pahina maliban kung abot na ng iyong site ang capacity limit nito. Para itaas ang mismong budget, dagdagan ang kapasidad ng server kapag nakita mo ang Hostload exceeded, at gawing sulit i-crawl ang nilalaman.

Paano nakakatulong ang AutoPSEO

Ang Index Tracker ay naggugrupo ng iyong mga sinusubaybayang URL ayon sa kung gaano na katagal mula nang huling i-crawl ng Google ang mga ito, mula sa loob ng isang linggo hanggang mahigit 120 araw, at minamarkahan ang mga naka-index na pahinang hindi na-crawl sa loob ng 120 araw o higit pa: ang praktikal na senyales na mas bihirang kinakrawl ang isang seksyon kaysa sa inaakala mo. Pinapanatili ring payat ng content engine ng AutoPSEO ang imbentaryo ng iyong URL. Sinusuri ang bawat planadong paksa laban sa mga umiiral mong pahina bago magsulat ng anuman, at maaaring pagsamahin ang dalawang pahinang sumasagot sa parehong mga paghahanap, na may redirect mula sa lumang address papunta sa mananatili. Tingnan ang mga paksa sa content engine.

Mga pinagmulan: gabay sa crawl budget ng Google at tulong sa ulat ng Crawl stats.