Nasaan ang Crawl stats report sa Google Search Console?
Teknikal na SEO
Wala ang Crawl stats sa menu sa kaliwa ng Search Console. Buksan ang Settings (ang gear icon), pagkatapos ang Crawl stats, at doon buksan ang report. Umiiral lang ito para sa mga property sa root level: isang Domain property gaya ng example.com, o isang URL-prefix property sa root gaya ng https://example.com/. Walang ganitong report ang property para sa isang folder tulad ng https://example.com/blog/. Ayon sa Google, bihirang kailanganin ito ng mga site na wala pang 1,000 pahina.
Paano ito buksan
- Lumipat sa isang Domain property o sa isang root URL-prefix property. Kung property na pang-folder lang ang mayroon ka, magdagdag ng Domain property para sa site.
- Piliin ang Settings sa ibaba ng menu.
- Hanapin ang Crawl stats sa pahina ng settings at buksan ang report.
Ano ang ipinapakita ng report
Ang chart sa itaas ay nagpapakita ng tatlong kabuuan kada araw:
- Total crawl requests: lahat ng request na ginawa ng Googlebot, matagumpay man o hindi. Bawat ulit na request para sa iisang URL ay binibilang, gayundin ang bawat hakbang ng isang redirect chain.
- Total download size: ang bilang ng bytes na nakuha. Ang resource na na-cache at ginamit muli ng ilang pahina ay isang beses lang kinukuha.
- Average response time: sa lahat ng nakuhang resource, na bawat resource ng pahina ay hiwalay na binibilang.
Sa ilalim nito, sinusuri ng host status ang tatlong bagay sa nakalipas na 90 araw: kung nakuha ang robots.txt, kung nag-resolve ang DNS, at kung sumagot ang server. Bawat isa ay may berdeng marka, may isyung mahigit isang linggo na ang nakalipas, o may kamakailang isyu sa nakaraang linggo.
Kasunod ang apat na breakdown, bawat isa ay bilang bahagi ng mga request:
| Breakdown | Ayon sa ano hinahati | Ano ang dapat bantayan |
|---|---|---|
| By response | 200, 301/308, 302/307, 304, 404, 5xx, mga error sa DNS at fetch | Tumataas na bahagi ng 5xx, timeout o "page could not be reached" |
| By file type | HTML, image, JavaScript, CSS, JSON, PDF at iba pa | Biglaang pagtaas ng isang uri pagkatapos ng pagbabago sa template o app |
| By purpose | Discovery (mga URL na hindi pa na-crawl) o refresh (mga recrawl) | Kaunting discovery habang marami kang inilalathalang bagong pahina |
| By Googlebot type | Smartphone, desktop, image, video, page resource load, AdsBot, StoreBot | Mga spike ng AdsBot, na karaniwang nagmumula sa mga target ng Dynamic Search Ads |
Inuuri ng Google ang mga 404 bilang "possibly good": ang inalis na pahina ay dapat mag-return ng 404, at hindi kailangang ayusin ang bawat isa.
Paano pinahihinto ng pagkabigo ng robots.txt ang crawling
Higit sa lahat ng nasa report, pinakamahalaga ang robots.txt. Ang 200 (kahit walang laman ang file), 403, 404 o 410 ay lahat ibinibilang na matagumpay na pagkuha. Ang 429 o 5xx ay ibinibilang na pagkabigo, at sa ganitong kaso:
- Sa unang 12 oras, humihinto ang Google sa pag-crawl ng site at patuloy na hinihingi ang file.
- Mula 12 oras hanggang 30 araw, ginagamit nito ang huling maayos na kopya.
- Pagkatapos ng 30 araw, magki-crawl ito nang walang restriksyon kung naaabot ang homepage mo, at hihinto kung hindi.
Kaya ang pulang entry sa host status para sa robots.txt ay isang emergency: maaari nitong ihinto ang lahat ng crawling.
Mga pattern na nangangailangan ng aksyon
- Bumababa ang mga request habang tumataas ang response time. Binabawasan ng Google ang crawl rate nito kapag bumagal o nag-return ng mga error ang server. Ayusin muna ang server bago ang anupaman.
- Sinosobrahan ka ng Googlebot. Mag-return ng 503 o 429 nang sandali lang, hindi hihigit sa dalawa o tatlong araw, kung hindi ay maaaring manatiling mababa ang crawling pagkatapos.
- Gusto mo ng mas maraming crawling. Hindi ito maaaring hilingin. Panatilihing napapanahon ang mga sitemap, alisin ang mga duplicate at hindi gustong URL, at tiyaking hindi naka-block ang mahahalagang pahina.
- Mas marami ang request sa report kaysa sa mga log mo. Maaari itong mangyari kapag matagal na hindi available ang
robots.txt, dahil binibilang ng Google ang mga crawl na gagawin sana nito.
Dalawang limitasyong dapat tandaan: ang mga request ay nakalista ayon sa URL na aktuwal na kinuha, hindi pinagsama sa mga canonical URL, at hindi lumalabas ang mga resource na naka-host sa ibang domain. Wala ring API para sa report na ito, kaya ang mga server log mo pa rin ang tanging talaan kada URL ng mga pagbisita ng Googlebot. Para malaman kung may limitasyon ba ito sa indexing mo, tingnan ang crawl budget.
Paano nakakatulong ang AutoPSEO
Walang crawl stats sa API ng Google, kaya hindi makokopya ng AutoPSEO ang report na ito. Ito ang ginagawa nito bilang kapalit: itinatala ng Index Tracker ang petsa ng huling crawl na iniulat ng Google para sa bawat URL na sinusubaybayan mo, at minamarkahan ang mga naka-index na pahinang hindi na-crawl sa loob ng 120 araw o higit pa. Kapag nakakonekta ang isang key ng Bing Webmaster Tools, ipinapakita rin ng AutoPSEO ang pang-araw-araw na crawl stats ng Bing at ang listahan nito ng mga isyu sa crawl.
Mga pinagmulan: ang tulong sa Crawl stats report ng Google at ang Search Console API reference.
Higit pa sa Teknikal na SEO
- Paano suriin ang mga error sa mobile usability sa Google Search Console?
- Paano ko susuriin ang structured data sa Google Search Console?
- Paano ko susuriin ang robots.txt ko sa Google Search Console?
- Paano maghanap at mag-ayos ng mga 404 error sa Google Search Console?
- Ano ang Page Experience report sa Google Search Console?
- Paano ko titingnan ang mga rich result sa Google Search Console?
Ilagay sa autopilot ang iyong SEO content
Ikonekta ang Search Console at ang iyong site. Ini-scan ito ng AutoPSEO at agad na nagpaplano ng mga unang paksa. Hindi kailangan ng credit card.