Paliwanag sa indexing: paano nag-crawl, nag-index at nag-uulat ng mga pahina ang Google

Kung paano naglalakbay ang isang URL mula sa pagkakatuklas hanggang sa index ng Google, ang kahulugan ng bawat status sa Page indexing, at kung alin ang kailangang ayusin, batay sa dokumentasyon ng Google.

Ang indexing ay ang pag-iimbak ng Google sa isang pahina upang makita ito sa mga resulta ng paghahanap. Bago iyon mangyari, kailangan munang matuklasan ng Google ang URL, i-crawl ito at, sa karamihan ng kaso, i-render. Pagkatapos, magpapasya ito kung duplicate ba ng ibang URL ang pahina at kung sulit ba itong itago. Ipinapakita ng Page indexing report sa Search Console kung saan huminto ang bawat URL mo sa prosesong ito, at ang dahilan ng Google.

Mula URL hanggang resulta ng paghahanap

Hinahati ng paglalarawan ng Google kung paano gumagana ang Search ang proseso sa mga hakbang na maaari mong suriin nang paisa-isa.

Pagkatuklas. Walang sentral na listahan ng mga web page, kaya patuloy na naghahanap ang Google ng mga bago. Karamihan ay natutuklasan nito sa pamamagitan ng mga link mula sa mga pahinang kilala na nito at ng mga sitemap na isinusumite ng mga may-ari ng site.
Pag-crawl. Kinukuha ng Googlebot ang URL, basta pinapayagan ito ng robots.txt. Nililimitahan ng Google ang bilis ng pag-crawl para hindi ma-overload ang server mo, at lalo pa itong bumabagal kapag may mga server error.
Pag-render. Pinapatakbo ng Google ang JavaScript ng pahina gamit ang kamakailang bersyon ng Chrome, dahil may nilalamang lumalabas lang pagkatapos tumakbo ang mga script.
Pag-index. Sinusuri ng Google ang nilalaman, pinagsasama-sama ang mga pahinang duplicate o halos duplicate, pumipili ng isa bilang canonical, at iniimbak ito. Maaari rin nitong piliing huwag nang i-index ang isang pahina, halimbawa dahil mababa ang kalidad ng nilalaman o ipinagbabawal ito ng isang robots meta rule.
Pagpapakita. Sa bawat paghahanap, pumipili ang Google ng mga resulta mula sa index. Ang pagiging indexed ay nagbibigay lang ng pagkakataong lumabas ang pahina; hindi nito ipinapangako na lalabas ito.

Malinaw ang Google na hindi nito ginagarantiya ang alinman sa mga hakbang na ito para sa anumang pahina. Ang magagawa mo ay alisin ang mga sagabal at bigyan ito ng mga mabuting dahilan para magpatuloy.

Pagbasa sa Page indexing report

Hinahati ng report ang mga URL na kilala ng Google sa Indexed at Not indexed, at naglilista ng dahilan para sa bawat grupo ng mga hindi na-index na URL (Page indexing report). Dalawang payo ng Google ang dapat humubog sa pagbasa mo nito:

Hindi laging masama ang Not indexed. Sinasabi ng Google sa mga may-ari ng site na huwag asahang ma-index ang bawat URL. Dapat manatili sa labas ang mga duplicate, mga address na nire-redirect, at mga pahinang walang makabuluhang nilalaman. Ang mahalaga ay nasa index ang mga pangunahing pahina mo.
Tingnan ang Source. Ipinapakita ng bawat dahilan kung ang sanhi ay nasa website o nasa mga system ng Google. Sa pangkalahatan, ang mga dahilan lang na ang source ay "Website" ang maaari mong ayusin.

Kaya ang kapaki-pakinabang na tanong ay hindi kailanman "bakit mataas ang bilang ko ng not indexed?". Ito ay "may mga pahina bang kailangan ko sa listahang ito, at bakit?".

Kahulugan ng bawat status

Nahahati sa limang grupo ang mga dahilan ng Google. Mas nakadepende ang tamang tugon sa grupo kaysa sa eksaktong pagkakasulat.

Sinabihan mo ang Google na huwag i-index

Status	Ano ang nangyari	Aksyon
URL marked 'noindex'	May noindex rule ang pahina	Wala kung sinadya; alisin ang rule kung dapat mag-rank ang pahina
URL blocked by robots.txt	Pinipigilan ng robots.txt ang Google na i-crawl ito	Hindi ginagarantiya ng pagharang sa pag-crawl na mananatili sa labas ng index ang pahina
Alternate page with proper canonical tag	Itinuturo ng pahina ang ibang URL bilang canonical nito, at sumasang-ayon ang Google	Wala
Page with redirect	Nire-redirect ang URL sa ibang lugar, kaya hindi ito mismo ang na-i-index	Wala, basta ang target ay ang pahinang gusto mong ma-index

Hindi nakuha ng Google

Status	Ano ang nangyari	Aksyon
Server error (5xx)	Nagbalik ang server mo ng error na nasa 500-level	Ayusin ang server; bumabagal din ang pag-crawl kapag paulit-ulit ang mga error
Redirect error	Masyadong mahaba ang redirect chain, nag-loop, o humantong sa maling o walang lamang URL	Ituro nang diretso ang redirect sa panghuling URL
Blocked due to unauthorized request (401), access forbidden (403) or other 4xx issue	Tinanggihan ng pahina ang Googlebot	Alisin ang harang kung dapat pampubliko ang pahina
Not found (404)	Nagbalik ng 404 ang URL	Ayos lang para sa mga pahinang inalis; ayusin ang mga link kung nasa ibang lugar pa rin ang pahina

Ibang URL ang pinili ng Google

Status	Ano ang nangyari	Aksyon
Duplicate without user-selected canonical	Nakikita ng Google na duplicate ang pahina at ibang canonical ang pinili nito	Karaniwang wala; sinasabi ng Google na gumagana ito ayon sa layunin
Duplicate, Google chose different canonical than user	Nagtakda ka ng canonical, ngunit mas pinili ng Google ang ibang URL	Pagsang-ayunin ang mga signal mo (tingnan sa ibaba)

Hindi pa nagpapasya ang Google pabor sa iyo

Status	Ano ang nangyari	Aksyon
Discovered - currently not indexed	Alam ng Google ang URL ngunit hindi pa ito na-crawl, madalas dahil ini-reschedule para hindi ma-overload ang site	Mag-link dito mula sa mga na-crawl nang pahina; sa napakalalaking site, pamahalaan ang pag-crawl
Crawled - currently not indexed	Na-crawl ng Google ang pahina ngunit hindi pa ito na-index, at maaari o hindi nito ma-index sa hinaharap	Gawing malinaw na kapaki-pakinabang at kakaiba ang pahina, o pagsamahin ito sa mas matibay na pahina

Mukhang mali ang nilalaman

Status	Ano ang nangyari	Aksyon
Soft 404	200 ang sagot ng pahina ngunit mukha itong error o walang laman na pahina	Magbalik ng totoong 404 para sa mga nawawalang pahina, o lagyan ng totoong nilalaman ang mga totoong pahina
Page indexed without content (warning)	Na-index, ngunit hindi nabasa ng Google ang nilalaman	Suriin sa URL Inspection kung ano ang natatanggap ng Googlebot
Indexed, though blocked by robots.txt (warning)	Na-index kahit hinaharang ito ng robots.txt	Para mailabas ito sa index, payagan ang pag-crawl at magdagdag ng noindex

Maraming nalilito sa huling hilera. Makikita lang ng Google ang noindex rule sa pahinang pinapayagan itong i-crawl, kaya kapag hinarang mo ang isang pahina sa robots.txt at nagdagdag ka rin ng noindex nang sabay, hindi kailanman mababasa ang noindex (Block indexing with noindex).

Kapag ibang canonical ang pinili ng Google

Mga signal ang mga canonical tag, hindi utos. Tinitimbang ng Google ang ilan sa mga ito: malalakas na signal ang mga redirect at rel="canonical", mahina ang pagsasama sa sitemap, at mas gusto nito ang mga HTTPS address kaysa HTTP (Consolidate duplicate URLs). Kapag nagkakasalungatan ang mga signal mo, halimbawa isang canonical tag na nakaturo sa isang URL habang ibang URL ang ginagamit ng mga internal link at sitemap mo, ang Google na ang pipili. Gawing iisang URL ang itinuturo ng bawat signal, at mag-link sa URL na iyon sa loob ng site. Huwag gamitin ang robots.txt o noindex para pumili ng canonical; tuluyang inaalis ng noindex ang pahina sa Search.

Pagsuri sa isang URL gamit ang URL Inspection

Nagpapakita ng mga grupo ang Page indexing report; ipinapakita naman ng URL Inspection ang isang URL nang detalyado (URL Inspection tool). Iniuulat nito kung indexed ang URL, ang canonical na idineklara mo at ang pinili ng Google, kung kailan huling na-crawl ng Google ang pahina at kung nag-crawl ito bilang mobile o desktop na user agent, kung pinapayagan ng robots.txt ang pag-crawl, kung nagtagumpay ang pagkuha, at kung pinapayagan ang indexing.

Dalawang paalala. Una, inilalarawan ng default na view ang huling na-index na bersyon, na maaaring luma na; kinukuha ng Test live URL ang pahina sa mismong sandaling iyon, kaya ito ang paraan para kumpirmahin ang isang ayos, bagaman hindi ginagarantiya ng pumasang live test na ma-i-index ito. Pangalawa, kapag hinaharang ng robots.txt ang pag-crawl, laging "yes" ang ipinapakita ng "Indexing allowed?", dahil hindi makita ng Google ang noindex rule na hindi nito pinahintulutang kunin.

Hinihiling ng Request indexing sa Google na i-crawl muli ang URL. May pang-araw-araw itong quota, at sinasabi ng Google na hindi mapapabilis ang pag-crawl kahit ilang beses mo itong hilingin para sa iisang URL (Ask Google to recrawl). Para sa maraming URL, magsumite na lang ng updated na sitemap.

Gaano katagal ang indexing?

Mga saklaw ang ibinibigay ng Google, hindi mga pangako. Maaaring abutin ng ilang araw ang pag-index ng bagong pahina at hindi ito kailanman instant, kahit pagkatapos ng direktang kahilingan. Ang mga bagong site ay maaaring abutin ng humigit-kumulang isang linggo bago ma-crawl at ma-index, at ang muling pag-crawl ay maaaring umabot ng ilang araw hanggang ilang linggo. Kapag inayos mo ang isang isyu at pinindot ang Validate fix, karaniwang aabutin ng hanggang humigit-kumulang dalawang linggo ang pagsusuri. Kung wala pa rin ang isang mahalagang pahina pagkalipas ng isang buwan, sundin ang technical indexing playbook sa halip na humiling ulit ng indexing.

Pagtulong sa Google na mahanap at panatilihin ang mga pahina mo

Mag-link sa mga bagong pahina mula sa mga pahinang kini-crawl na ng Google, gaya ng home page, mga hub page o mga kaugnay na artikulo. Ang mga link ang pangunahing paraan ng Google sa pagtuklas ng mga URL.
Panatilihing mga canonical URL lang ang nasa mga sitemap, nakasulat bilang buong absolute address, na may hindi hihigit sa 50,000 URL o 50MB na uncompressed bawat file. Ginagamit ng Google ang <lastmod> kapag pare-pareho itong tumpak at binabalewala nito ang <priority> at <changefreq> (Build a sitemap).
Bigyan ng isang URL lang ang bawat nilalaman, na may mga redirect, canonical tag, sitemap at internal link na pawang nagkakasundo.
Magbalik ng totoong 404 o 410 para sa mga pahinang inalis mo, sa halip na walang lamang pahina na may 200 status.
Mag-alala lang sa crawl budget kapag malaki na ang site. Nakatuon ang crawl budget guide ng Google sa mga site na may mahigit isang milyong pahinang nagbabago linggu-linggo, o mahigit 10,000 pahinang nagbabago araw-araw.

Paano tumutulong ang AutoPSEO

Pinapatakbo ng AutoPSEO ang URL Inspection mula sa loob ng app at kasama ito sa pang-araw-araw na limitasyon ng Google na 2,000 inspeksyon bawat property. Ang Index Tracker ay nagpapanatili ng listahan ng hanggang 1,800 URL na pipiliin mo at muling sinisiyasat ang hanggang 200 sa mga ito bawat araw, uunahin ang pinakamatagal nang hindi nasusuri. Nagbababala ito kapag na-deindex ang isa sa nakalipas na 30 araw o hindi pa na-crawl sa loob ng 120 araw, at maaari itong magpadala ng "Index flip" alert sa Slack, Teams o isang webhook kapag lumabas sa index o bumalik dito ang isang tinutukang URL. Inaabisuhan ng IndexNow ang Bing at ang iba pang search engine na sumusuporta rito; hindi kasali ang Google sa IndexNow, kaya para sa Google, ang sitemap at mga internal link pa rin ang daan papasok.

Inihahatid sa sarili mong site ang mga artikulong isinulat ng content engine, at ang site mo ang nagpa-publish at nagli-link sa mga ito tulad ng anumang ibang pahina. Kapag nagdeklara ang site mo ng IndexNow key, pini-ping ng AutoPSEO ang IndexNow para sa bawat bago o na-update na address sa host mo (Delivery).