Paano mag-diagnose ng mga teknikal na isyu sa indexing

Isang pagkakasunod-sunod ng triage para sa Page indexing report sa Search Console: kung ano ang uunahing ayusin, paano kumpirmahin ang mga sanhi gamit ang URL Inspection, at kailan titigil.

I-diagnose ang mga problema sa indexing mula sa mga pahinang kailangan mo, hindi mula sa kabuuang bilang sa report. Gumawa ng listahan ng mga URL na mahalaga, alamin kung alin sa mga ito ang hindi naka-index at bakit, at saka harapin ang mga sanhi ayon sa tindi: una ang mga error sa server at access, kasunod ang mga hindi sinasadyang harang, mga salungatan sa canonical, mga pahinang tila error, at panghuli ang mga pahinang basta hindi pinili ng Google na i-index. Kumpirmahin ang bawat ayos gamit ang live test sa URL Inspection bago mo hilingin sa Google na i-validate ito.

Ipinapalagay ng playbook na ito na alam mo na ang mga status na inilalarawan sa Paliwanag sa indexing.

Hakbang 1: buuin ang listahan ng mga URL na mahalaga

Binibilang ng Page indexing report ang bawat URL na alam ng Google, kasama ang mga parameter, lumang address, at mga pahinang hindi mo naman balak i-publish. Normal ang malaking bilang ng "Not indexed", at malinaw na sinasabi ng Google na hindi lahat ng URL ay dapat i-index (Page indexing report). Kaya magsimula sa sarili mong listahan:

Mga pahinang nagdadala ng traffic: ang nangungunang 50 hanggang 100 sa Performance → Pages sa loob ng tatlong buwan.
Mga pahinang kumikita: mga pahina ng produkto, presyo, serbisyo, at lokasyon, gaano man kaliit ang traffic.
Mga bagong pahina: anumang na-publish sa nakalipas na 90 araw.
Ang iyong mga sitemap: dapat ay eksaktong mga canonical URL na gusto mong ma-index ang nakalista rito. Maaari mong i-filter ang Page indexing report ayon sa sitemap para makita kung ilan sa mga URL nito ang naka-index, at ang bawat sitemap sa Sitemaps report ay may link sa indexing coverage ng mga URL nito.

Hakbang 2: alamin kung alin sa mga ito ang hindi naka-index

Para sa maikling listahan, i-inspect ang bawat URL sa URL Inspection. Para sa mas mahaba, buksan ang Page indexing report na naka-filter sa iyong sitemap at daanan ang bawat dahilan, at tingnan kung aling mahahalagang URL mo ang lumilitaw sa mga halimbawa nito. Itala ang bawat URL kasama ang dahilan nito at ang pinagmulan ng dahilan. Pangkalahatang tuntunin ng Google: karaniwan, ang mga isyung ang pinagmulan ay nakalistang "Website" lang ang maaari mong ayusin.

Hakbang 3: harapin ang mga sanhi ayon sa pagkakasunod-sunod

Ayusin ang mga sanhi sa ganitong pagkakasunod-sunod. Maaaring matakpan ng bawat antas ang susunod, at ang mga nauuna ang nakaaapekto sa pinakamaraming pahina nang sabay-sabay.

Pagkakasunod-sunod	Status	Unang susuriin	Karaniwang ayos
1	Server error (5xx)	Mga server log at status ng hosting sa mga oras na nag-crawl ang Google	Ayusin ang kapasidad o mga pag-crash; ang paulit-ulit na 5xx ay nagpapabagal din sa pag-crawl ng Google
2	Redirect error	Ang buong redirect chain ng URL	Mag-redirect sa isang hakbang papunta sa pinal na URL; alisin ang mga loop
3	Blocked due to unauthorized request (401), access forbidden (403) o iba pang 4xx	Mga login wall, firewall, o patakaran ng bot protection	Hayaang maabot ni Googlebot ang mga pampublikong pahina
4	URL marked 'noindex'	Ang robots meta tag ng pahina at ang `X-Robots-Tag` header nito	Alisin ang noindex sa mga pahinang dapat mag-rank
5	URL blocked by robots.txt	Ang tumutugmang rule sa robots.txt	Alisin ang rule para sa mga pahinang dapat ma-crawl
6	Duplicate, Google chose different canonical than user	Aling URL ang pinangalanan ng iyong canonical tag, mga redirect, sitemap, at internal link	Ituro ng bawat signal ang iisang URL
7	Soft 404	Ang ipinapakita ng pahina kapag kinuha ito ni Googlebot	Totoong 404 para sa mga nawawalang pahina; totoong content para sa mga totoong pahina
8	Crawled - currently not indexed	Kung may naidaragdag ba ang pahina na wala sa iba mong pahina at sa mga kakumpitensya	Pagandahin ito, o pagsamahin sa mas matibay na pahina
9	Discovered - currently not indexed	Kung may na-crawl na pahinang may link dito	Lagyan ito ng link mula sa mga na-crawl na pahina; sa napakalalaking site, pamahalaan ang crawling

Pag-diagnose ng isang URL gamit ang URL Inspection

Para sa bawat mahalagang URL sa iyong listahan, patakbuhin ang parehong limang pagsusuri (URL Inspection tool):

Basahin ang verdict at ang dahilan. Ang "URL is unknown to Google" ay nangangahulugang hindi pa nakikita ng Google ang address, kaya discovery ang trabaho: lagyan ito ng link mula sa mga pahinang kinakrawl na ng Google at ilista ito sa iyong sitemap.
Ihambing ang mga canonical. Kung iba ang canonical na pinili ng Google sa idineklara ng user, ibang URL ang ini-index ng Google bilang kapalit ng URL na ito. Tingnan muna ang ibang URL na iyon bago baguhin ang anumang bagay.
Suriin ang crawl. Tandaan ang petsa ng huling crawl, kung nag-crawl ang Google bilang smartphone o desktop, kung pinapayagan ang crawling, at kung matagumpay ang pagkuha sa pahina. Isang paalala: kapag hinaharang ng robots.txt ang crawling, laging "oo" ang sagot ng "Indexing allowed?", dahil hindi makikita ng Google ang noindex sa pahinang hindi nito pinapayagang kunin.
Patakbuhin ang Test live URL. Inilalarawan ng default na view ang huling na-index na bersyon, na maaaring luma na. Kinukuha ng live test ang pahina sa mismong sandaling iyon at nagpapakita ng screenshot ng na-render na pahina, ang pinakamabilis na paraan para mahanap ang content na lumilitaw lang para sa mga naka-log in o kapag pumalya ang isang script.
Humiling ng indexing pagkatapos lang ng ayos. May pang-araw-araw na quota ang Google at sinasabi nitong hindi napapabilis ng paulit-ulit na kahilingan para sa iisang URL ang anumang bagay (Ask Google to recrawl).

Mga tala tungkol sa mas mahihirap na status

Ang blocked by robots.txt ay hindi katumbas ng nakalabas sa index. Kinokontrol ng robots.txt ang crawling, hindi ang indexing; ang naka-block na URL na may link mula sa ibang mga pahina ay maaari pa ring ma-index nang walang content nito. Para mailayo ang isang pahina sa Google, payagan ang crawling at gumamit ng noindex, sa meta tag o sa X-Robots-Tag header (Block indexing). Tandaan na mangyayari lang ang pag-alis kapag na-recrawl ng Google ang pahina, na maaaring tumagal.

Karaniwang gawa-gawa natin mismo ang mga salungatan sa canonical. Itinuturing ng Google na malalakas na signal ang mga redirect at rel="canonical", mahina ang pagsama sa sitemap, at mas pinipili nito ang HTTPS (Consolidate duplicate URLs). Ang tipikal na salungatan ay kapag isang URL ang pinangalanan ng canonical tag habang ibang variant ang ginagamit ng navigation, ng sitemap, at ng mga internal link (trailing slash, malalaking titik, tracking parameter, http://). Pagkasunduin ang lahat at kadalasang malulutas ang salungatan sa susunod na crawl.

Dalawang uri ang soft 404. Ang ilan ay talagang nawawalang pahina, tulad ng template na "item not found" na nagbabalik ng 200; dapat ay 404 o 410 ang ibalik ng mga ito. Ang iba naman ay totoong pahinang mukhang walang laman sa Google, tulad ng kategoryang walang produkto o pahinang ang content ay naglo-load pagkatapos pumalya ang isang script; kailangan ng mga ito ng content na nakikita ng Google, na makukumpirma ng screenshot ng live test.

Ang Crawled - currently not indexed ay isang paghatol, hindi error. Na-crawl ng Google ang pahina at nagpasya, sa ngayon, na hindi ito itago; maaari itong ma-index sa hinaharap o hindi. Tapat na itanong kung ano ang naidaragdag ng pahina. Karaniwang napupunta rito ang mga manipis na bersyon ng ibang pahina, mga tag page na may dalawang post lang, at mga artikulong inuulit lang ang sinasabi ng sampung ibang site. Gawing malinaw na mas mahusay o naiiba ang pahina, o pagsamahin ito sa pahinang ganoon na.

Ang Discovered - currently not indexed ay kadalasang tungkol sa mga link. Alam ng Google ang URL ngunit hindi pa ito nakakrawl. Sa karamihan ng site, ang ayos ay lagyan ng link ang pahina mula sa mga pahinang kinakrawl na ng Google at panatilihin ito sa sitemap. Para sa mas makitid na grupo ang gabay ng Google tungkol sa crawl budget: mga site na may mahigit isang milyong pahinang nagbabago linggu-linggo, o mahigit 10,000 pahinang nagbabago araw-araw (Managing crawl budget). Kung ikaw iyon, bawasan ang imbentaryo ng URL: pagsamahin ang mga duplicate, harangan ang crawling ng mga URL na hindi dapat kunin kailanman, magbalik ng 404 o 410 para sa mga inalis na pahina, at ayusin ang mga soft 404, na patuloy na kinakrawl.

Hakbang 4: i-validate ang ayos

Kapag naayos na ang mga URL ng isang dahilan, buksan ang dahilang iyon sa Page indexing report at pindutin ang Validate fix, minsan lang. Una, sinusuri ng Google ang ilang sample na pahina; kung nandoon pa rin ang problema, humihinto ang validation. Kung hindi, susuriin nitong muli ang bawat kilalang apektadong URL at mamarkahan ang bawat isa bilang pumasa o pumalya. Ayon sa Google, karaniwang tumatagal ang validation nang hanggang halos dalawang linggo, at kung minsan ay mas matagal pa. Maaari rin nitong mapansin ang mga ayos sa karaniwang crawling kahit walang validation request.

Kailan titigil

Tumigil sa paghabol sa isang status kapag ang mga URL sa likod nito ay hindi mo naman kailangang ma-index (mga parameter, filtered view, resulta ng internal search, lumang redirect) o kapag napagbuti, nalagyan ng link, at naisumite nang muli ang isang pahina ngunit tinatanggihan pa rin ito ng Google pagkalipas ng ilang buwan. Sa puntong iyon, kadalasang ang pinakamainam na hakbang ay pagsamahin ang pahina sa mas matibay at i-redirect ito, sa halip na humiling muli ng indexing.

Paano tumutulong ang AutoPSEO

Ginagawa ng AutoPSEO na tuloy-tuloy na pagsusuri ang hakbang 2. Ang Index Tracker ay may hawak na hanggang 1,800 URL na pinili mo, muling nag-i-inspect ng hanggang 200 sa mga ito araw-araw sa pamamagitan ng URL Inspection API (pinakaluma ang unang susuriin, sa loob ng limitasyong 2,000 inspeksyon bawat property bawat araw ng Google), at minamarkahan ang mga pahinang na-deindex sa nakalipas na 30 araw at ang mga pahinang hindi na-crawl ng Google sa loob ng 120 araw. Nagpo-post ang Index flip alert sa Slack, Microsoft Teams, o webhook kapag natanggal sa index ang isang sinusubaybayang URL o bumalik ito (mga alert). Gumagana mula sa loob ng app ang URL Inspection at Sitemaps, at ipinapakita ng mga isyu sa crawl ng Bing ang katulad na mga problema mula sa panig ng Bing.

Para sa mga bagong pahina, ipinaaalam ng IndexNow sa Bing at sa iba pang search engine na sumusuporta rito ang mga nabagong URL; hindi kasali ang Google sa IndexNow, kaya mga sitemap at internal link pa rin ang paraan para maabot ang Google. Ang mga artikulo mula sa content engine ay inihahatid sa sarili mong site, na siyang nagpa-publish at naglalagay ng link sa mga ito tulad ng anumang ibang pahina; kapag nagdeklara ang iyong site ng IndexNow key, ipinapaalam ng AutoPSEO sa IndexNow ang bawat na-publish o na-update na address sa iyong host at itinatala kung ano ang isinagot ng IndexNow (Delivery).