Indexarea explicată: cum accesează, indexează și raportează Google paginile

Cum ajunge un URL de la descoperire în indexul Google, ce înseamnă fiecare stare din Page indexing și care dintre ele trebuie remediate, pe baza documentației Google.

Indexarea înseamnă că Google stochează o pagină pentru ca aceasta să poată apărea în rezultatele căutării. Înainte de asta, Google trebuie să descopere URL-ul, să-l acceseze (crawl) și, de regulă, să-l randeze. Apoi decide dacă pagina dublează un alt URL și dacă merită păstrată. Raportul Page indexing din Search Console arată în ce punct al acestui parcurs s-a oprit fiecare URL al tău și care este motivul indicat de Google.

De la URL la rezultatul căutării

Descrierea oficială a modului în care funcționează Search împarte parcursul în etape pe care le poți verifica pe rând.

Descoperirea. Nu există o listă centrală a paginilor web, așa că Google caută continuu pagini noi. Majoritatea le găsește prin linkuri de pe pagini pe care le cunoaște deja și prin sitemapuri trimise de proprietarii site-urilor.
Accesarea (crawling). Googlebot preia URL-ul, cu condiția ca robots.txt să o permită. Google limitează viteza de accesare ca să nu-ți suprasolicite serverul, iar erorile de server o reduc și mai mult.
Randarea. Google rulează JavaScript-ul paginii cu o versiune recentă de Chrome, deoarece unele conținuturi apar abia după execuția scripturilor.
Indexarea. Google analizează conținutul, grupează paginile duplicate sau aproape duplicate, alege una dintre ele drept canonică și o stochează. Poate decide să nu indexeze deloc o pagină, de exemplu din cauza conținutului de calitate slabă sau a unei reguli robots meta care o interzice.
Afișarea. Pentru fiecare căutare, Google alege rezultate din index. Faptul că o pagină este indexată o face eligibilă să apară, dar nu garantează că va apărea.

Google precizează explicit că nu garantează niciuna dintre aceste etape pentru nicio pagină. Ce poți face tu este să elimini obstacolele și să-i oferi motive bune să continue.

Cum citești raportul Page indexing

Raportul împarte URL-urile cunoscute de Google în Indexed și Not indexed și indică un motiv pentru fiecare grup de URL-uri neindexate (Page indexing report). Două indicații din documentația Google ar trebui să îți ghideze interpretarea:

Neindexat nu înseamnă neapărat rău. Google le spune proprietarilor de site-uri să nu se aștepte ca fiecare URL să fie indexat. Duplicatele, adresele redirecționate și paginile fără conținut relevant trebuie să rămână în afara indexului. Contează ca paginile esențiale să fie incluse.
Verifică Source. Fiecare motiv arată dacă cauza ține de site sau de sistemele Google. În general, poți remedia doar motivele a căror sursă este „Website".

Așadar, întrebarea utilă nu este niciodată „de ce am atâtea pagini neindexate?". Ea este „se află pe această listă pagini de care am nevoie și de ce?".

Ce înseamnă fiecare stare

Motivele Google se împart în cinci grupuri. Reacția potrivită depinde mult mai mult de grup decât de formularea exactă.

I-ai spus lui Google să nu indexeze pagina

Stare	Ce s-a întâmplat	Acțiune
URL marked 'noindex'	Pagina conține o regulă noindex	Niciuna dacă este intenționat; elimină regula dacă pagina trebuie să se claseze
URL blocked by robots.txt	robots.txt îl împiedică pe Google să acceseze pagina	Blocarea accesării nu garantează că pagina rămâne în afara indexului
Alternate page with proper canonical tag	Pagina indică un alt URL drept canonic, iar Google este de acord	Niciuna
Page with redirect	URL-ul redirecționează în altă parte, deci nu este indexat el însuși	Niciuna, atâta timp cât ținta este pagina pe care vrei să o indexezi

Google nu a putut prelua pagina

Stare	Ce s-a întâmplat	Acțiune
Server error (5xx)	Serverul a returnat o eroare de tip 500	Remediază serverul; erorile repetate încetinesc și accesarea
Redirect error	Un lanț de redirecționări a fost prea lung, a intrat în buclă sau a dus la un URL incorect ori gol	Îndreaptă redirecționarea direct către URL-ul final
Blocked due to unauthorized request (401), access forbidden (403) or other 4xx issue	Pagina a refuzat Googlebot	Elimină restricția dacă pagina trebuie să fie publică
Not found (404)	URL-ul a returnat 404	În regulă pentru paginile eliminate; corectează linkurile dacă pagina există în continuare în altă parte

Google a ales un alt URL

Stare	Ce s-a întâmplat	Acțiune
Duplicate without user-selected canonical	Google consideră pagina un duplicat și a ales o altă canonică	De obicei niciuna; Google spune că așa funcționează sistemul
Duplicate, Google chose different canonical than user	Ai indicat o canonică, dar Google a preferat alt URL	Aliniază semnalele (vezi mai jos)

Google nu a decis încă în favoarea ta

Stare	Ce s-a întâmplat	Acțiune
Discovered - currently not indexed	Google cunoaște URL-ul, dar nu l-a accesat încă, adesea reprogramat pentru a nu suprasolicita site-ul	Adaugă linkuri către el din pagini deja accesate; pe site-urile foarte mari, gestionează accesarea
Crawled - currently not indexed	Google a accesat pagina, dar nu a indexat-o și s-ar putea să o facă sau nu în viitor	Fă pagina clar utilă și distinctă sau îmbin-o într-o pagină mai puternică

Conținutul pare greșit

Stare	Ce s-a întâmplat	Acțiune
Soft 404	Pagina răspunde cu 200, dar arată ca o pagină de eroare sau goală	Returnează un 404 real pentru paginile inexistente sau oferă conținut real paginilor reale
Page indexed without content (warning)	Indexată, dar Google nu a putut citi conținutul	Verifică ce primește Googlebot cu URL Inspection
Indexed, though blocked by robots.txt (warning)	Indexată deși robots.txt o blochează	Pentru a o scoate din index, permite accesarea și adaugă noindex

Ultimul rând îi surprinde pe mulți. Google poate vedea o regulă noindex doar pe o pagină pe care are voie s-o acceseze, deci dacă blochezi o pagină în robots.txt și adaugi totodată noindex, regula noindex nu este citită niciodată (Block indexing with noindex).

Când Google alege altă canonică

Etichetele canonice sunt semnale, nu comenzi. Google le cântărește pe mai multe: redirecționările și rel="canonical" sunt semnale puternice, includerea într-un sitemap este un semnal slab, iar adresele HTTPS sunt preferate față de cele HTTP (Consolidate duplicate URLs). Când semnalele tale se contrazic, de exemplu o etichetă canonică indică un URL, în timp ce linkurile interne și sitemapul folosesc altul, Google decide singur. Fă ca toate semnalele să indice același URL și creează linkuri interne către el. Nu folosi robots.txt sau noindex pentru a alege o canonică; noindex scoate pagina complet din Search.

Verificarea unui singur URL cu URL Inspection

Raportul Page indexing arată grupuri; URL Inspection arată un singur URL în detaliu (URL Inspection tool). Acesta indică dacă URL-ul este indexat, canonica pe care ai declarat-o și cea aleasă de Google, când a accesat Google pagina ultima oară și dacă a făcut-o ca agent de utilizator mobil sau desktop, dacă robots.txt permite accesarea, dacă preluarea a reușit și dacă indexarea este permisă.

Două precauții. În primul rând, vizualizarea implicită descrie ultima versiune indexată, care poate fi depășită; Test live URL preia pagina chiar acum, iar așa îți confirmi o remediere, deși un test live reușit nu garantează indexarea. În al doilea rând, când robots.txt blochează accesarea, „Indexing allowed?" afișează întotdeauna „yes", pentru că Google nu poate vedea o regulă noindex pe care nu i s-a permis să o preia.

Request indexing îi cere lui Google să acceseze din nou URL-ul. Există o cotă zilnică, iar Google spune că solicitarea repetată a accesării aceluiași URL nu o va face să se întâmple mai repede (Ask Google to recrawl). Pentru multe URL-uri, trimite în schimb un sitemap actualizat.

Cât durează indexarea?

Google oferă intervale, nu promisiuni. Indexarea unei pagini noi poate dura câteva zile și nu este niciodată instantanee, nici după o solicitare directă. Site-urile noi pot avea nevoie de aproximativ o săptămână pentru a fi accesate și indexate, iar o reaccesare poate dura de la câteva zile la câteva săptămâni. Când remediezi o problemă și apeși Validate fix, verificarea durează de obicei până la aproximativ două săptămâni. Dacă o pagină importantă lipsește și după o lună, parcurge ghidul tehnic de indexare în loc să soliciți din nou indexarea.

Cum ajuți Google să-ți găsească și să-ți păstreze paginile

Adaugă linkuri către paginile noi din pagini pe care Google le accesează deja, precum pagina de pornire, paginile hub sau articolele conexe. Linkurile sunt principala cale prin care Google descoperă URL-uri.
Include în sitemapuri doar URL-uri canonice, scrise ca adrese absolute complete, cu cel mult 50.000 de URL-uri sau 50MB necomprimați per fișier. Google folosește <lastmod> atunci când este constant corect și ignoră <priority> și <changefreq> (Build a sitemap).
Dă fiecărei bucăți de conținut un singur URL, iar redirecționările, etichetele canonice, sitemapurile și linkurile interne să fie în acord.
Returnează un 404 sau 410 real pentru paginile eliminate, nu o pagină goală cu stare 200.
Preocupă-te de bugetul de accesare doar la scară mare. Ghidul Google despre crawl budget se adresează site-urilor cu peste un milion de pagini care se schimbă săptămânal sau cu peste 10.000 de pagini care se schimbă zilnic.

Cum te ajută AutoPSEO

AutoPSEO rulează URL Inspection direct din aplicație și consumă din cota zilnică Google de 2.000 de inspecții per proprietate. Index Tracker păstrează o listă de până la 1.800 de URL-uri alese de tine și reinspectează zilnic până la 200 dintre ele, începând cu cele verificate cel mai demult. Te avertizează când unul a fost deindexat în ultimele 30 de zile sau nu a mai fost accesat de 120 de zile și poate genera o alertă „Index flip" în Slack, Teams sau printr-un webhook când un URL urmărit iese din index sau revine. IndexNow notifică Bing și celelalte motoare care îl acceptă; Google nu participă la IndexNow, așa că pentru Google sitemapul și linkurile interne rămân calea de acces.

Articolele scrise de motorul de conținut sunt livrate pe site-ul tău, care le publică și le leagă prin linkuri ca pe orice altă pagină. Când site-ul tău declară o cheie IndexNow, AutoPSEO trimite un ping către IndexNow pentru fiecare adresă nouă sau actualizată de pe host-ul tău (Delivery).