Indexering förklarad: så genomsöker, indexerar och rapporterar Google sidor

Hur en URL tar sig från upptäckt till Googles index, vad varje status i Sidindexering betyder och vilka som behöver åtgärdas, baserat på Googles dokumentation.

Indexering innebär att Google lagrar en sida så att den kan visas i sökresultaten. Innan det kan ske måste Google upptäcka URL:en, genomsöka den och oftast rendera den. Därefter avgör Google om sidan är en kopia av en annan URL och om den överhuvudtaget är värd att behålla. Rapporten Sidindexering i Search Console visar var varje URL stannade längs vägen och vilken orsak Google anger.

Från URL till sökresultat

Googles beskrivning av hur Sök fungerar delar upp resan i steg som du kan kontrollera ett i taget.

Upptäckt. Det finns ingen central förteckning över webbsidor, så Google letar hela tiden efter nya. De flesta hittas via länkar från sidor som Google redan känner till och via sitemaps som webbplatsägare skickar in.
Genomsökning. Googlebot hämtar URL:en, förutsatt att robots.txt tillåter det. Google begränsar hur snabbt det genomsöker för att inte överbelasta din server, och serverfel gör att takten sänks ytterligare.
Rendering. Google kör sidans JavaScript med en aktuell version av Chrome, eftersom en del innehåll först finns när skripten har körts.
Indexering. Google analyserar innehållet, grupperar sidor som är dubbletter eller nästan dubbletter, väljer en av dem som kanonisk och lagrar den. Google kan också besluta att inte indexera en sida alls, till exempel om innehållet håller låg kvalitet eller om en robots-metaregel förbjuder det.
Visning. För varje sökning väljer Google resultat ur indexet. Att en sida är indexerad gör den kvalificerad att visas, men ger inget löfte om att den faktiskt gör det.

Google är tydligt med att inget av dessa steg garanteras för någon sida. Du kan däremot ta bort hindren och ge Google goda skäl att gå vidare.

Så läser du rapporten Sidindexering

Rapporten delar upp de URL:er som Google känner till i Indexerad och Inte indexerad, och anger en orsak för varje grupp av icke-indexerade URL:er (Rapporten Sidindexering). Två råd från Google själva bör styra hur du tolkar den:

Inte indexerad är inte nödvändigtvis dåligt. Google säger att webbplatsägare inte ska förvänta sig att alla URL:er indexeras. Dubbletter, omdirigerade adresser och sidor utan meningsfullt innehåll ska stå utanför. Det viktiga är att de centrala sidorna finns med.
Titta på källan. Varje orsak visar om felet ligger hos webbplatsen eller hos Googles system. Som regel kan du bara åtgärda de orsaker där källan är "Website".

Den användbara frågan är alltså aldrig "varför är antalet icke-indexerade så högt?". Den är "finns några av de sidor jag behöver på den här listan, och varför?".

Vad varje status betyder

Googles orsaker delas in i fem grupper. Rätt åtgärd beror betydligt mer på gruppen än på den exakta formuleringen.

Du har sagt åt Google att inte indexera sidan

Status	Vad som hände	Åtgärd
URL marked 'noindex'	Sidan har en noindex-regel	Ingen om det är avsiktligt; ta bort regeln om sidan ska ranka
URL blocked by robots.txt	robots.txt hindrar Google från att genomsöka sidan	Att blockera genomsökning garanterar inte att sidan hålls utanför indexet
Alternate page with proper canonical tag	Sidan pekar ut en annan URL som kanonisk, och Google håller med	Ingen
Page with redirect	URL:en omdirigerar någon annanstans och indexeras därför inte själv	Ingen, så länge målet är den sida du vill ha indexerad

Google kunde inte hämta sidan

Status	Vad som hände	Åtgärd
Server error (5xx)	Din server returnerade ett fel i 500-serien	Åtgärda servern; upprepade fel gör också att genomsökningen går långsammare
Redirect error	En omdirigeringskedja var för lång, gick i loop eller ledde till en ogiltig eller tom URL	Låt omdirigeringen peka direkt på slutlig URL
Blocked due to unauthorized request (401), access forbidden (403) or other 4xx issue	Sidan nekade Googlebot åtkomst	Ta bort hindret om sidan ska vara offentlig
Not found (404)	URL:en returnerade 404	Helt i sin ordning för borttagna sidor; rätta länkarna om sidan fortfarande finns på annat håll

Google valde en annan URL

Status	Vad som hände	Åtgärd
Duplicate without user-selected canonical	Google ser sidan som en dubblett och valde en annan kanonisk URL	Oftast ingen; Google kallar detta förväntat beteende
Duplicate, Google chose different canonical than user	Du angav en kanonisk URL, men Google föredrog en annan	Se till att dina signaler är överens (se nedan)

Google har ännu inte bestämt sig till din fördel

Status	Vad som hände	Åtgärd
Discovered - currently not indexed	Google känner till URL:en men har inte genomsökt den än, ofta för att undvika att överbelasta webbplatsen	Länka till den från genomsökta sidor; på mycket stora webbplatser, styr genomsökningen
Crawled - currently not indexed	Google genomsökte sidan men har inte indexerat den, och kanske gör det, kanske inte, framöver	Gör sidan tydligt användbar och särskiljande, eller slå ihop den med en starkare sida

Innehållet ser fel ut

Status	Vad som hände	Åtgärd
Soft 404	Sidan svarar 200 men ser ut som en felsida eller en tom sida	Returnera en riktig 404 för sidor som saknas, eller ge riktiga sidor riktigt innehåll
Page indexed without content (warning)	Indexerad, men Google kunde inte läsa innehållet	Kontrollera vad Googlebot får med URL-granskning
Indexed, though blocked by robots.txt (warning)	Indexerad trots att robots.txt blockerar den	För att hålla den utanför, tillåt genomsökning och lägg till noindex

Den sista raden överraskar många. Google kan bara se en noindex-regel på en sida som Google får genomsöka, så om du både blockerar en sida i robots.txt och lägger till noindex kommer noindex aldrig att läsas (Block indexing with noindex).

När Google väljer en annan kanonisk URL

Kanoniska taggar är signaler, inte order. Google väger flera av dem: omdirigeringar och rel="canonical" är starka signaler, medtagande i en sitemap är en svag, och Google föredrar HTTPS-adresser framför HTTP (Consolidate duplicate URLs). När dina signaler motsäger varandra, till exempel en kanonisk tagg som pekar på en URL medan dina interna länkar och din sitemap använder en annan, väljer Google själv. Låt alla signaler peka ut samma URL och länka internt till just den. Använd inte robots.txt eller noindex för att välja kanonisk URL; noindex tar bort sidan helt från Sök.

Kontrollera en URL med URL-granskning

Rapporten Sidindexering visar grupper; URL-granskning visar en enskild URL i detalj (Verktyget URL-granskning). Den visar om URL:en är indexerad, vilken kanonisk URL du har angett och vilken Google har valt, när Google senast genomsökte sidan och om det skedde som mobil eller dator, om robots.txt tillåter genomsökning, om hämtningen fungerade och om indexering är tillåten.

Två varningar. För det första beskriver standardvyn den senast indexerade versionen, som kan vara föråldrad; Testa live-URL hämtar sidan just nu, vilket är hur du bekräftar en åtgärd, även om ett godkänt livetest inte garanterar indexering. För det andra visar "Indexing allowed?" alltid ja när robots.txt blockerar genomsökning, eftersom Google inte kan se en noindex-regel som Google inte fick hämta.

Begär indexering ber Google att genomsöka URL:en igen. Det omfattas av en daglig kvot, och Google säger att det inte går fortare om du begär genomsökning flera gånger för samma URL (Ask Google to recrawl). För många URL:er är det bättre att skicka in en aktuell sitemap.

Hur lång tid tar indexering?

Google anger tidsintervall snarare än löften. Att indexera en ny sida kan ta några dagar och går aldrig omedelbart, inte ens efter en direkt begäran. Nya webbplatser kan behöva ungefär en vecka eller så för att genomsökas och indexeras, och en ny genomsökning kan ta allt från några dagar till några veckor. När du har åtgärdat ett problem och klickar på Validera korrigering tar kontrollen vanligtvis upp till ungefär två veckor. Om en viktig sida fortfarande saknas efter en månad, gå igenom playbooken för tekniska indexeringsproblem i stället för att begära indexering igen.

Så hjälper du Google att hitta och behålla dina sidor

Länka nya sidor från sidor som Google redan genomsöker, till exempel startsidan, nav-sidor eller relaterade artiklar. Länkar är det främsta sättet för Google att upptäcka URL:er.
Låt sitemaps bara innehålla kanoniska URL:er, skrivna som fullständiga absoluta adresser, med högst 50 000 URL:er eller 50MB okomprimerat per fil. Google använder <lastmod> när den konsekvent är korrekt och ignorerar <priority> och <changefreq> (Build a sitemap).
Ge varje innehåll en enda URL, där omdirigeringar, kanoniska taggar, sitemaps och interna länkar alla är överens.
Returnera en riktig 404 eller 410 för sidor du har tagit bort, i stället för en tom sida med statuskod 200.
Oroa dig för crawl budget först i stor skala. Googles guide om crawl budget riktar sig till webbplatser med över en miljon sidor som ändras varje vecka, eller över 10 000 sidor som ändras varje dag.

Så hjälper AutoPSEO

AutoPSEO kör URL-granskning inifrån appen, och varje granskning räknas mot Googles dagliga gräns på 2 000 granskningar per property. Index Tracker håller en lista med upp till 1 800 URL:er som du väljer och granskar upp till 200 av dem per dag på nytt, med den som granskats längst sedan först. Den varnar när en URL har avindexerats under de senaste 30 dagarna eller inte har genomsökts på 120 dagar, och kan skicka en "Index flip"-avisering till Slack, Teams eller en webhook när en spårad URL försvinner ur indexet eller kommer tillbaka. IndexNow meddelar Bing och de andra sökmotorer som stöder det; Google deltar inte i IndexNow, så för Google är sitemapen och de interna länkarna fortfarande vägen in.

Artiklar som skrivs av innehållsmotorn levereras till din egen webbplats, som publicerar och länkar dem som vilken annan sida som helst. När din webbplats anger en IndexNow-nyckel skickar AutoPSEO en ping till IndexNow för varje ny eller uppdaterad adress på din värd (Leverans).