Jak diagnostikovat technické problémy s indexací

Problémy s indexací diagnostikujte od stránek, které potřebujete, ne od souhrnných čísel v reportu. Sestavte seznam důležitých URL, zjistěte, které z nich nejsou zaindexované a proč, a pak procházejte příčiny podle závažnosti: nejdřív chyby serveru a přístupu, poté nechtěná blokování, konflikty canonical, stránky podobné chybovým a nakonec stránky, které Google prostě nezvolil k indexaci. Každou opravu potvrďte živým testem v URL Inspection, než požádáte Google o ověření.

Tento postup předpokládá, že znáte stavy popsané v článku Indexace vysvětlena.

Krok 1: sestavte seznam důležitých URL

Report Page indexing počítá každou URL, o které Google ví, včetně parametrů, starých adres a stránek, které jste nikdy nechtěli publikovat. Vysoké číslo u „Not indexed“ je normální a Google výslovně říká, že ne každá URL má být indexována (Page indexing report). Začněte proto vlastním seznamem:

• Stránky, které přinášejí návštěvnost: 50 až 100 nejlepších v Performance → Pages za poslední tři měsíce.
• Stránky, které vydělávají: produktové stránky, ceníky, služby a stránky poboček, bez ohledu na návštěvnost.
• Nové stránky: vše, co bylo publikováno za posledních 90 dní.
• Vaše sitemapy: měly by obsahovat přesně ty kanonické URL, které chcete mít v indexu. Report Page indexing můžete filtrovat podle sitemapy a zjistit, kolik jejích URL je zaindexovaných, a každá sitemapa v reportu Sitemaps odkazuje na stav indexace svých URL.

Krok 2: zjistěte, které z nich nejsou zaindexované

U krátkého seznamu zkontrolujte každou URL v URL Inspection. U delšího otevřete report Page indexing filtrovaný podle sitemapy, projděte jednotlivé důvody a ověřte, které z vašich důležitých URL se objevují v jejich příkladech. U každé URL si zapište důvod a jeho zdroj. Praktické pravidlo Googlu: obecně můžete opravit jen problémy, u nichž je jako zdroj uvedeno „Website“.

Krok 3: procházejte příčiny v daném pořadí

Příčiny opravujte v tomto pořadí. Každá úroveň může skrývat tu další a první z nich ovlivňují najednou nejvíce stránek.

Diagnostika jedné URL pomocí URL Inspection

U každé důležité URL ze seznamu proveďte stejných pět kontrol (URL Inspection tool):

1. Přečtěte si verdikt a důvod. „URL is unknown to Google“ znamená, že Google adresu vůbec neviděl, takže úkolem je zajistit její objevení: odkažte na ni ze stránek, které Google už prochází, a uveďte ji v sitemapě.
2. Porovnejte canonical. Pokud se canonical vybraný Googlem liší od toho, který deklaroval uživatel, Google indexuje místo této URL jinou. Než cokoli změníte, prohlédněte si tu druhou URL.
3. Zkontrolujte procházení. Všimněte si data posledního procházení, zda Google procházel jako smartphone, nebo jako desktop, zda bylo procházení povoleno a zda se stránku podařilo načíst. Jedno upozornění: když robots.txt procházení blokuje, „Indexing allowed?“ vždy uvádí „yes“, protože Google nemůže vidět noindex na stránce, kterou nesmí načíst.
4. Spusťte Test live URL. Výchozí zobrazení popisuje poslední zaindexovanou verzi, která může být stará. Živý test načte stránku právě teď a ukáže snímek vykreslené stránky, což je nejrychlejší způsob, jak odhalit obsah, který se zobrazuje jen přihlášeným uživatelům nebo když selže skript.
5. O indexaci žádejte až po opravě. Google má denní kvótu a uvádí, že opakované žádosti o stejnou URL nic neurychlí (Ask Google to recrawl).

Poznámky k obtížnějším stavům

Blocked by robots.txt neznamená, že stránka zůstane mimo index. robots.txt řídí procházení, ne indexaci; blokovaná URL, na kterou odkazují jiné stránky, může být zaindexována i bez svého obsahu. Chcete-li stránku udržet mimo Google, povolte procházení a použijte noindex v meta tagu nebo v hlavičce X-Robots-Tag (Block indexing). Pamatujte, že odstranění proběhne až při dalším procházení stránky Googlem, což může chvíli trvat.

Konflikty canonical si většinou způsobíte sami. Google považuje přesměrování a rel="canonical" za silné signály, zařazení do sitemapy za slabý a upřednostňuje HTTPS (Consolidate duplicate URLs). Typický konflikt vypadá tak, že canonical tag uvádí jednu URL, zatímco navigace, sitemapa a interní odkazy používají variantu (lomítko na konci, velká písmena, sledovací parametr, http://). Sjednoťte je a konflikt se obvykle vyřeší při dalším procházení.

Soft 404 jsou dvojího druhu. Některé jsou skutečně chybějící stránky, například šablona „položka nenalezena“, která vrací 200; ty by měly vracet 404 nebo 410. Jiné jsou skutečné stránky, které se Googlu jeví jako prázdné, například kategorie bez produktů nebo stránka, jejíž obsah se načítá až po selhání skriptu; ty potřebují obsah, který Google uvidí, což potvrdí snímek z živého testu.

Crawled - currently not indexed je úsudek, ne chyba. Google stránku prošel a zatím se rozhodl ji nezachovat; později může, ale nemusí být zaindexována. Zeptejte se upřímně, co stránka přináší. Obvyklými „obyvateli“ tohoto stavu jsou slabé varianty jiných stránek, stránky štítků se dvěma příspěvky a články, které opakují to, co říká deset jiných webů. Udělejte stránku zřetelně lepší nebo odlišnou, nebo ji sloučte se stránkou, která taková už je.

Discovered - currently not indexed se většinou týká odkazů. Google URL zná, ale ještě ji neprošel. Na většině webů pomůže odkázat na stránku z už procházených stránek a ponechat ji v sitemapě. Průvodce crawl budgetem od Googlu je určen užší skupině: webům s více než milionem stránek, které se mění týdně, nebo s více než 10 000 stránkami, které se mění denně (Managing crawl budget). Pokud je to váš případ, zredukujte inventář URL: sloučte duplicity, zablokujte procházení URL, které se nikdy nemají načítat, vracejte 404 nebo 410 u odstraněných stránek a opravte soft 404, které se stále procházejí.

Krok 4: ověřte opravu

Když jsou URL u daného důvodu opravené, otevřete tento důvod v reportu Page indexing a jednou stiskněte Validate fix. Google nejprve zkontroluje několik vzorových stránek; pokud problém trvá, ověřování se zastaví. Jinak znovu zkontroluje všechny známé postižené URL a každou označí jako vyhovující nebo nevyhovující. Google uvádí, že ověření obvykle trvá až zhruba dva týdny a někdy mnohem déle. Opravy může zaznamenat i při běžném procházení, bez žádosti o ověření.

Kdy přestat

Přestaňte řešit určitý status, když URL, které za ním stojí, nepotřebujete mít v indexu (parametry, filtrované pohledy, výsledky interního vyhledávání, staré přesměrování), nebo když byla stránka vylepšena, prolinkována a znovu odeslána a Google ji po několika měsících stále odmítá. V tu chvíli je obvykle užitečnější sloučit stránku do silnější a přesměrovat ji, než znovu žádat o indexaci.

Jak pomáhá AutoPSEO

AutoPSEO z kroku 2 dělá průběžnou kontrolu. Index Tracker uchovává až 1 800 vámi vybraných URL, každý den jich přes URL Inspection API znovu zkontroluje až 200 (nejstarší kontrola jako první, v rámci limitu Googlu 2 000 kontrol na vlastnost za den) a označuje stránky, které byly za posledních 30 dní vyřazeny z indexu, i stránky, které Google neprocházel 120 dní. Upozornění Index flip pošle zprávu do Slack, Microsoft Teams nebo na webhook, když sledovaná URL vypadne z indexu nebo se do něj vrátí (upozornění). URL Inspection a Sitemaps fungují přímo v aplikaci a problémy s procházením v Bing ukazují stejný druh potíží z pohledu Bing.

U nových stránek IndexNow informuje Bing a další podporující vyhledávače o změněných URL; Google se do IndexNow nezapojuje, takže k Googlu vedou i nadále sitemapy a interní odkazy. Články z content engine se doručují na váš vlastní web, který je publikuje a prolinkuje jako kteroukoli jinou stránku; pokud váš web deklaruje klíč IndexNow, AutoPSEO při každé publikované nebo aktualizované adrese na vašem hostiteli zavolá IndexNow a zaznamená, co IndexNow odpověděl (Delivery).