Wat betekent "Discovered – currently not indexed"?

Google heeft de URL gevonden, via een link of een sitemap, maar heeft hem nog niet opgehaald. URL Inspection toont daarom geen datum van de laatste crawl. Volgens Google heeft het de crawl meestal uitgesteld om te voorkomen dat je site overbelast raakt. Een paar nieuwe pagina's in deze status is normaal en lost zichzelf op. Duizenden URL's die wekenlang in deze status blijven staan, wijzen op een server die het niet bijhoudt, of op een site die meer URL's genereert dan Google wil crawlen.

Waarom Google een crawl uitstelt

Google bepaalt op basis van twee factoren hoeveel er wordt gecrawld:

• Crawlcapaciteit. Hoeveel crawlverkeer je server aankan. Snelle, stabiele reacties verhogen die capaciteit; trage reacties, 5xx-fouten en 429-reacties verlagen haar.
• Crawlvraag. Hoeveel Google je URL's wil hebben: hoe populair ze zijn, hoe vaak ze veranderen en hoeveel van je URL-inventaris het ophalen waard lijkt. Dubbele URL's en URL's met weinig waarde verspillen crawlvraag.

Elke hostnaam wordt als een aparte site behandeld, dus www.example.com en shop.example.com worden onafhankelijk van elkaar gecrawld.

Is het een probleem voor jouw site?

Zo krijg je de pagina's gecrawld

1. Controleer eerst de server. Open Settings > Crawl stats en bekijk de hoststatus en de gemiddelde reactietijd. Los serverfouten en trage reacties eerst op. Zie Crawl stats.
2. Schrap de URL's die niet zouden moeten bestaan. Blokkeer het crawlen van facet- en sorteervarianten in robots.txt, geef 404 of 410 terug voor verwijderde pagina's, los soft 404's op en verkort redirectketens. Vertrouw hier niet op noindex: Google moet een pagina nog steeds opvragen om de tag te zien.
3. Link naar de belangrijke pagina's vanaf pagina's die al gecrawld en geïndexeerd zijn. Een URL die alleen uit een sitemap bekend is, weegt weinig.
4. Houd sitemaps schoon. Neem alleen canonieke, indexeerbare URL's op, met een nauwkeurige <lastmod> wanneer de inhoud verandert.
5. Vraag spaarzaam om indexering. Request indexing in URL Inspection helpt bij een paar prioritaire pagina's, binnen een dagelijkse limiet. Het lost geen achterstand op sitebreed niveau op.

Als het aantal niet daalt nadat de server gezond is en de URL-inventaris schoon is, kijk dan of de pagina's het crawlen wel waard zijn: de vraag hangt ook af van hoe nuttig en populair Google ze vindt. Eenmaal gecrawld kan een pagina nog altijd in Crawled – currently not indexed terechtkomen. Voor het grotere plaatje, zie crawl budget.

Hoe AutoPSEO helpt

Het Sitemap Performance report koppelt de URL-lijst van elke sitemap aan je paginagegevens uit Search Console. Zo zie je hoeveel van de opgenomen URL's klikken opleveren, hoeveel er geen opleveren en hoeveel er helemaal niet in Search Console verschijnen. Juist daar zitten de niet-ontdekte en niet-gecrawlde pagina's. De Index Tracker controleert vervolgens elke dag via de URL Inspection API de URL's die voor jou belangrijk zijn en registreert de eerste dag waarop elk ervan is geïndexeerd, zodat je kunt zien hoe lang nieuwe pagina's op jouw site nodig hebben.

Bronnen: de Page indexing report help, de crawl budget guide en de URL Inspection tool help van Google.