Hoe controleer ik mijn robots.txt in Google Search Console?

Q: Hoe controleer ik mijn robots.txt in Google Search Console?

Open het robots.txt-rapport onder Instellingen om te zien welke bestanden Google heeft gevonden, wanneer ze zijn opgehaald en welke parseerfouten er zijn. Controleer losse URL's met URL-inspectie.

Open Instellingen en daarna het robots.txt-rapport. Daar staan de robots.txt-bestanden die Google voor je site heeft gevonden, wanneer elk bestand voor het laatst is gecontroleerd, of het ophalen is gelukt, de bestandsgrootte en alle regels die Google niet kon parseren. Wil je weten of een bepaalde URL is geblokkeerd, inspecteer die URL dan en lees het veld Crawlen toegestaan?. De losse robots.txt-tester die oudere handleidingen beschrijven, is geen onderdeel meer van Search Console.

Wat het rapport laat zien

Volgens de helppagina van Google over het robots.txt-rapport:

Het is alleen beschikbaar voor properties op domeinniveau: een domeinproperty of een URL-prefixproperty zonder pad (https://example.com/, niet https://example.com/shop/).
Bij een domeinproperty omvat het de 20 hosts met de hoogste crawlfrequentie, omdat elke host een eigen bestand heeft.
Per bestand zie je het pad, de ophaalstatus, het tijdstip van de laatste controle, de grootte in bytes en het aantal problemen. Bij fouten slaat Google een regel over; bij waarschuwingen niet.
Bestanden verschijnen als Google ze de afgelopen 30 dagen heeft opgehaald of heeft geprobeerd op te halen.

Status	Wat het betekent
Opgehaald	Google heeft het bestand ontvangen. Regels die Google niet kon parseren worden genegeerd en de rest wordt gebruikt
Niet opgehaald: Niet gevonden (404)	Er is geen bestand, en dat is prima: Google mag elke URL crawlen
Niet opgehaald: andere reden	Er is iets anders misgegaan; zie de tabel hieronder

Nadat je het bestand hebt gewijzigd

Google bewaart robots.txt doorgaans maximaal 24 uur in de cache, dus een wijziging werkt niet direct door. Heb je belangrijke URL's gedeblokkeerd of een ophaalfout opgelost, open dan het menu van het bestand in het rapport en kies Opnieuw crawlen aanvragen. Anders is dat niet nodig: Google haalt robots.txt vaak opnieuw op.

Hoe Google omgaat met een kapotte robots.txt

Wat Google ontvangt	Wat er gebeurt
Een 2xx-respons	De regels worden toegepast
Een redirect	Google volgt minstens vijf stappen en behandelt een niet-afgeronde keten daarna als een 404
Een 4xx-fout anders dan 429	Wordt behandeld alsof er geen bestand is: er wordt niets geblokkeerd
Een 5xx-fout of netwerkfout	Het crawlen stopt 12 uur, daarna wordt tot 30 dagen de laatste goede kopie gebruikt; daarna handelt Google, als de site verder bereikbaar is, alsof er geen bestand is
Een bestand groter dan 500 KiB	Alles na de limiet wordt genegeerd

Bron: How Google interprets robots.txt. De 5xx-rij is degene om bang voor te zijn: een server die voor alleen dit bestand een fout geeft, kan het crawlen van de hele site stilleggen.

Regels testen voordat ze live gaan

Voor een URL die al live staat is het veld Crawlen toegestaan? in URL-inspectie het snelste antwoord.
Voor een conceptbestand verwijst Google ontwikkelaars naar de open-source robots.txt-bibliotheek om lokaal te testen.
Bij conflicterende regels past Google de meest specifieke regel toe, namelijk die met het langste overeenkomende pad. Zijn twee regels even specifiek, dan wint de minst restrictieve.

Wat robots.txt niet kan

robots.txt stuurt het crawlen aan, niet het indexeren. Google zegt dat het geen manier is om een pagina uit Google te houden: een geblokkeerde URL kan toch worden geïndexeerd, zonder beschrijving, als andere pagina's ernaar linken. Om een pagina uit de zoekresultaten te houden gebruik je noindex of een wachtwoord, zoals beschreven bij een URL verwijderen.

Hoe AutoPSEO helpt

De bulk-URL-inspectie van AutoPSEO laat per URL de robots.txt-status zien die Google rapporteert, voor maximaal 500 URL's per run vanuit een geplakte lijst of een sitemap. Zo controleer je snel of een regelwijziging per ongeluk niet een hele sectie heeft geblokkeerd.