AutoPSEO-Bot

Identificatie

Verzoeken bevatten de user agent AutoPSEO-Bot/1.0 (On-Page SEO Checker), die de on-page checker uitbreidt met een link terug naar deze pagina. De crawler draait op Cloudflare Workers, dus bron-IP-adressen komen uit Cloudflare-reeksen en kunnen zonder aankondiging veranderen: filter op de user agent-string, niet op een IP-allowlist.

Wat er wordt opgevraagd

Eén GET per URL, en niets anders. Er wordt geen JavaScript uitgevoerd, dus hij ziet precies de HTML die je server teruggeeft.

• Alleen GET, nooit POST of een andere methode
• Accepteert text/html, volgt maximaal 5 redirects en geeft na 8 seconden op
• Maximaal 5 gelijktijdige verzoeken
• Stopt met lezen na ongeveer 1 MB HTML
• Alleen openbare http- en https-hosts; privé- en loopback-adressen worden geweigerd

Wanneer hij draait

Alleen terwijl een check loopt: hij haalt robots.txt op, eventuele benodigde sitemaps, en de te testen pagina's. Resultaten worden 24 uur gecached, dus een rapport opnieuw openen kost je server niets. Een volledige sitecrawl is standaard beperkt tot 100 pagina's, met een harde limiet van 500, een diepte van 3 en één verzoek per pagina.

Toestaan

Als robots.txt alle agents toestaat, hoef je niets te doen. Blokkeer je onbekende agents standaard, voeg dan een expliciet blok toe voor AutoPSEO-Bot met de paden die je wilt laten checken; een staging-site achter HTTP-auth geeft gewoon 401 terug en het rapport vermeldt dit in plaats van te gokken.

Blokkeren

Een User-agent-blok met AutoPSEO-Bot en Disallow: / stopt de crawler bij de volgende run, en Allow-regels binnen dat blok worden zoals gebruikelijk gerespecteerd. Geblokkeerde URL's worden in de run gerapporteerd als geblokkeerd door robots.txt in plaats van stilzwijgend weggelaten, zodat een check die plotseling niets teruggeeft eenvoudig te verklaren is.