AutoPSEO-Bot

Erkennung

Anfragen senden den User-Agent AutoPSEO-Bot/1.0 (On-Page SEO Checker), den der On-Page-Checker um einen Link zurück zu dieser Seite erweitert. Der Crawler läuft auf Cloudflare Workers, daher stammen die Quelladressen aus Cloudflare-Bereichen und ändern sich ohne Vorankündigung: Prüfen Sie anhand des User-Agent-Strings, nicht anhand einer IP-Allowlist.

Was er abruft

Ein GET pro URL, sonst nichts. Er führt kein JavaScript aus und sieht daher genau das HTML, das Ihr Server zurückgibt.

• Nur GET, niemals POST oder eine andere Methode
• Akzeptiert text/html, folgt bis zu 5 Weiterleitungen und bricht nach 8 Sekunden ab
• Höchstens 5 gleichzeitige Anfragen
• Stoppt das Lesen nach etwa 1 MB HTML
• Nur öffentliche http- und https-Hosts, private Adressen und Loopback-Adressen werden abgelehnt

Wann er läuft

Nur während eine Prüfung läuft: Er ruft robots.txt, benötigte Sitemaps und die zu testenden Seiten ab. Ergebnisse werden 24 Stunden lang zwischengespeichert, sodass das erneute Öffnen eines Berichts Ihren Server nichts kostet. Ein vollständiger Website-Crawl ist standardmäßig auf 100 Seiten begrenzt, mit einer festen Obergrenze von 500, einer Tiefe von 3 und einer Anfrage pro Seite.

Zulassen

Wenn robots.txt alle Agents zulässt, ist nichts zu tun. Wenn Sie unbekannte Agents standardmäßig blockieren, fügen Sie einen expliziten Block für AutoPSEO-Bot mit den zu prüfenden Pfaden hinzu; eine Staging-Website hinter HTTP-Auth gibt einfach 401 zurück, und der Bericht weist genau darauf hin, statt zu raten.

Blockieren

Ein User-agent-Block, der AutoPSEO-Bot mit Disallow: / benennt, stoppt den Crawler beim nächsten Durchlauf, und Allow-Regeln innerhalb dieses Blocks werden wie gewohnt beachtet. Blockierte URLs werden im Durchlauf als durch robots.txt blockiert gemeldet statt stillschweigend verworfen, sodass eine Prüfung, die plötzlich nichts zurückgibt, leicht zu erklären ist.