AutoPSEO-Bot

Identificarlo

Le richieste riportano lo user agent AutoPSEO-Bot/1.0 (On-Page SEO Checker), che il controllo on-page estende con un link a questa pagina. Il crawler viene eseguito su Cloudflare Workers, quindi gli indirizzi di origine provengono da intervalli Cloudflare e cambiano senza preavviso: verifica in base alla stringa dello user agent, non a una allowlist di IP.

Cosa richiede

Una GET per URL, e nient'altro. Non esegue JavaScript, quindi vede esattamente l'HTML restituito dal tuo server.

• Solo GET, mai POST o altri metodi
• Accetta text/html, segue fino a 5 reindirizzamenti e si arrende dopo 8 secondi
• Al massimo 5 richieste contemporanee
• Smette di leggere dopo circa 1 MB di HTML
• Solo host pubblici http e https, quindi gli indirizzi privati e loopback vengono rifiutati

Quando viene eseguito

Solo durante un controllo: recupera robots.txt, le sitemap necessarie e le pagine sotto esame. I risultati vengono memorizzati in cache per 24 ore, quindi riaprire un report non costa nulla al tuo server. Una scansione completa del sito è limitata a 100 pagine per impostazione predefinita, con un tetto massimo di 500, una profondità di 3 e una richiesta per pagina.

Consentirlo

Se robots.txt consente tutti gli agenti non c'è nulla da fare. Se blocchi gli agenti sconosciuti per impostazione predefinita, aggiungi un blocco esplicito per AutoPSEO-Bot con i percorsi che vuoi controllare; un sito di staging protetto da autenticazione HTTP restituisce semplicemente 401 e il report lo segnala invece di indovinare.

Bloccarlo

Un blocco User-agent che indica AutoPSEO-Bot con Disallow: / ferma il crawler alla prossima esecuzione, e le regole Allow all'interno di quel blocco vengono rispettate come di consueto. Gli URL bloccati vengono segnalati nell'esecuzione come bloccati da robots.txt anziché scartati silenziosamente, così un controllo che improvvisamente non restituisce nulla è facile da spiegare.