AutoPSEO-Bot

Mengidentifikasinya

Permintaan membawa user agent AutoPSEO-Bot/1.0 (On-Page SEO Checker), yang diperluas oleh pemeriksa on-page dengan tautan balik ke halaman ini. Crawler berjalan di Cloudflare Workers, sehingga alamat sumber berasal dari rentang Cloudflare dan berubah tanpa pemberitahuan: cocokkan berdasarkan string user agent, bukan daftar izin IP.

Apa yang diminta

Satu GET per URL, dan tidak ada yang lain. Ia tidak menjalankan JavaScript, jadi ia melihat persis HTML yang dikembalikan server Anda.

• Hanya GET, tidak pernah POST atau metode lain
• Menerima text/html, mengikuti hingga 5 redirect, dan menyerah setelah 8 detik
• Maksimal 5 permintaan berjalan bersamaan
• Berhenti membaca setelah kira-kira 1 MB HTML
• Hanya host http dan https publik, sehingga alamat privat dan loopback ditolak

Kapan ia berjalan

Hanya saat pemeriksaan sedang berjalan: ia mengambil robots.txt, sitemap yang diperlukan, dan halaman yang diuji. Hasil disimpan dalam cache selama 24 jam, sehingga membuka kembali laporan tidak membebani server Anda. Crawl situs penuh dibatasi 100 halaman secara default dengan batas keras 500, kedalaman 3, dan satu permintaan per halaman.

Mengizinkannya

Jika robots.txt mengizinkan semua agent, tidak ada yang perlu dilakukan. Jika Anda memblokir agent tak dikenal secara default, tambahkan blokir eksplisit untuk AutoPSEO-Bot dengan path yang ingin diperiksa; situs staging di balik autentikasi HTTP cukup mengembalikan 401 dan laporan menyatakannya alih-alih menebak.

Memblokirnya

Blok User-agent yang menyebutkan AutoPSEO-Bot dengan Disallow: / menghentikan crawler pada proses berikutnya, dan aturan Allow dalam blok tersebut tetap dipatuhi seperti biasa. URL yang diblokir dilaporkan dalam proses sebagai diblokir oleh robots.txt, bukan dihapus secara diam-diam, sehingga pemeriksaan yang tiba-tiba tidak menghasilkan apa pun mudah dijelaskan.