AutoPSEO-Bot

Tanımlama

İstekler, sayfa içi denetleyicinin bu sayfaya geri bağlantı ekleyerek genişlettiği AutoPSEO-Bot/1.0 (On-Page SEO Checker) kullanıcı aracısını taşır. Tarayıcı Cloudflare Workers üzerinde çalışır, bu nedenle kaynak adresleri Cloudflare aralıklarından gelir ve haber verilmeden değişir: bir IP izin listesi yerine kullanıcı aracısı dizesiyle eşleştirin.

Neyi istediği

URL başına bir GET, başka hiçbir şey yok. JavaScript çalıştırmaz, bu nedenle sunucunuzun döndürdüğü HTML'yi olduğu gibi görür.

• Yalnızca GET, asla POST veya başka bir yöntem
• text/html kabul eder, en fazla 5 yönlendirmeyi takip eder ve 8 saniye sonra vazgeçer
• Aynı anda en fazla 5 istek
• Yaklaşık 1 MB HTML'den sonra okumayı durdurur
• Yalnızca herkese açık http ve https ana bilgisayarları, bu nedenle özel ve geri döngü adresleri reddedilir

Ne zaman çalışır

Yalnızca bir denetim çalışırken: robots.txt'yi, ihtiyaç duyduğu site haritalarını ve test edilen sayfaları getirir. Sonuçlar 24 saat önbelleğe alınır, bu nedenle bir raporu yeniden açmak sunucunuza hiçbir maliyet getirmez. Tam site taraması varsayılan olarak 100 sayfayla sınırlıdır, kesin üst sınır 500 sayfa, derinlik 3 ve sayfa başına bir istektir.

İzin verme

robots.txt tüm aracılara izin veriyorsa yapılacak bir şey yoktur. Bilinmeyen aracıları varsayılan olarak engelliyorsanız, kontrol edilmesini istediğiniz yollarla AutoPSEO-Bot için açık bir blok ekleyin; HTTP kimlik doğrulaması arkasındaki bir hazırlık sitesi basitçe 401 döndürür ve rapor tahmin etmek yerine bunu belirtir.

Engelleme

Disallow: / ile AutoPSEO-Bot'u belirten bir User-agent bloğu, tarayıcıyı bir sonraki çalıştırmada durdurur ve bu blok içindeki Allow kuralları her zamanki gibi uygulanır. Engellenen URL'ler sessizce atılmak yerine çalıştırmada robots.txt tarafından engellendi olarak raporlanır, böylece aniden hiçbir sonuç döndürmeyen bir denetimi açıklamak kolaydır.