AutoPSEO-Bot

識別方式

請求會帶有使用者代理 AutoPSEO-Bot/1.0 (On-Page SEO Checker)，頁面檢查工具會在其後附加連回本頁的連結。爬蟲執行於 Cloudflare Workers，來源位址屬於 Cloudflare 範圍，可能隨時變更：請以使用者代理字串比對，而非 IP 允許清單。

請求內容

每個網址僅發出一次 GET 請求，不做其他動作。它不會執行 JavaScript，因此看到的正是您伺服器回傳的 HTML。

• 僅使用 GET，絕不使用 POST 或其他方法
• 接受 text/html，最多追蹤 5 次重新導向，8 秒後放棄
• 同時最多 5 個進行中的請求
• 讀取約 1 MB HTML 後即停止
• 僅限公開的 http 與 https 主機，私人及本機位址一律拒絕

執行時機

僅在檢查執行期間運作：擷取 robots.txt、所需的網站地圖，以及受測頁面。結果會快取 24 小時，因此重新開啟報告不會對您的伺服器造成負擔。完整網站爬取預設上限為 100 頁，硬性上限為 500 頁，深度為 3 層，每頁僅發出一次請求。

允許存取

若 robots.txt 允許所有代理，則無需任何設定。若您預設封鎖不明代理，請新增一個明確指定 AutoPSEO-Bot 的區塊，列出您要檢查的路徑；採用 HTTP 驗證保護的測試站會直接回傳 401，報告也會如實顯示，而非用猜測的。

封鎖存取

在 User-agent 區塊中指定 AutoPSEO-Bot 並加上 Disallow: /，即可在下次執行時封鎖爬蟲，該區塊內的 Allow 規則仍會照常生效。被封鎖的網址會在執行結果中標示為遭 robots.txt 封鎖，而非直接省略不顯示，因此檢查結果突然空白時也能輕易查明原因。