AutoPSEO-Bot

识别方式

请求携带用户代理 AutoPSEO-Bot/1.0（On-Page SEO Checker），页面检查工具会为其附加指向本页面的链接。爬虫运行在 Cloudflare Workers 上，因此源地址来自 Cloudflare 网段且可能随时变化：请按用户代理字符串匹配，而非 IP 白名单。

请求内容

每个 URL 一次 GET 请求，仅此而已。它不执行 JavaScript，因此看到的正是您服务器返回的 HTML。

• 仅使用 GET，绝不使用 POST 或其他方法
• 接受 text/html，最多跟随 5 次重定向，8 秒后超时放弃
• 同时最多 5 个并发请求
• 读取约 1 MB HTML 后停止
• 仅限公开的 http 和 https 主机，私有和回环地址将被拒绝

运行时机

仅在检查运行期间：抓取 robots.txt、所需的站点地图，以及被测页面。结果缓存 24 小时，因此重新打开报告不会占用您服务器的资源。全站爬取默认上限为 100 个页面，硬性上限为 500 个，深度为 3，每页请求一次。

允许访问

如果 robots.txt 允许所有代理，则无需任何操作。如果您默认屏蔽未知代理，请为 AutoPSEO-Bot 添加明确的允许规则，并注明需要检查的路径；处于 HTTP 验证后的预发布站点只会返回 401，报告会如实说明，而不会盲目猜测。

屏蔽访问

在 User-agent 块中指定 AutoPSEO-Bot 并设置 Disallow: /，将在下次运行时停止该爬虫，该块内的 Allow 规则仍会照常生效。被屏蔽的 URL 会在运行结果中标注为“被 robots.txt 屏蔽”，而非被静默丢弃，因此某次检查突然没有结果时也容易解释原因。