如何在 Google Search Console 中检查 robots.txt？

Google 已于 2022 年停用 Search Console 中的专用 robots.txt 测试工具。目前可通过以下方式检查 robots.txt：

• 网址检查工具 - 检查任意 URL；如被拦截，会显示「已被 robots.txt 屏蔽」
• 直接查看 - 在浏览器中访问 yourdomain.com/robots.txt，查看当前规则
• Search Console 设置 - 前往设置 > 抓取统计信息，查看 Googlebot 是否被拦截无法抓取网站的某些部分
• 第三方测试工具 - 例如 Google 的 Search Console robots.txt 测试工具 或在线验证器

AutoPSEO 如何提供帮助

将 Search Console 的技术报告与 AutoPSEO 的页面 SEO 检查搭配使用：该功能会抓取你的热门页面，并判断每个页面排名对应的查询词是否出现在标题、meta description 和 H1 中；同时可结合子域名与文件夹报告，将表现映射到你的 URL 结构上。