文档
Bing 抓取问题:Bing 无法正常抓取的 URL
列出 Bing 在抓取您网站时标记的所有 URL,并附上问题类型、HTTP 状态码、入站链接数和严重程度,帮助您优先修复代价最高的问题。
资源 → 分析 → Bing 概览 → 抓取问题需要 Bing 密钥阅读需 1 分钟
Bing 抓取问题会列出 Bing Webmaster Tools 在抓取您网站时标记的所有 URL,涵盖重定向、客户端和服务器错误、robots.txt 屏蔽、DNS 和超时故障以及恶意软件。每个 URL 都会显示其问题类型、Bing 收到的 HTTP 状态码、指向它的入站链接数以及严重程度,入站链接最多的 URL 排在最前面。这是 Bing 当前的列表,因此日期范围对此页面不适用。
各问题类型的含义
AutoPSEO 会解析 Bing 随每个 URL 返回的问题标记,并为其分级:
| 问题类型 | 严重程度 | 通常含义 |
|---|---|---|
| 301 重定向 | 信息 | 该 URL 被永久重定向。通常没有问题,除非您自己的链接或站点地图仍指向它 |
| 302 重定向 | 警告 | 临时重定向。如果是永久迁移,使用 301 可以告诉搜索引擎应保留哪个地址 |
| 4xx 错误 | 错误 | 页面未找到、已删除或禁止访问。请恢复该页面,或将其重定向到最接近的对应页面 |
| 5xx 错误 | 错误 | 您的服务器未能响应。请检查抓取日期前后的日志和主机状态 |
| 被 robots.txt 屏蔽 | 警告 | robots.txt 中的某条规则阻止了 Bing 抓取该 URL |
| 被 robots.txt 屏蔽的重要 URL | 错误 | Bing 将被屏蔽的 URL 标记为重要。请确认该规则是有意设置的 |
| 包含恶意软件 | 错误 | Bing 检测到恶意内容。请清理网站,然后在 Bing Webmaster Tools 中进行复查 |
| DNS 错误 | 错误 | Bing 在抓取时无法解析您的域名 |
| 超时错误 | 错误 | 服务器响应时间过长 |
一个 URL 可能同时带有多种类型,其严重程度取其中最严重的一项。
如何阅读此页面
- 卡片:有问题的 URL、错误、警告、4xx 和 被 robots 屏蔽。
- 按类型统计的问题图表显示了带有各类标记的 URL 数量。
- 表格列出 URL、问题类型、HTTP 状态码、入站链接和严重程度。标签页根据您的数据生成:首先是全部,然后是每种问题类型各一个标签页并附带数量。搜索可匹配 URL 或问题名称,显示完整 URL 可将路径切换为完整地址。
- 复制表格到剪贴板和导出数据为 CSV会按当前标签页和搜索条件导出对应的行。
同样的列表(精简为最重要的 50 个 URL)位于 Bing Overview 页面底部。
应优先修复哪些问题
- 带有入站链接的错误。 其他页面所链接的 4xx 或 5xx URL 会浪费这些链接,并让访问者落入死胡同。请打开 4xx 错误或 5xx 错误标签页:表格按入站链接数排序,链接最多的排在最前。
- 被 robots.txt 屏蔽的重要 URL。 如果该 URL 应当被抓取,请删除或收窄相应规则。如果它应保持私密,请确保没有重要页面链接到它。
- 恶意软件。 请视为紧急情况:它影响的是访问者,而不仅仅是排名。
- 实际上是永久性的 302。 请将其改为 301,并把内部链接更新为最终地址。
普通的 301 重定向仅供参考。只有当您的站点地图或导航中仍列有旧地址时,才需要处理。
修复之后
Bing 在其 GetCrawlIssues 参考文档中说明,已修复的问题可能需要几天才会从列表中消失,而 AutoPSEO 还会在此基础上将 Bing 的返回结果缓存 12 小时。若想让 Bing 更快地重新抓取,请通过 IndexNow 提交已更正的 URL,它会通知所有参与的搜索引擎该 URL 已发生变化。
如需查看 Google 对这些 URL 的视角,请使用 URL Inspection 和 Index Tracker。