如何在 Brave Search 中获得排名(并被 Claude 引用)
Brave Search 使用自己的索引,索引由爬虫和用户自愿提供的浏览器数据共同构建。本文介绍作为站点所有者可以控制哪些环节,以及这些工作与 Claude 网页搜索之间的关系。
- 目标
- 确保 Brave 的爬虫能够访问并索引你的重要页面,并了解还有哪些因素会影响收录。
- 所需条件
- 能够访问 robots.txt,以及站点前端的各类防火墙或机器人防护规则。
Brave Search 的搜索结果来自其自建索引。该索引的数据来源有两部分:一是遵循站点为 Googlebot 设置的规则的爬虫,二是已选择加入 Web Discovery Project 的 Brave 浏览器用户发送的匿名信号。Brave 没有站长控制台,也不支持提交站点地图。想要获得排名,就要让爬虫能够访问你的站点,争取真实的访问量,并成为最好的答案。Claude 的网页搜索似乎使用了 Brave 的数据,因此同样的工作也会影响 Claude 能否找到并引用你的内容。
以下事实均已对照 Brave 及其他方发布的页面,于 2026 年 10 月 12 日核实。
Brave Search 如何发现页面?
Brave 表示,其搜索结果来自自建索引,是从零开始构建的,而不是借用其他搜索引擎的数据(What is Brave Search?)。其 API 页面称该索引包含超过 400 亿个页面,每天有超过 1 亿次页面更新以保持新鲜度;这些是 Brave 自己公布的数据(Brave Search API)。页面通过两条途径进入索引。
爬虫。 Brave 面向站点所有者的帮助页面(Brave Search crawler)有四点值得了解:
- 爬虫不会使用单独的 user agent 来标识自己,因为 Brave 希望避免被那些只允许 Google 抓取的站点拒之门外。
- 如果 Googlebot 不被允许抓取某个域名或页面,Brave 的爬虫同样不会抓取。
- robots.txt 不能用来阻止页面进入 Brave 的索引。要移除页面,请添加 robots
noindex指令;Brave 需要重新抓取该页面才能看到这条指令,你也可以提交该页面请求重新抓取。 - 爬虫在一定程度上由用户提供的信息引导,这就是第二条途径。
Web Discovery Project。 这是 Brave 浏览器的一项自愿加入的功能,会发送已开启该功能的用户的匿名搜索和浏览数据。Brave 表示,这有助于构建独立索引并保持结果的相关性(Brave Search and the Web Discovery Project)。其隐私规则决定了能上报哪些内容:一个 URL 要被发送,必须有大量用户各自独立地访问过;此外,该项目会丢弃可疑的查询、创建者标记为不可索引的页面的 URL,以及非公开或需要登录的页面。
对站点所有者来说,结论很简单:Brave 依靠人们实际访问的内容来发现页面,并按你授予 Google 的权限来读取这些页面。
你可以控制什么
1. 让爬虫进得来。 请像 Googlebot 一样解读你的 robots.txt(如果有 Googlebot 对应的规则组就看该组,否则看 * 组),因为 Brave 采用的是 Google 被允许的权限范围。对 Googlebot 隐藏的部分,对 Brave 也是隐藏的。然后检查站点前端有哪些防护。Brave 的爬虫不会单独标明身份,其帮助页面也没有说明验证其请求的方法,因此,如果防火墙或机器人防护规则只放行能验证为 Google 的爬虫,Brave 也可能被拦在门外。如果你的配置属于这种情况,值得测试一下。
2. 用 noindex 而不是 robots.txt 来排除页面。 Brave 不使用 robots.txt 来决定索引哪些内容。想让某些页面不出现在 Brave 的结果中,例如站内搜索结果页或预发布环境的副本,需要为这些页面添加 noindex 指令,并且页面必须可被抓取,这样指令才能被读取到。Google 也是这样处理的,所以一条规则可以同时适用于两个搜索引擎(Block indexing with noindex)。
3. 让重要页面保持公开。 需要登录才能访问的页面,以及你标记为不可索引的页面,都不在 Web Discovery Project 的上报范围内。
4. 争取真实访问。 由于一个 URL 只有在许多人各自独立访问后才会被上报,一个无人阅读的页面,无论多优秀,对这条途径来说都是不可见的。那些本来就能带来读者的做法(在其他搜索引擎中获得排名、发送新闻简报、在目标受众活跃的社区发声、获得其他站点的链接),同样能让页面出现在愿意分享数据的 Brave 用户面前。Brave 用户只占任何受众的一小部分,因此页面获得的总访问量越多,其中来自参与该项目的用户的访问就越快达到足够的数量。
5. 修改后请求重新抓取。 Brave 建议站点所有者使用其提交表单来请求重新抓取页面,例如在添加 noindex 之后。请把它看作让已知页面被重新读取的方式,而不是进入索引的入口。
6. 成为最好的答案。 Brave 的索引只是入场券;排名仍取决于页面对搜索问题的回答质量。根据其搜索页面的说明,Brave 的 AI 回答会对网页结果进行总结,并始终标明来源,因此在页面靠前位置给出清晰、具体答案的页面,既更容易获得排名,也更容易被引用。
如何检查 Brave 是否收录了你的页面
Brave 没有可供查看的报告,所以需要手动检查。在 search.brave.com 中,用引号括起页面的完整标题进行搜索,或搜索页面中一句有辨识度的话。如果一个在 Google 中有排名的页面在数周后仍未出现在 Brave 中,请回头检查第 1 到第 4 点:首先是爬虫的访问权限,其次是页面是否已经获得足够多的真实访客从而被上报。
Brave 与 Claude 有什么关系?
Claude 的网页搜索似乎使用了 Brave Search,不过 Anthropic 并未公布其搜索方式的完整说明。截至 2026 年 10 月 12 日,相关证据如下:
- 2025 年 3 月,Anthropic 的子处理方列表中新增了 Brave Search,并链接到其介绍 Claude 网页搜索的帮助页面,当时 Simon Willison 记录了这一点。同一篇文章中,Claude 的搜索工具将其参数描述为 "BraveSearchParams",而且 Claude 在一次测试搜索中引用的十条结果与 Brave 对同一查询返回的结果完全一致。
- Brave 自己的 API 页面称其是通过 MCP 使用 Claude 的应用的首选搜索工具。
- 在上述日期,我们无法加载 Anthropic 当前的子处理方列表,因为该页面需要完整的浏览器才能打开,所以我们没有确认该条目是否仍然保持不变。
由此有两点需要注意。位于 Brave 的索引中并不意味着 Claude 会引用你:Claude 自行选择引用什么,也可能使用其他来源。此外,上文关于抓取和访问的内容,无论某个回答是否来自 Brave 都同样适用。实际的结论是:对 Brave 不可见的站点,很可能对 Claude 的网页搜索也不可见,所以本指南中的检查值得花这半小时。
AutoPSEO 在这方面能做什么、不能做什么
AutoPSEO 不衡量 Brave 的排名。它的搜索报告来自 Google Search Console、GA4 和 Bing Webmaster Tools;而 AutoPSEO 用来向 Bing 和其他搜索引擎通知新页面的 IndexNow 也不包含 Brave:IndexNow 官网列出的搜索引擎有 Amazon、Bing、Naver、Seznam.cz、Yandex 和 Yep(IndexNow FAQ)。
它能展示的是另一端的结果:
- LLM Traffic report 会对由 AI 助手(包括 Claude,即来自 claude.ai 的访问)引荐的 GA4 会话进行分组,让你看到引用是否转化为了访客。
- Prompt Explorer 是研究工具之一,可以显示 ChatGPT、Claude、Gemini 和 Perplexity 对某个提示词的回答,以及它们引用了哪些来源。它使用研究额度运行。
- technical indexing playbook 涵盖了对所有搜索引擎(包括 Brave)都很重要的 robots.txt、noindex 和 canonical 检查。
内容引擎有助于做到第 6 点。它撰写的每篇文章都针对一个搜索问题,默认以不超过 60 个词的直接回答开头,并作为普通页面发布到你自己的站点,因此对你的站点允许访问的所有爬虫都是开放的(content engine)。