实验：检验某项 SEO 改动是否带动了你的流量

实验功能回答每次 SEO 改动都会带来的问题：改动到底有没有效果，还是整个站点的流量本来就在变化？你需要定义一个实验组（你改动过的页面）、一个对照组（未做改动的相似页面）和一个上线日期。AutoPSEO 会把每个组上线后的表现与其自身上线前 28 天的表现进行比较，并检验两组之间的差距是否超出日常波动。由于对照组与实验组共享季节性、Google 更新和需求波动等因素，相比简单的前后对比，这种方式能更准确地分离出你的改动所带来的影响。

创建实验

点击新建并填写以下内容：

• 名称和假设：你改动了什么，以及你预期的结果，例如"在产品指南页面添加 FAQ 结构化数据，使 CTR 提升 10%"。
• 开始日期：改动正式上线的那一天。结束日期为可选项；如果不填，实验将持续到有数据的最新一天。
• 指标:点击量、展示次数、CTR 或排名。四项指标都会生成报告，由你选定的这一项来决定胜出方。
• 实验组和对照组：每组可以选择URL 列表（最多 500 个绝对 URL）或 URL 模式（正则表达式），例如 ^https://www.example.com/guides/。

分组时有两个快捷方式。上传包含 URL 分组的 CSV 会读取带有 url 和 group 两列的文件；文件中出现的第一个分组作为对照组，第二个作为实验组。自动推荐分组会加载你最近 28 天的热门页面，并按一级目录提出分组建议（页面数不少于三个的目录均会列出），可直接作为模式使用。

请选择与实验组相似的对照组：模板相同、流量相近、搜索意图类型一致。务必在查看结果之前就为页面分好组，而不是看完结果之后再分。

结果是如何计算的

1. 时间窗口。实验前周期为开始日期之前的 28 天；实验后周期从开始日期起，到结束日期或最新可用日期为止。
2. 指数化。每个组在上线后的每日数值，都会除以该组自身上线前的日均值，因此 1.0 表示"与之前持平"。这样，样本量较小的实验组和样本量较大的对照组就处在同一量纲上。
3. 提升幅度。相对提升幅度等于实验组的平均指数减去对照组的平均指数：+0.12 表示相对于自身基线，实验组表现好了 12 个百分点。
4. 检验。Welch t 检验在不假定方差相等的前提下，比较两组每日的指数化数值，得出 p 值、95% 置信区间，以及作为效应量的 Cohen's d（低于 0.2 为可忽略，低于 0.5 为小，低于 0.8 为中等，0.8 及以上为大）。
5. 胜出方。当 p 值低于 0.05 时，结果具有显著性，此时胜出方为实验组或对照组（对于排名，数值越低越好）。否则结果为无定论。
6. 累计差值。自上线以来逐日累加：实验组的实际值减去"若其走势与对照组一致本应达到的值"（即上线前日均值 × 对照组的指数），也就是这项改动额外带来的点击量，或你所选指标的增量。

统计检验结果还会显示最小可检测效应，约为差值标准误的 2.8 倍：即在 80% 检验功效下，本实验能够可靠检测出的最小提升幅度。当结果不显著时，请先将你预期的效应与该值对比，再判断这项改动是否毫无作用。

查看结果

在列表中打开一项实验，即可看到相对提升幅度、各组相对于上线前周期的变化、p 值和胜出方。图表展示两组的每日指数（并标出上线时间点），以及上线以来的累计差值。表格则按组、按指标（含置信区间）、按页面（上线后流量最高的 300 个页面）以及按日期细分结果。完成后可将实验标记为已完成；它会连同结果一起保留在列表中。

何时可以信赖结果

出现以下情况时，页面会给出警告：

• 上线后不足 14 天；
• 可用的上线前天数不足 14 天；
• 以点击量或展示次数为指标时，任一组在上线前的日均值低于 5，此时每日波动会占主导；
• 某个组在上线前完全没有流量，因而无法衡量其变化。

即使结果显著，它也只是观察性结论，而非随机对照试验：如果某一组同时上线了其他改动，或某次排名更新对两种模板的影响不同，都可能被误当作你这项改动的效果。请为上线时间以及测试期间发生的其他事件添加注释。

在不触怒 Google 的前提下测试

本报告比较的是真实页面的分组，因此你无需向 Google 提供不同的变体。如果你确实使用变体 URL 进行 A/B 测试，Google 要求：不要向 Googlebot 展示与用户不同的内容，使用 rel="canonical" 将变体指向原页面，使用临时(302)重定向，并在得出结果后结束测试(搜索的 A/B 测试最佳实践)。

AutoPSEO 如何提供帮助

内容引擎的刷新和优化任务每次只改动一个页面(保持文章时效性)。要判断这些改动是否带来回报，可以把已刷新的文章放入实验组，把相似但未改动的文章放入对照组，并以首次刷新上线的日期作为开始日期。