實驗功能：驗證 SEO 變更是否帶動了流量

將變更過的頁面群組與對照組在上線前後進行比較，並提供成效提升估計值、Welch t 檢定與信賴區間。

資源 → 進階 → 實驗閱讀時間 1 分鐘

每次調整 SEO 之後，你都會問同一個問題：這個變更到底有沒有效果，還是整個網站的流量本來就在波動？實驗功能就是為了回答這個問題。你需要定義實驗組（你修改過的頁面）、對照組（類似但未修改的頁面）以及上線日期。AutoPSEO 會將每個群組上線後的表現與其自身前 28 天的表現相比較，並檢定兩組之間的差距是否大於日常波動。由於對照組與實驗組共同經歷相同的季節性、Google 更新與需求起伏，因此相較於單純的前後比較，更能將你的變更效果獨立出來。

建立實驗

按下 New 並填寫以下欄位：

Name 與 Hypothesis：你做了什麼變更，以及預期的結果，例如「在產品指南頁面加入 FAQ schema，使 CTR 提升 10%」。
Start date：變更正式上線的日期。End date 為選填；若未設定，實驗會持續計算到有資料的最新一天。
Metric：Clicks、Impressions、CTR 或 Position。四項指標都會呈現，由你選定的這一項決定勝出者。
Treatment group 與 Control group：兩者皆可選擇 List of URLs（最多 500 個絕對 URL）或 URL pattern (regex)，例如 ^https://www.example.com/guides/。

設定群組時有兩個捷徑可用。Upload a CSV with URL groups 會讀取包含 url 與 group 欄位的檔案；檔案中的第一個群組會成為對照組，第二個群組則成為實驗組。Auto-suggest groups 會載入你近 28 天的熱門頁面，並依第一層資料夾（至少包含三個頁面的資料夾）建議分組，可直接作為 pattern 使用。

請挑選與實驗組相似的對照組：使用相同的範本、流量規模相近，且搜尋意圖類型一致。請在查看結果之前就先完成頁面分組，而不是事後再分。

結果如何計算

時間區間。 前期是起始日之前的 28 天；後期則從起始日開始，到結束日或最新可用的日期為止。
指數化。 每個群組在上線後的每日數值，會除以該群組自身在上線前的平均單日數值，因此 1.0 代表「與先前相同」。這讓規模較小的實驗組與規模較大的對照組能在同一尺度上比較。
成效提升。 相對成效提升是實驗組的平均指數減去對照組的平均指數：+0.12 代表實驗組相對於自身基準多出 12 個百分點的表現。
檢定。 Welch t 檢定在不假設變異數相等的前提下，比較兩組每日的指數化數值，並得出 p 值、95% 信賴區間，以及作為效果量的 Cohen's d（低於 0.2 為可忽略，低於 0.5 為小，低於 0.8 為中，0.8 以上為大）。
勝出者。 當 p 值低於 0.05 時，結果即為顯著；此時 Winner 會是實驗組或對照組（Position 指標則是數值越低越好）。否則結果為 Inconclusive（無定論）。
累積差異。 AutoPSEO 會逐日累加上線以來實驗組的實際值，減去假設其走勢與對照組一致時應有的數值（上線前平均值 × 對照組的指數），也就是這項變更額外帶來的點擊數，或你所選的其他指標數值。

Statistical Test Results 也會顯示 Minimum detectable effect（最小可偵測效果），約為差異標準誤的 2.8 倍：也就是在 80% 檢定力下，這個實驗能夠可靠偵測到的最小成效提升。當結果未達顯著時，請先將你預期的效果與此數值比較，再下結論認為變更沒有作用。

解讀結果

從清單中開啟一項實驗，即可看到 Relative uplift、各群組相較於上線前的變化、p-value 與 Winner。圖表會顯示兩個群組的每日指數並標示上線時間點，以及上線後的累積差異。表格則依群組、依指標（含信賴區間）、依頁面（上線後流量最高的 300 個頁面）以及依日期拆解結果。完成後可將實驗標示為 completed；它會連同結果一起保留在清單中。

何時可以信任結果

出現以下情況時，頁面會顯示警告：

上線後經過的天數不足 14 天；
上線前可用的天數不足 14 天；
以點擊或曝光作為指標時，任一群組在上線前的單日平均不足 5，導致每日雜訊占主導；
某個群組在上線前完全沒有流量，因此無法衡量其變化。

即使結果顯著，它仍屬於觀察性結果，而非隨機對照試驗：只對其中一組實施的其他變更，或對兩種範本影響不同的排名更新，都可能被誤認為是你的變更所致。請為上線日以及測試期間發生的其他事件建立一則註記。

在不影響 Google 的前提下進行測試

此報表比較的是真實頁面的群組，因此你不需要向 Google 提供不同的版本。如果你確實使用變體 URL 進行 A/B 測試，Google 建議你：不要向 Googlebot 顯示與使用者不同的內容、以 rel="canonical" 將變體指向原始頁面、使用暫時性（302）重新導向，並在得出結果後結束測試（A/B testing best practices for Search）。

AutoPSEO 如何提供協助

內容引擎的更新與最佳化任務一次只會修改一個頁面（保持文章內容新鮮）。若要判斷這些變更是否值得，可將已更新的文章放入實驗組，把類似但未動過的文章放入對照組，並以第一次更新上線的日期作為起始日。