実験機能:SEO 施策がトラフィックを動かしたかを検証する

実験機能は、SEO の変更を行うたびに生じる「効果はあったのか、それともサイト全体が動いただけなのか」という疑問に答えます。トリートメント群(変更したページ)、コントロール群(変更せずに残した類似ページ)、そして公開日を定義すると、AutoPSEO は公開後の各グループを、それぞれの公開前 28 日間と比較し、グループ間の差が日常的な変動を上回るかどうかを検定します。コントロール群は季節性、Google のアップデート、需要の変動を共有しているため、単純な前後比較よりもはるかに正確に、変更そのものの効果を切り分けられます。

実験を作成する

New を押して、次の項目を入力します。

• Name と Hypothesis:何を変更し、何を期待するか。例:「商品ガイドに FAQ スキーマを追加すると CTR が 10% 向上する」。
• Start date:変更が公開された日。End date は任意で、指定しない場合は、データのある最新の日まで実験が続きます。
• Metric:Clicks、Impressions、CTR、Position のいずれか。4 つすべてが報告され、勝者の判定にはここで選んだ指標が使われます。
• Treatment group と Control group:それぞれ List of URLs(絶対 URL を最大 500 件)または URL pattern (regex)(例:^https://www.example.com/guides/)で指定します。

グループの指定には 2 つの近道があります。Upload a CSV with URL groups は url 列と group 列を持つファイルを読み込み、ファイル内で最初のグループがコントロール、2 番目のグループがトリートメントになります。Auto-suggest groups は直近 28 日間の上位ページを読み込み、最初のフォルダ単位(ページが 3 件以上あるフォルダ)でグループを提案します。そのままパターンとして使えます。

コントロール群には、トリートメント群と似たページを選んでください。テンプレートが同じで、トラフィックが近く、検索意図の種類も同じものが理想です。ページのグループへの割り当ては、結果を見る前に行い、見た後には行わないようにしてください。

結果の算出方法

1. 期間。 実施前の期間は開始日の前 28 日間、実施後の期間は開始日から終了日(または利用可能な最新日)までです。
2. 指数化。 公開後の各グループの日次の値を、そのグループ自身の公開前の 1 日あたり平均で割ります。1.0 は「施策前と同じ」を意味します。これにより、小さなトリートメント群と大きなコントロール群を同じスケールで比較できます。
3. アップリフト。 相対アップリフトは、トリートメント群の平均指数からコントロール群の平均指数を引いた値です。+0.12 は、トリートメント群が自身のベースラインに対して 12 ポイント上回ったことを表します。
4. 検定。 Welch の t 検定で、等分散を仮定せずに 2 つのグループの日次の指数値を比較し、p 値、95% 信頼区間、効果量としての Cohen の d を算出します(0.2 未満は無視できる程度、0.5 未満は小、0.8 未満は中、0.8 以上は大)。
5. 勝者。 p が 0.05 未満であれば有意とみなされ、Winner はトリートメント群またはコントロール群になります(Position では値が小さいほど良好です)。それ以外の場合は Inconclusive となります。
6. 累積差分。 公開後の日ごとに、トリートメント群の実測値から、コントロール群の動きに従っていた場合の値(公開前の平均 × コントロール群の指数)を引いた差を積み上げます。これが、その変更によって生まれた追加のクリック数(または選択した指標の増分)です。

Statistical Test Results には Minimum detectable effect(最小検出効果)も表示されます。これは差の標準誤差の約 2.8 倍に相当し、検出力 80% でこの実験が確実に検出できる最小のアップリフトを示します。結果が有意でない場合は、変更に効果がなかったと結論づける前に、期待していた効果をこの値と比較してください。

結果の見方

一覧から実験を開くと、Relative uplift、公開前の期間に対する各グループの変化、p-value、Winner が表示されます。グラフには、公開日を示した両グループの日次指数と、公開後の累積差分が表示されます。表では、グループ別、信頼区間つきの指標別、ページ別(公開後のボリュームが多い上位 300 ページ)、日別に結果を確認できます。実験が終了したら completed にしてください。結果とともに一覧に残ります。

結果を信頼してよい条件

次の場合、ページに警告が表示されます。

• 公開から 14 日未満である。
• 公開前のデータが 14 日分に満たない。
• 指標がクリック数またはインプレッション数で、公開前にどちらかのグループの 1 日あたり平均が 5 未満だった(日ごとの変動が支配的になるため)。
• 公開前にトラフィックがまったくないグループがあり、変化を測定できない。

有意な結果であっても、それは無作為化試験ではなく観察に基づくものです。一方のグループに別の変更が加えられた場合や、2 つのテンプレートに異なる影響を与えるランキングのアップデートがあった場合、それらが施策の効果に見えてしまうことがあります。公開日と、テスト期間中に起きたその他の出来事は、アノテーションに記録しておきましょう。

Google に不利益を与えずにテストする

このレポートは実在するページ群を比較するため、Google にバリエーションを配信する必要はありません。バリエーション用の URL を使って A/B テストを行う場合、Google は、Googlebot にユーザーと異なるコンテンツを表示しないこと、バリエーションの canonical を rel="canonical" で元のページに向けること、一時的(302)リダイレクトを使うこと、結果が出たらテストを終了することを求めています(A/B testing best practices for Search)。

AutoPSEO の活用

コンテンツエンジンのリフレッシュ(更新)タスクと最適化タスクは、1 ページずつ変更を加えます(記事を最新の状態に保つ)。これらの変更が成果につながっているかを判断するには、更新した記事をトリートメント群に、手を加えていない類似記事をコントロール群に入れ、最初の更新が公開された日を開始日として使用します。