Эксперименты: проверьте, повлияло ли SEO-изменение на ваш трафик

Раздел «Эксперименты» отвечает на вопрос, который возникает после любого SEO-изменения: оно сработало или сдвинулся весь сайт целиком? Вы задаёте тестовую группу (страницы, которые вы изменили), контрольную группу (похожие страницы, которые вы не трогали) и дату запуска. AutoPSEO сравнивает каждую группу после запуска с её же собственными 28 днями до запуска и проверяет, превышает ли разница между группами обычные колебания. Поскольку контрольная группа подвержена тем же сезонным эффектам, обновлениям Google и колебаниям спроса, такой подход изолирует эффект вашего изменения намного точнее, чем простое сравнение «до и после».

Создание эксперимента

Нажмите New и заполните поля:

• Name и Hypothesis: что вы изменили и чего ожидаете, например «Разметка FAQ на руководствах по продуктам повысит CTR на 10%».
• Start date: день, когда изменение вышло в продакшен. End date необязательна; если её не указать, эксперимент длится до последнего дня, за который есть данные.
• Metric: Clicks, Impressions, CTR или Position. Отчёт строится по всем четырём, но победителя определяет выбранная метрика.
• Treatment group и Control group: каждая задаётся как List of URLs (до 500 абсолютных URL) или как URL pattern (regex), например ^https://www.example.com/guides/.

Для работы с группами есть два быстрых способа. Upload a CSV with URL groups читает файл со столбцами url и group: первая группа в файле становится контрольной, вторая — тестовой. Auto-suggest groups загружает ваши самые посещаемые страницы за последние 28 дней и предлагает группы по первой папке в пути (учитывается любая папка, где не меньше трёх страниц) в виде готовых шаблонов.

Выбирайте контрольную группу, похожую на тестовую: тот же шаблон страниц, сопоставимый трафик, тот же тип поискового намерения. Распределяйте страницы по группам до того, как посмотрите результаты, а не после.

Как рассчитывается результат

1. Периоды. Базовый период — 28 дней до даты начала; период после запуска идёт от даты начала до даты окончания или до самого свежего дня с данными.
2. Индексация. Ежедневные значения каждой группы после запуска делятся на среднее дневное значение этой же группы до запуска, поэтому 1.0 означает «как раньше». Так небольшая тестовая группа и большая контрольная приводятся к одному масштабу.
3. Прирост. Относительный прирост — это средний индекс тестовой группы минус средний индекс контрольной: +0.12 означает, что тестовая группа выступила на 12 процентных пунктов лучше относительно собственного базового уровня.
4. Тест. t-критерий Уэлча сравнивает ежедневные индексированные значения двух групп без допущения о равенстве дисперсий и выдаёт p-значение, 95% доверительный интервал и d Коэна как меру величины эффекта (пренебрежимо малый — до 0.2, малый — до 0.5, средний — до 0.8, большой — от 0.8).
5. Победитель. Результат считается значимым, если p меньше 0.05; тогда Winner — это тестовая или контрольная группа (для позиции лучше меньшее значение). В противном случае результат — Inconclusive.
6. Кумулятивная разница. По каждому дню с момента запуска AutoPSEO суммирует разность между фактическим значением тестовой группы и тем, каким оно было бы, если бы она следовала за контрольной (её среднее значение до запуска × индекс контрольной группы): это дополнительные клики или другая выбранная вами метрика, которые принесло изменение.

В блоке Statistical Test Results также показан Minimum detectable effect — примерно 2.8 стандартной ошибки разности: наименьший прирост, который этот эксперимент способен надёжно выявить при мощности 80%. Если результат не значим, сопоставьте ожидаемый эффект с этим значением, прежде чем делать вывод, что изменение ничего не дало.

Как читать результаты

Откройте эксперимент из списка, чтобы увидеть Relative uplift, изменение каждой группы по сравнению с её периодом до запуска, p-value и Winner. На графиках показаны ежедневный индекс обеих групп с отметкой запуска и кумулятивная разница с момента запуска. Таблицы разбивают результат по группам, по метрикам (с доверительными интервалами), по страницам (300 страниц с наибольшим объёмом после запуска) и по дням. Когда закончите, отметьте эксперимент как completed: он останется в списке вместе с результатами.

Когда результату можно доверять

Страница предупреждает вас, если:

• с момента запуска прошло меньше 14 дней;
• доступно меньше 14 дней до запуска;
• при выборе кликов или показов в качестве метрики одна из групп набирала в среднем меньше 5 в день до запуска, и тогда преобладают дневные колебания;
• у группы вообще не было трафика до запуска, поэтому её изменение невозможно измерить.

Даже значимый результат остаётся наблюдательным, а не рандомизированным испытанием: другое изменение, выкаченное на одну из групп, или обновление ранжирования, по-разному затронувшее два шаблона, может сымитировать ваш эффект. Ведите аннотацию с датой запуска и всем остальным, что происходило во время теста.

Тестирование без проблем с Google

Этот отчёт сравнивает группы реальных страниц, поэтому показывать Google разные варианты не нужно. Если же вы проводите A/B-тест с отдельными URL для вариантов, Google просит не показывать Googlebot иной контент, чем пользователям, указывать на оригинал через rel="canonical", использовать временные (302) редиректы и завершать тест, как только получен результат (рекомендации по A/B-тестированию для Поиска).

Чем помогает AutoPSEO

Задачи обновления и оптимизации в контентном движке изменяют по одной странице за раз (поддержание статей в актуальном состоянии). Чтобы оценить, окупаются ли эти изменения, поместите обновлённые статьи в тестовую группу, похожие нетронутые статьи — в контрольную, а в качестве даты начала возьмите день, когда вышло первое обновление.