Експериментування: перевірте, чи змінила SEO-правка ваш трафік

Експериментування відповідає на питання, яке виникає після кожної SEO-правки: спрацювало це чи змінився весь сайт? Ви визначаєте експериментальну групу (сторінки, які ви змінили), контрольну групу (схожі сторінки, які ви не чіпали) та дату запуску. AutoPSEO порівнює кожну групу після запуску з її власними 28 днями до нього та перевіряє, чи перевищує розрив між ними звичайний шум. Оскільки контрольна група має ті самі сезонні коливання, оновлення Google і зміни попиту, цей підхід відокремлює вплив вашої правки значно краще, ніж просте порівняння «до і після».

Створення експерименту

Натисніть New і заповніть поля:

• Name і Hypothesis: що ви змінили та чого очікуєте, наприклад «FAQ-розмітка на гайдах про товари збільшить CTR на 10%».
• Start date: день, коли зміна пішла в роботу. End date необов'язкова; без неї експеримент триває до останнього дня, за який є дані.
• Metric: Clicks, Impressions, CTR або Position. Звіт показує всі чотири, але переможця визначає саме ця метрика.
• Treatment group і Control group: кожна задається як List of URLs (до 500 абсолютних URL) або URL pattern (regex), наприклад ^https://www.example.com/guides/.

Для груп є два швидкі шляхи. Upload a CSV with URL groups зчитує файл зі стовпцями url і group; перша група у файлі стає контрольною, друга — експериментальною. Auto-suggest groups завантажує ваші топові сторінки за останні 28 днів і пропонує групи за першою папкою (будь-яка папка щонайменше з трьома сторінками), готові до використання як шаблони.

Обирайте контрольну групу, схожу на експериментальну: той самий шаблон, подібний трафік, той самий тип пошукового наміру. Розподіляйте сторінки по групах до перегляду результатів, а не після.

Як обчислюється результат

1. Вікна. Період до — це 28 днів перед датою початку; період після триває від дати початку до дати завершення або до найновішого доступного дня.
2. Індексація. Щоденні значення кожної групи після запуску ділляться на середнє значення за день цієї самої групи до запуску, тож 1.0 означає «як раніше». Так невелика експериментальна група і велика контрольна опиняються в одному масштабі.
3. Приріст. Відносний приріст — це середній індекс експериментальної групи мінус середній індекс контрольної: +0.12 означає, що експериментальна група показала результат на 12 відсоткових пунктів кращий відносно власної базової лінії.
4. Тест. t-тест Велча порівнює щоденні індексовані значення двох груп без припущення про рівність дисперсій і дає p-значення, 95% довірчий інтервал та d Коена як розмір ефекту (незначний — до 0.2, малий — до 0.5, середній — до 0.8, великий — від 0.8).
5. Переможець. Результат вважається значущим, коли p менше за 0.05; тоді Winner — це експериментальна або контрольна група (для позиції менше значення краще). В іншому разі результат — Inconclusive.
6. Кумулятивна різниця. Для кожного дня після запуску AutoPSEO підсумовує фактичне значення експериментальної групи мінус те, яким воно було б, якби група рухалася разом із контрольною (її середнє до запуску × індекс контрольної групи): це додаткові кліки або інша обрана вами метрика, які принесла зміна.

У Statistical Test Results також показано Minimum detectable effect — приблизно 2.8 стандартної похибки різниці: найменший приріст, який цей експеримент здатен надійно виявити з потужністю 80%. Якщо результат не значущий, порівняйте очікуваний ефект із цим значенням, перш ніж робити висновок, що зміна нічого не дала.

Читання результатів

Відкрийте експеримент зі списку, щоб побачити Relative uplift, зміну кожної групи порівняно з періодом до запуску, p-value і Winner. Графіки показують щоденний індекс обох груп із позначеним запуском та кумулятивну різницю від запуску. Таблиці деталізують результат за групами, за метриками з довірчими інтервалами, за сторінками (300 сторінок із найбільшим обсягом після запуску) і за днями. Позначте експеримент як completed, коли закінчите; він залишиться у списку разом зі своїми результатами.

Коли довіряти результату

Сторінка попереджає вас, якщо:

• від запуску минуло менше 14 днів;
• доступно менше 14 днів до запуску;
• для кліків або показів обрано метрикою, а будь-яка з груп до запуску мала в середньому менше 5 на день, тому щоденний шум переважає;
• група взагалі не мала трафіку до запуску, тому її зміну неможливо виміряти.

Навіть значущий результат є спостережним, а не рандомізованим дослідженням: інша зміна, випущена для однієї з груп, або оновлення ранжування, яке по-різному вплинуло на два шаблони, можуть видаватися за ваш ефект. Зберігайте анотацію про запуск і про все інше, що відбувалося під час тесту.

Тестування без конфлікту з Google

Цей звіт порівнює групи реальних сторінок, тож вам не потрібно показувати Google різні варіанти. Якщо ви все ж проводите A/B-тест із окремими URL для варіантів, Google просить не показувати Googlebot інший вміст, ніж користувачам, вказувати для варіантів rel="canonical" на оригінал, використовувати тимчасові (302) перенаправлення та завершувати тест, щойно отримано результат (A/B testing best practices for Search).

Як допомагає AutoPSEO

Завдання контент-рушія з оновлення та оптимізації змінюють по одній сторінці (підтримання статей актуальними). Щоб оцінити, чи виправдовують ці зміни себе, помістіть оновлені статті в експериментальну групу, схожі неторкнуті статті — в контрольну, а датою початку вкажіть день, коли пішло в роботу перше оновлення.