Eksperymenty: sprawdź, czy zmiana SEO wpłynęła na Twój ruch

Eksperymenty odpowiadają na pytanie, które pojawia się przy każdej zmianie SEO: czy to zadziałało, czy po prostu zmienił się ruch w całym serwisie? Definiujesz grupę testową (strony, które zmieniłeś), grupę kontrolną (podobne strony, których nie ruszałeś) oraz datę wdrożenia. AutoPSEO porównuje każdą z grup po wdrożeniu z jej własnymi 28 dniami sprzed wdrożenia i sprawdza, czy różnica między nimi przewyższa zwykły szum. Ponieważ grupa kontrolna podlega tej samej sezonowości, aktualizacjom Google i wahaniom popytu, ta metoda znacznie lepiej izoluje efekt Twojej zmiany niż proste porównanie „przed i po".

Tworzenie eksperymentu

Kliknij New i uzupełnij pola:

• Name i Hypothesis: co zmieniłeś i czego oczekujesz, na przykład „Dane strukturalne FAQ na poradnikach produktowych zwiększą CTR o 10%".
• Start date: dzień, w którym zmiana trafiła na produkcję. End date jest opcjonalna; jeśli jej nie podasz, eksperyment trwa do ostatniego dnia, dla którego są dane.
• Metric: Clicks, Impressions, CTR lub Position. Raportowane są wszystkie cztery, ale ta wybrana decyduje o zwycięzcy.
• Treatment group i Control group: każda z nich to List of URLs (do 500 bezwzględnych adresów URL) albo URL pattern (regex), na przykład ^https://www.example.com/guides/.

Przy tworzeniu grup pomogą dwa skróty. Upload a CSV with URL groups wczytuje plik z kolumnami url i group; pierwsza grupa w pliku staje się grupą kontrolną, a druga testową. Auto-suggest groups pobiera Twoje najpopularniejsze strony z ostatnich 28 dni i proponuje grupy według pierwszego katalogu (każdy katalog z co najmniej trzema stronami), gotowe do użycia jako wzorce.

Wybierz grupę kontrolną podobną do testowej: ten sam szablon, zbliżony ruch, ten sam rodzaj intencji wyszukiwania. Przypisz strony do grup, zanim obejrzysz wyniki, a nie po ich obejrzeniu.

Jak obliczany jest wynik

1. Okna czasowe. Okres przed zmianą to 28 dni poprzedzających datę rozpoczęcia; okres po zmianie trwa od daty rozpoczęcia do daty zakończenia albo do najnowszego dostępnego dnia.
2. Indeksowanie. Dzienne wartości każdej grupy po wdrożeniu są dzielone przez średnią dzienną tej samej grupy sprzed wdrożenia, więc 1.0 oznacza „tyle samo co wcześniej". Dzięki temu mała grupa testowa i duża grupa kontrolna znajdują się na tej samej skali.
3. Uplift. Względny uplift to średni indeks grupy testowej minus średni indeks grupy kontrolnej: +0.12 oznacza, że grupa testowa wypadła o 12 punktów procentowych lepiej względem własnego poziomu bazowego.
4. Test. Test t Welcha porównuje dzienne wartości indeksowane obu grup bez zakładania równych wariancji. Wynikiem są wartość p, 95-procentowy przedział ufności oraz d Cohena jako miara wielkości efektu (pomijalny poniżej 0.2, mały poniżej 0.5, średni poniżej 0.8, duży od 0.8).
5. Zwycięzca. Wynik jest istotny, gdy p jest mniejsze niż 0.05; Winner to wtedy grupa testowa albo kontrolna (dla pozycji lepsza jest niższa wartość). W przeciwnym razie wynik jest Inconclusive.
6. Różnica skumulowana. Dzień po dniu od wdrożenia AutoPSEO sumuje rzeczywistą wartość grupy testowej minus wartość, jaką miałaby, gdyby podążała za grupą kontrolną (jej średnia sprzed wdrożenia × indeks grupy kontrolnej). Jest to dodatkowa liczba kliknięć albo innej wybranej metryki, którą przyniosła zmiana.

W sekcji Statistical Test Results widoczny jest także Minimum detectable effect, czyli około 2.8 błędu standardowego różnicy: najmniejszy uplift, jaki ten eksperyment potrafi wiarygodnie wykryć przy mocy testu 80%. Jeśli wynik nie jest istotny, porównaj oczekiwany efekt z tą wartością, zanim uznasz, że zmiana nic nie dała.

Odczytywanie wyników

Otwórz eksperyment z listy, aby zobaczyć Relative uplift, zmianę każdej z grup względem okresu sprzed wdrożenia, p-value i Winner. Wykresy pokazują dzienny indeks obu grup z zaznaczonym momentem wdrożenia oraz różnicę skumulowaną od wdrożenia. Tabele przedstawiają wynik w podziale na grupy, na metryki (z przedziałami ufności), na strony (300 stron o największym wolumenie po wdrożeniu) i na dni. Gdy skończysz, oznacz eksperyment jako completed; pozostanie na liście razem z wynikami.

Kiedy można ufać wynikowi

Strona ostrzega, gdy:

• od wdrożenia minęło mniej niż 14 dni;
• dostępnych jest mniej niż 14 dni sprzed wdrożenia;
• dla metryki kliknięć lub wyświetleń któraś z grup miała przed wdrożeniem średnio mniej niż 5 dziennie, przez co dominuje szum dzień do dnia;
• któraś z grup nie miała przed wdrożeniem żadnego ruchu, więc nie da się zmierzyć jej zmiany.

Nawet istotny wynik jest obserwacyjny, a nie z randomizowanej próby: inna zmiana wdrożona w jednej z grup albo aktualizacja rankingu, która inaczej dotknęła oba szablony, może uchodzić za Twój efekt. Zapisz w adnotacji datę wdrożenia oraz wszystko inne, co wydarzyło się w trakcie testu.

Testowanie bez narażania się Google

Ten raport porównuje grupy rzeczywistych stron, więc nie musisz serwować Google żadnych wariantów. Jeśli jednak prowadzisz test A/B z osobnymi adresami URL wariantów, Google zaleca, aby nie pokazywać Googlebotowi innej treści niż użytkownikom, wskazywać oryginał w wariantach przez rel="canonical", używać przekierowań tymczasowych (302) i zakończyć test, gdy tylko uzyskasz wynik (A/B testing best practices for Search).

Jak pomaga AutoPSEO

Zadania odświeżania i optymalizacji w silniku treści zmieniają jedną stronę naraz (utrzymywanie aktualności artykułów). Aby ocenić, czy te zmiany się opłacają, umieść odświeżone artykuły w grupie testowej, podobne nietknięte artykuły w grupie kontrolnej i użyj daty, w której wdrożono pierwsze odświeżenie.