Experimenty: otestujte, zda změna v SEO pohnula vaším provozem

Experimenty odpovídají na otázku, kterou vyvolává každá změna v SEO: zabralo to, nebo se pohnul celý web? Definujete testovanou skupinu (stránky, které jste změnili), kontrolní skupinu (podobné stránky, které jste nechali beze změny) a datum spuštění. AutoPSEO porovná každou skupinu po spuštění s jejími vlastními 28 dny před spuštěním a otestuje, zda rozdíl mezi nimi převyšuje běžný šum. Protože kontrolní skupina sdílí sezónnost, aktualizace Google i výkyvy poptávky, izoluje se tak vaše změna mnohem lépe než prostým srovnáním před a po.

Vytvoření experimentu

Stiskněte New a vyplňte:

• Name a Hypothesis: co jste změnili a co očekáváte, například "FAQ schema na produktových návodech zvýší CTR o 10 %".
• Start date: den, kdy změna začala platit. End date je volitelné; bez něj experiment běží do posledního dne, za který jsou data.
• Metric: Clicks, Impressions, CTR nebo Position. Hlásí se všechny čtyři; tato metrika určuje vítěze.
• Treatment group a Control group: každá je buď List of URLs (až 500 absolutních URL), nebo URL pattern (regex), například ^https://www.example.com/guides/.

Při práci se skupinami pomohou dvě zkratky. Upload a CSV with URL groups načte soubor se sloupci url a group; první skupina v souboru se stane kontrolní a druhá testovanou. Auto-suggest groups načte vaše nejnavštěvovanější stránky za posledních 28 dnů a navrhne skupiny podle první složky (každá složka s alespoň třemi stránkami), připravené k použití jako vzory.

Zvolte kontrolní skupinu, která se podobá testované: stejná šablona, podobný provoz, stejný druh vyhledávacího záměru. Stránky do skupin přiřaďte předtím, než se podíváte na výsledky, ne potom.

Jak se výsledek počítá

1. Okna. Období před změnou tvoří 28 dnů před počátečním datem; období po změně trvá od počátečního data do koncového data nebo do nejnovějšího dostupného dne.
2. Indexace. Denní hodnoty každé skupiny po spuštění se vydělí průměrným dnem téže skupiny před spuštěním, takže 1,0 znamená "jako dřív". Díky tomu je malá testovaná skupina a velká kontrolní skupina na stejné škále.
3. Uplift. Relativní uplift je průměrný index testované skupiny minus průměrný index kontrolní skupiny: +0,12 znamená, že testovaná skupina si oproti vlastnímu výchozímu stavu vedla o 12 procentních bodů lépe.
4. Test. Welchův t-test porovná denní indexované hodnoty obou skupin bez předpokladu stejného rozptylu a vrátí p-hodnotu, 95% interval spolehlivosti a Cohenovo d jako velikost účinku (zanedbatelná pod 0,2, malá pod 0,5, střední pod 0,8, velká od 0,8).
5. Vítěz. Výsledek je významný, když je p pod 0,05; Winner je pak testovaná nebo kontrolní skupina (u pozice je lepší nižší hodnota). Jinak je výsledek Inconclusive.
6. Kumulativní rozdíl. AutoPSEO den po dni od spuštění sčítá skutečnou hodnotu testované skupiny minus hodnotu, jaká by byla, kdyby sledovala kontrolní skupinu (její průměr před spuštěním × index kontrolní skupiny): tedy kolik kliknutí navíc, případně jiné zvolené metriky, změna přinesla.

Statistical Test Results zobrazuje také Minimum detectable effect, tedy zhruba 2,8 směrodatné chyby rozdílu: nejmenší uplift, který tento experiment dokáže spolehlivě odhalit při síle testu 80 %. Pokud výsledek není významný, porovnejte před závěrem, že změna nic nepřinesla, svůj očekávaný efekt s touto hodnotou.

Čtení výsledků

Otevřete experiment ze seznamu a uvidíte Relative uplift, změnu každé skupiny oproti období před spuštěním, p-value a Winner. Grafy ukazují denní index obou skupin s vyznačeným spuštěním a kumulativní rozdíl od spuštění. Tabulky rozepisují výsledek podle skupiny, podle metriky s intervaly spolehlivosti, podle stránky (300 stránek s největším objemem po spuštění) a podle dne. Až skončíte, označte experiment jako completed; zůstane v seznamu i s výsledky.

Kdy výsledku věřit

Stránka vás upozorní, když:

• od spuštění uplynulo méně než 14 dnů;
• je k dispozici méně než 14 dnů před spuštěním;
• u metrik kliknutí nebo zobrazení některá skupina před spuštěním dosahovala v průměru méně než 5 denně, takže převládá denní šum;
• skupina před spuštěním neměla žádný provoz, takže její změnu nelze změřit.

I významný výsledek je pozorovací, nikoli randomizovaný pokus: jiná změna nasazená u jedné skupiny nebo aktualizace pořadí, která každou ze dvou šablon zasáhla jinak, se může tvářit jako váš efekt. Zaznamenejte si do anotace spuštění i vše ostatní, co se během testu stalo.

Testování bez zlobení Google

Tento report porovnává skupiny skutečných stránek, takže Google nemusíte podsouvat žádné varianty. Pokud A/B test s variantními URL provozujete, Google vás žádá, abyste Googlebotu nezobrazovali jiný obsah než uživatelům, varianty odkazovali na originál pomocí rel="canonical", používali dočasná přesměrování (302) a test ukončili, jakmile máte výsledek (A/B testing best practices for Search).

Jak pomáhá AutoPSEO

Úlohy obnovy a optimalizace v content engine mění vždy jednu stránku (udržování článků aktuálních). Chcete-li posoudit, zda se tyto změny vyplatí, dejte obnovené články do testované skupiny, podobné nedotčené články do kontrolní a jako datum použijte den, kdy byla spuštěna první obnova.