Kísérletezés: teszteld, hogy egy SEO-változtatás mozgatta-e a forgalmadat

A kísérletezés arra a kérdésre ad választ, amelyet minden SEO-változtatás felvet: működött, vagy az egész oldal forgalma elmozdult? Meghatározol egy kezelt csoportot (a módosított oldalak), egy kontrollcsoportot (hasonló, érintetlenül hagyott oldalak) és egy indítási dátumot. Az AutoPSEO mindkét csoportot az indítás utáni időszakban a saját megelőző 28 napjához hasonlítja, majd megvizsgálja, hogy a köztük lévő különbség meghaladja-e a mindennapi zajt. Mivel a kontrollcsoportra ugyanaz a szezonalitás, ugyanazok a Google-frissítések és keresletingadozások hatnak, ez a módszer a puszta előtte-utána összehasonlításnál sokkal jobban elkülöníti a változtatásod hatását.

Kísérlet létrehozása

Nyomd meg az Új gombot, és töltsd ki a következőket:

• Név és Hipotézis: mit változtattál, és mit vársz tőle, például: "FAQ séma a termékismertetőkön 10%-kal növeli a CTR-t".
• Kezdő dátum: a változtatás élesítésének napja. A Befejező dátum nem kötelező; ha nem adod meg, a kísérlet a legutóbbi adattal rendelkező napig tart.
• Mérőszám: Kattintások, Megjelenések, CTR vagy Pozíció. Mind a négyet megjelenítjük; ez dönti el a nyertest.
• Kezelt csoport és Kontrollcsoport: mindkettő lehet URL-lista (legfeljebb 500 abszolút URL) vagy URL-minta (regex), például ^https://www.example.com/guides/.

A csoportok megadását két gyorsítás segíti. A CSV feltöltése URL-csoportokkal egy url és group oszlopot tartalmazó fájlt olvas be; a fájlban szereplő első csoport lesz a kontroll, a második a kezelt csoport. Az Automatikus csoportjavaslat betölti az elmúlt 28 nap legnépszerűbb oldalait, és az első mappa szerint csoportokat javasol (minden legalább három oldalt tartalmazó mappából), amelyek mintaként azonnal használhatók.

Olyan kontrollcsoportot válassz, amely hasonlít a kezelt csoporthoz: ugyanaz a sablon, hasonló forgalom, azonos jellegű keresési szándék. Az oldalakat az eredmények megtekintése előtt oszd be a csoportokba, ne utána.

Hogyan számítjuk ki az eredményt

1. Időszakok. Az előzetes időszak a kezdő dátum előtti 28 nap; az utólagos időszak a kezdő dátumtól a befejező dátumig, illetve a legfrissebb elérhető napig tart.
2. Indexálás. Az egyes csoportok indítás utáni napi értékeit elosztjuk az adott csoport indítás előtti átlagos napi értékével, így az 1,0 azt jelenti: "ugyanannyi, mint korábban". Ezzel a kis kezelt csoport és a nagy kontrollcsoport azonos skálára kerül.
3. Növekedés. A relatív növekedés a kezelt csoport átlagos indexe mínusz a kontrollcsoporté: a +0,12 azt jelenti, hogy a kezelt csoport a saját kiindulási szintjéhez képest 12 százalékponttal teljesített jobban.
4. Próba. A Welch-féle t-próba egyenlő szórás feltételezése nélkül hasonlítja össze a két csoport napi indexált értékeit, és p-értéket, 95%-os konfidenciaintervallumot, valamint hatásméretként Cohen d értékét adja (elhanyagolható 0,2 alatt, kicsi 0,5 alatt, közepes 0,8 alatt, nagy 0,8-tól).
5. Nyertes. Az eredmény akkor szignifikáns, ha p kisebb, mint 0,05; ilyenkor a Nyertes a kezelt vagy a kontrollcsoport (a pozíciónál az alacsonyabb érték a jobb). Ellenkező esetben az eredmény Nem egyértelmű.
6. Kumulatív különbség. Az indítás óta eltelt napokon AutoPSEO napról napra összegzi a kezelt csoport tényleges értéke és annak az értéknek a különbségét, amelyet akkor kapott volna, ha a kontrollcsoportot követi (indítás előtti átlag × a kontrollcsoport indexe): vagyis azt a többletkattintást, vagy az általad választott mérőszám bármely más többletét, amelyet a változtatás hozott.

A Statisztikai próba eredményei a Minimálisan kimutatható hatást is megmutatják, amely a különbség standard hibájának nagyjából 2,8-szorosa: ez a legkisebb növekedés, amelyet a kísérlet 80%-os próbaerővel megbízhatóan ki tud mutatni. Ha egy eredmény nem szignifikáns, vesd össze a várt hatást ezzel az értékkel, mielőtt arra jutnál, hogy a változtatás nem hozott semmit.

Az eredmények értelmezése

Nyiss meg egy kísérletet a listából, hogy lásd a Relatív növekedést, az egyes csoportok változását az indítás előtti időszakhoz képest, a p-értéket és a Nyertest. A diagramok a két csoport napi indexét mutatják az indítás jelölésével, valamint az indítás óta felhalmozott kumulatív különbséget. A táblázatok csoportonkénti, mérőszámonkénti (konfidenciaintervallumokkal), oldalankénti (az indítás utáni legnagyobb forgalmú 300 oldal) és napi bontásban mutatják az eredményt. Ha végeztél, jelöld a kísérletet befejezettnek; az eredményeivel együtt a listában marad.

Mikor bízhatsz az eredményben

Az oldal figyelmeztet, ha:

• az indítás óta kevesebb mint 14 nap telt el;
• kevesebb mint 14 indítás előtti nap áll rendelkezésre;
• kattintásokat vagy megjelenéseket választottál mérőszámnak, és valamelyik csoport az indítás előtt naponta átlagosan 5-nél kevesebbet ért el, így a napi ingadozás uralja az eredményt;
• valamelyik csoportnak az indítás előtt egyáltalán nem volt forgalma, így a változása nem mérhető.

Még egy szignifikáns eredmény is megfigyelésen alapul, nem randomizált vizsgálaton: ha az egyik csoporton másik változtatást is életbe léptettek, vagy egy rangsorolási frissítés a két sablont eltérően érintette, az a te hatásodnak tűnhet. Rögzíts egy megjegyzést az indításról és minden másról, ami a teszt alatt történt.

Tesztelés a Google bosszantása nélkül

Ez a jelentés valódi oldalak csoportjait hasonlítja össze, ezért nem kell változatokat kiszolgálnod a Google számára. Ha mégis A/B tesztet futtatsz változat-URL-ekkel, a Google azt kéri, hogy ne mutass a Googlebotnak más tartalmat, mint a felhasználóknak, a változatokat rel="canonical" segítségével az eredeti oldalra irányítsd, ideiglenes (302) átirányításokat használj, és a tesztet fejezd be, amint megvan az eredmény (A/B testing best practices for Search).

Hogyan segít az AutoPSEO

A tartalommotor frissítési és optimalizálási feladatai egyszerre egy oldalt módosítanak (a cikkek frissen tartása). Hogy megítéld, megtérülnek-e ezek a változtatások, tedd a frissített cikkeket a kezelt csoportba, a hasonló, érintetlen cikkeket a kontrollcsoportba, kezdő dátumnak pedig add meg az első frissítés élesítésének napját.