Experimenteren: toets of een SEO-wijziging je verkeer heeft verplaatst

Experimenteren beantwoordt de vraag die elke SEO-wijziging oproept: heeft het gewerkt, of is de hele site meegebewogen? Je definieert een testgroep (pagina's die je hebt aangepast), een controlegroep (vergelijkbare pagina's die je met rust liet) en een lanceerdatum. AutoPSEO vergelijkt elke groep na de lancering met de eigen 28 dagen daarvoor en toetst of het verschil tussen beide groepen groter is dan de gewone ruis. Omdat de controlegroep dezelfde seizoenspatronen, Google-updates en schommelingen in vraag meemaakt, isoleert dit je wijziging veel beter dan een eenvoudige voor-en-nameting.

Een experiment aanmaken

Klik op Nieuw en vul in:

• Naam en Hypothese: wat je hebt aangepast en wat je verwacht, bijvoorbeeld "FAQ-schema op productgidsen verhoogt de CTR met 10%".
• Startdatum: de dag waarop de wijziging live ging. De einddatum is optioneel; zonder einddatum loopt het experiment tot de laatste dag waarvoor data beschikbaar is.
• Metriek: Klikken, Vertoningen, CTR of Positie. Alle vier worden gerapporteerd; deze metriek bepaalt de winnaar.
• Testgroep en Controlegroep: elk een Lijst met URL's (maximaal 500 absolute URL's) of een URL-patroon (regex), zoals ^https://www.example.com/guides/.

Twee snelkoppelingen helpen bij het opstellen van groepen. Een CSV met URL-groepen uploaden leest een bestand met de kolommen url en group; de eerste groep in het bestand wordt de controlegroep en de tweede de testgroep. Groepen automatisch voorstellen laadt je best presterende pagina's van de afgelopen 28 dagen en stelt groepen voor op basis van de eerste map (elke map met minstens drie pagina's), direct bruikbaar als patroon.

Kies een controlegroep die lijkt op de testgroep: hetzelfde template, vergelijkbaar verkeer, dezelfde soort zoekintentie. Wijs pagina's aan de groepen toe voordat je de resultaten bekijkt, niet erna.

Hoe het resultaat wordt berekend

1. Perioden. De voorperiode is de 28 dagen vóór de startdatum; de naperiode loopt van de startdatum tot de einddatum of de nieuwste beschikbare dag.
2. Indexering. De dagwaarden van elke groep na de lancering worden gedeeld door het gemiddelde van die groep op een dag vóór de lancering, zodat 1,0 "zoals voorheen" betekent. Zo komen een kleine testgroep en een grote controlegroep op dezelfde schaal.
3. Uplift. De relatieve uplift is de gemiddelde index van de testgroep min die van de controlegroep: +0,12 betekent dat de testgroep ten opzichte van de eigen basislijn 12 procentpunten beter presteerde.
4. Toets. De t-toets van Welch vergelijkt de geïndexeerde dagwaarden van beide groepen zonder gelijke variantie aan te nemen. Het resultaat is een p-waarde, een betrouwbaarheidsinterval van 95% en Cohen's d als effectgrootte (verwaarloosbaar onder 0,2, klein onder 0,5, gemiddeld onder 0,8, groot vanaf 0,8).
5. Winnaar. Het resultaat is significant als p lager is dan 0,05; de winnaar is dan de testgroep of de controlegroep (bij positie is lager beter). Anders is het resultaat Onbeslist.
6. Cumulatief verschil. Dag voor dag sinds de lancering telt AutoPSEO op: de werkelijke waarde van de testgroep min wat die waarde zou zijn geweest als de testgroep de controlegroep had gevolgd (het gemiddelde vóór de lancering × de index van de controlegroep). Dat zijn de extra klikken, of welke metriek je ook koos, die de wijziging heeft opgeleverd.

Resultaten statistische toets toont ook het minimaal detecteerbare effect, ongeveer 2,8 standaardfouten van het verschil: de kleinste uplift die dit experiment bij 80% power betrouwbaar kan aantonen. Vergelijk bij een niet-significant resultaat je verwachte effect hiermee voordat je concludeert dat de wijziging niets deed.

De resultaten lezen

Open een experiment uit de lijst om de relatieve uplift te zien, de verandering van elke groep ten opzichte van de eigen voorperiode, de p-waarde en de winnaar. De grafieken tonen de dagelijkse index van beide groepen met de lancering gemarkeerd, en het cumulatieve verschil sinds de lancering. Tabellen splitsen het resultaat uit per groep, per metriek met betrouwbaarheidsintervallen, per pagina (de 300 pagina's met het meeste volume na de lancering) en per dag. Markeer een experiment als afgerond wanneer je klaar bent; het blijft met de resultaten in de lijst staan.

Wanneer je het kunt vertrouwen

De pagina waarschuwt je wanneer:

• er minder dan 14 dagen zijn verstreken sinds de lancering;
• er minder dan 14 dagen vóór de lancering beschikbaar zijn;
• bij klikken of vertoningen als metriek een van beide groepen vóór de lancering gemiddeld minder dan 5 per dag had, waardoor de dagelijkse ruis overheerst;
• een groep vóór de lancering helemaal geen verkeer had, waardoor de verandering niet te meten is.

Ook een significant resultaat is observationeel en geen gerandomiseerde proef: een andere wijziging die bij één groep is doorgevoerd, of een rankingupdate die de twee templates verschillend raakte, kan zich voordoen als jouw effect. Leg de lancering vast in een annotatie, samen met al het andere dat tijdens de test is gebeurd.

Testen zonder Google te storen

Dit rapport vergelijkt groepen echte pagina's, dus je hoeft geen varianten aan Google te serveren. Voer je toch een A/B-test uit met variant-URL's, dan vraagt Google je om Googlebot niet andere inhoud te tonen dan gebruikers, varianten met rel="canonical" naar het origineel te laten verwijzen, tijdelijke (302) redirects te gebruiken en de test te beëindigen zodra je een resultaat hebt (A/B testing best practices for Search).

Zo helpt AutoPSEO

De vernieuwings- en optimalisatietaken van de contentengine wijzigen telkens één pagina (artikelen actueel houden). Om te beoordelen of die wijzigingen lonen, zet je de vernieuwde artikelen in een testgroep en vergelijkbare onaangeroerde artikelen in de controlegroep, en gebruik je de datum waarop de eerste vernieuwing live ging.