Eksperimentasyon: subukin kung binago ng isang pagbabago sa SEO ang iyong traffic

Sinasagot ng Eksperimentasyon ang tanong na bumabangon sa bawat pagbabago sa SEO: gumana ba ito, o gumalaw ang buong site? Magtatakda ka ng treatment group (mga pahinang binago mo), isang control group (mga katulad na pahinang hindi ginalaw) at isang petsa ng paglulunsad. Inihahambing ng AutoPSEO ang bawat grupo pagkatapos ng paglulunsad sa sarili nitong 28 araw bago ang paglulunsad, at sinusubok kung lumalampas ba sa karaniwang ingay ang agwat ng dalawa. Dahil pareho ang seasonality, mga update ng Google at pagbabago sa demand na nararanasan ng control, mas malinaw nitong nahihiwalay ang epekto ng iyong pagbabago kaysa sa simpleng paghahambing ng bago at pagkatapos.

Gumawa ng eksperimento

Pindutin ang New at punan ang mga sumusunod:

• Name at Hypothesis: kung ano ang binago mo at kung ano ang inaasahan mo, halimbawa "Ang FAQ schema sa mga product guide ay magpapataas ng CTR nang 10%".
• Start date: ang araw na ipinatupad ang pagbabago. Opsyonal ang End date; kung wala ito, tatakbo ang eksperimento hanggang sa pinakahuling araw na may data.
• Metric: Clicks, Impressions, CTR o Position. Iuulat ang lahat ng apat; ang napili rito ang magpapasya sa nanalo.
• Treatment group at Control group: bawat isa ay isang List of URLs (hanggang 500 absolute URL) o isang URL pattern (regex), tulad ng ^https://www.example.com/guides/.

May dalawang shortcut para sa mga grupo. Binabasa ng Upload a CSV with URL groups ang file na may mga column na url at group; ang unang grupo sa file ang magiging control at ang pangalawa ang treatment. Kinukuha ng Auto-suggest groups ang iyong mga nangungunang pahina sa nakaraang 28 araw at nagmumungkahi ng mga grupo ayon sa unang folder (anumang folder na may hindi bababa sa tatlong pahina), na handa nang gamitin bilang mga pattern.

Pumili ng control group na kahawig ng treatment: parehong template, katulad na traffic, at parehong uri ng search intent. Ilagay ang mga pahina sa mga grupo bago mo tingnan ang mga resulta, hindi pagkatapos.

Paano kinakalkula ang resulta

1. Mga window. Ang pre-period ay ang 28 araw bago ang start date; ang post-period ay mula sa start date hanggang sa end date o sa pinakabagong araw na available.
2. Indexing. Hinahati ang pang-araw-araw na halaga ng bawat grupo pagkatapos ng paglulunsad sa average na araw ng parehong grupo bago ang paglulunsad, kaya ang 1.0 ay nangangahulugang "kapareho ng dati". Inilalagay nito sa iisang sukatan ang maliit na treatment group at ang malaking control group.
3. Uplift. Ang relative uplift ay ang average index ng treatment bawas ang sa control: ang +0.12 ay nangangahulugang 12 percentage point na mas mahusay ang naging resulta ng treatment kumpara sa sarili nitong baseline.
4. Test. Inihahambing ng Welch's t-test ang mga indexed na pang-araw-araw na halaga ng dalawang grupo nang hindi ipinapalagay na pantay ang variance, at nagbibigay ng p-value, 95% confidence interval at Cohen's d bilang sukat ng epekto (bale-wala kung wala pang 0.2, maliit kung wala pang 0.5, katamtaman kung wala pang 0.8, malaki kung 0.8 pataas).
5. Nanalo. Itinuturing na significant ang resulta kapag mas mababa sa 0.05 ang p; ang Winner ay ang treatment o ang control (para sa position, mas mainam ang mas mababa). Kung hindi, Inconclusive ito.
6. Cumulative difference. Araw-araw mula sa paglulunsad, kinukuwenta ng AutoPSEO ang kabuuan ng aktuwal na halaga ng treatment bawas ang magiging halaga nito kung sinunod nito ang control (ang pre-launch average nito × ang index ng control): ang dagdag na clicks, o alinmang metric ang pinili mo, na likha ng pagbabago.

Ipinapakita rin ng Statistical Test Results ang Minimum detectable effect, humigit-kumulang 2.8 standard error ng pagkakaiba: ang pinakamaliit na uplift na kayang matukoy nang maaasahan ng eksperimentong ito sa 80% power. Kapag hindi significant ang resulta, ihambing ang inaasahan mong epekto rito bago magpasyang walang naidulot ang pagbabago.

Basahin ang mga resulta

Magbukas ng eksperimento mula sa listahan para makita ang Relative uplift, ang pagbabago ng bawat grupo kumpara sa pre-launch period nito, ang p-value at ang Winner. Ipinapakita ng mga chart ang pang-araw-araw na index ng parehong grupo na may marka ang paglulunsad, at ang cumulative difference mula sa paglulunsad. Hinahati ng mga talahanayan ang resulta ayon sa grupo, ayon sa metric na may mga confidence interval, ayon sa pahina (ang 300 pahinang may pinakamalaking volume pagkatapos ng paglulunsad) at ayon sa araw. Markahan ang eksperimento bilang completed kapag tapos ka na; mananatili ito sa listahan kasama ang mga resulta nito.

Kailan ito mapagkakatiwalaan

Nagbababala ang pahina kapag:

• wala pang 14 na araw ang lumilipas mula sa paglulunsad;
• wala pang 14 na pre-launch na araw ang available;
• kapag clicks o impressions ang metric, wala pang 5 kada araw ang average ng alinmang grupo bago ang paglulunsad, kaya ang ingay mula sa araw-araw na pagbabago ang nangingibabaw;
• walang anumang traffic ang isang grupo bago ang paglulunsad, kaya hindi masusukat ang pagbabago nito.

Kahit ang significant na resulta ay observational, hindi isang randomised trial: ang ibang pagbabagong inilunsad sa isang grupo, o isang ranking update na iba ang tama sa dalawang template, ay maaaring magmukhang epekto mo. Magtago ng annotation ng paglulunsad at ng anupamang nangyari habang tumatakbo ang test.

Pagsubok nang hindi ginagalit ang Google

Naghahambing ang ulat na ito ng mga grupo ng totoong pahina, kaya hindi mo kailangang maghain ng mga variant sa Google. Kung magpapatakbo ka ng A/B test na may mga variant URL, hinihiling ng Google na huwag mong ipakita sa Googlebot ang ibang nilalaman kaysa sa ipinapakita sa mga user, ituro ang mga variant sa orihinal gamit ang rel="canonical", gumamit ng pansamantalang (302) redirect, at tapusin ang test kapag nakuha mo na ang resulta (A/B testing best practices for Search).

Paano nakakatulong ang AutoPSEO

Isang pahina lang ang binabago ng mga gawain sa refresh at optimisation ng content engine sa bawat pagkakataon (pagpapanatiling sariwa ng mga artikulo). Para malaman kung sulit ang mga pagbabagong iyon, ilagay ang mga na-refresh na artikulo sa isang treatment group, ang mga katulad na artikulong hindi ginalaw sa control, at gamitin ang petsa kung kailan inilunsad ang unang refresh.