दस्तावेज़ीकरण

एक्सपेरिमेंटेशन: जाँचें कि SEO बदलाव से आपका ट्रैफ़िक बदला या नहीं

जिन पेजों में आपने बदलाव किया और एक कंट्रोल ग्रुप की तुलना लॉन्च से पहले और बाद में करें। साथ में अपलिफ़्ट का अनुमान, Welch t-test और कॉन्फ़िडेंस इंटरवल मिलता है।

प्रॉपर्टी → एडवांस्ड → प्रयोग5 मिनट में पढ़ें

हर SEO बदलाव के बाद एक ही सवाल उठता है: बदलाव काम आया, या पूरी साइट ही ऊपर-नीचे हुई? एक्सपेरिमेंटेशन इसी सवाल का जवाब देता है। आप एक ट्रीटमेंट ग्रुप (जिन पेजों में आपने बदलाव किया), एक कंट्रोल ग्रुप (मिलते-जुलते पेज, जिन्हें आपने नहीं छुआ) और लॉन्च की तारीख तय करते हैं। AutoPSEO हर ग्रुप के लॉन्च के बाद के आँकड़ों की तुलना उसी ग्रुप के पिछले 28 दिनों से करता है, और जाँचता है कि दोनों ग्रुप के बीच का अंतर रोज़मर्रा के उतार-चढ़ाव से बड़ा है या नहीं। कंट्रोल ग्रुप पर मौसमी असर, Google अपडेट और माँग के उतार-चढ़ाव का वही प्रभाव पड़ता है, इसलिए सिर्फ़ पहले-बाद की तुलना के मुक़ाबले यह तरीक़ा आपके बदलाव का असर कहीं बेहतर ढंग से अलग कर पाता है।

एक्सपेरिमेंट बनाएँ

New दबाएँ और ये फ़ील्ड भरें:

Name और Hypothesis: आपने क्या बदला और आप क्या नतीजा चाहते हैं, जैसे "प्रोडक्ट गाइड पर FAQ schema लगाने से CTR 10% बढ़ेगा"।
Start date: जिस दिन बदलाव लाइव हुआ। End date वैकल्पिक है; इसे न भरने पर एक्सपेरिमेंट डेटा वाले सबसे नए दिन तक चलता है।
Metric: Clicks, Impressions, CTR या Position। चारों की रिपोर्ट मिलती है, पर विजेता का फ़ैसला आपके चुने हुए मेट्रिक से होता है।
Treatment group और Control group: दोनों में से हर एक या तो List of URLs (अधिकतम 500 पूर्ण URL) हो सकता है या URL pattern (regex), जैसे ^https://www.example.com/guides/।

ग्रुप बनाने के लिए दो शॉर्टकट हैं। Upload a CSV with URL groups ऐसी फ़ाइल पढ़ता है जिसमें url और group कॉलम हों; फ़ाइल का पहला ग्रुप कंट्रोल बनता है और दूसरा ट्रीटमेंट। Auto-suggest groups पिछले 28 दिनों के आपके टॉप पेज लोड करता है और पहले फ़ोल्डर के आधार पर ग्रुप सुझाता है (वही फ़ोल्डर जिसमें कम से कम तीन पेज हों), जिन्हें सीधे pattern के रूप में इस्तेमाल किया जा सकता है।

ऐसा कंट्रोल ग्रुप चुनें जो ट्रीटमेंट से मिलता-जुलता हो: वही टेम्पलेट, लगभग उतना ही ट्रैफ़िक और उसी तरह का सर्च इंटेंट। पेजों को ग्रुप में नतीजे देखने से पहले बाँटें, बाद में नहीं।

नतीजा कैसे निकाला जाता है

विंडो। प्री-पीरियड स्टार्ट डेट से पहले के 28 दिन होता है; पोस्ट-पीरियड स्टार्ट डेट से एंड डेट तक, या उपलब्ध सबसे नए दिन तक चलता है।
इंडेक्सिंग। हर ग्रुप के लॉन्च के बाद के दैनिक मान को उसी ग्रुप के लॉन्च से पहले के औसत दिन से भाग दिया जाता है, इसलिए 1.0 का मतलब है "पहले जैसा"। इससे छोटा ट्रीटमेंट ग्रुप और बड़ा कंट्रोल ग्रुप एक ही पैमाने पर आ जाते हैं।
अपलिफ़्ट। सापेक्ष अपलिफ़्ट ट्रीटमेंट के औसत इंडेक्स में से कंट्रोल का औसत इंडेक्स घटाने पर मिलता है: +0.12 का मतलब है कि ट्रीटमेंट ने अपनी बेसलाइन के मुक़ाबले 12 प्रतिशत अंक बेहतर प्रदर्शन किया।
टेस्ट। Welch का t-test दोनों ग्रुप के दैनिक इंडेक्स किए गए मानों की तुलना करता है और यह नहीं मानता कि दोनों का वैरिएंस बराबर है। इससे p-value, 95% कॉन्फ़िडेंस इंटरवल और प्रभाव के आकार के रूप में Cohen's d मिलता है (0.2 से कम नगण्य, 0.5 से कम छोटा, 0.8 से कम मध्यम, और 0.8 या उससे ऊपर बड़ा)।
विजेता। p के 0.05 से कम होने पर नतीजा सांख्यिकीय रूप से सार्थक माना जाता है; तब Winner ट्रीटमेंट या कंट्रोल होता है (position में कम मान बेहतर माना जाता है)। नहीं तो नतीजा Inconclusive रहता है।
संचयी अंतर। लॉन्च के बाद हर दिन AutoPSEO ट्रीटमेंट के वास्तविक मान में से वह मान घटाकर जोड़ता जाता है जो ट्रीटमेंट का तब होता जब वह कंट्रोल के रास्ते पर चलता (उसका लॉन्च-पूर्व औसत × कंट्रोल का इंडेक्स)। यानी आपके बदलाव से जितने अतिरिक्त क्लिक मिले, या आपने जो भी मेट्रिक चुना, उसमें जितना इज़ाफ़ा हुआ।

Statistical Test Results में Minimum detectable effect भी दिखता है, जो अंतर की लगभग 2.8 स्टैंडर्ड एरर के बराबर होता है: यह वह सबसे छोटा अपलिफ़्ट है जिसे यह एक्सपेरिमेंट 80% पावर पर भरोसे से पकड़ सकता है। जब नतीजा सार्थक न हो, तो यह मान लेने से पहले कि बदलाव का कोई असर नहीं हुआ, अपने अपेक्षित प्रभाव की तुलना इस मान से करें।

नतीजे पढ़ें

सूची से कोई एक्सपेरिमेंट खोलें और आपको Relative uplift, हर ग्रुप का उसके लॉन्च-पूर्व अवधि के मुक़ाबले बदलाव, p-value और Winner दिखेंगे। चार्ट में दोनों ग्रुप का दैनिक इंडेक्स लॉन्च के निशान के साथ और लॉन्च के बाद का संचयी अंतर दिखता है। तालिकाओं में नतीजा ग्रुप के अनुसार, मेट्रिक के अनुसार (कॉन्फ़िडेंस इंटरवल सहित), पेज के अनुसार (लॉन्च के बाद सबसे ज़्यादा वॉल्यूम वाले 300 पेज) और दिन के अनुसार बाँटकर दिखाया जाता है। काम पूरा होने पर एक्सपेरिमेंट को completed चिह्नित करें; वह अपने नतीजों के साथ सूची में बना रहता है।

कब नतीजे पर भरोसा करें

पेज आपको इन स्थितियों में चेतावनी देता है:

लॉन्च के बाद 14 दिन से कम बीते हों;
लॉन्च से पहले के 14 दिन से कम उपलब्ध हों;
मेट्रिक क्लिक या इम्प्रेशन हो और लॉन्च से पहले किसी भी ग्रुप का औसत रोज़ 5 से कम रहा हो, जिससे दिन-प्रतिदिन का उतार-चढ़ाव नतीजे पर हावी हो जाता है;
किसी ग्रुप को लॉन्च से पहले बिल्कुल ट्रैफ़िक न मिला हो, इसलिए उसमें बदलाव मापा नहीं जा सकता।

सार्थक नतीजा भी अवलोकन पर आधारित होता है, रैंडमाइज़्ड ट्रायल पर नहीं: किसी एक ग्रुप में कोई और बदलाव लाइव होना, या कोई रैंकिंग अपडेट जिसने दोनों टेम्पलेट को अलग-अलग तरह से प्रभावित किया, आपके बदलाव के असर जैसा दिख सकता है। लॉन्च का और टेस्ट के दौरान हुई हर दूसरी घटना का एक annotation ज़रूर रखें।

Google को परेशान किए बिना टेस्ट करना

यह रिपोर्ट असली पेजों के ग्रुप की तुलना करती है, इसलिए आपको Google को अलग-अलग वेरिएंट दिखाने की ज़रूरत नहीं है। अगर आप वेरिएंट URL के साथ A/B टेस्ट चलाते हैं, तो Google की सलाह है कि आप Googlebot को यूज़र से अलग कंटेंट न दिखाएँ, वेरिएंट को rel="canonical" से मूल पेज की ओर इंगित करें, अस्थायी (302) रीडायरेक्ट इस्तेमाल करें, और नतीजा मिलते ही टेस्ट बंद कर दें (A/B testing best practices for Search)।

AutoPSEO कैसे मदद करता है

कंटेंट इंजन के रिफ़्रेश और ऑप्टिमाइज़ेशन टास्क एक बार में एक ही पेज बदलते हैं (लेखों को ताज़ा रखना)। यह परखने के लिए कि ये बदलाव फ़ायदेमंद हैं या नहीं, रिफ़्रेश किए गए लेखों को ट्रीटमेंट ग्रुप में रखें, मिलते-जुलते अनछुए लेखों को कंट्रोल में, और पहला रिफ़्रेश जिस तारीख को लाइव हुआ उसे स्टार्ट डेट बनाएँ।