دستاویزات

تجربہ: جانچیں کہ آپ کی SEO تبدیلی نے ٹریفک کو متاثر کیا یا نہیں

لانچ سے پہلے اور بعد میں اپنے تبدیل کردہ صفحات کے گروپ کا کنٹرول گروپ سے موازنہ کریں۔ نتیجے میں اپلفٹ کا تخمینہ، Welch t-test اور کانفیڈنس انٹروَل ملتا ہے۔

پراپرٹی ← ایڈوانسڈ ← تجربہ کاری5 منٹ کا مطالعہ

تجربہ (Experimentation) ہر SEO تبدیلی کے بعد اٹھنے والے اس سوال کا جواب دیتا ہے: کیا تبدیلی کارگر رہی، یا پوری سائٹ ہی اوپر نیچے ہوئی؟ آپ ایک ٹریٹمنٹ گروپ (وہ صفحات جو آپ نے تبدیل کیے)، ایک کنٹرول گروپ (ملتے جلتے صفحات جنہیں آپ نے نہیں چھیڑا) اور لانچ کی تاریخ طے کرتے ہیں۔ AutoPSEO ہر گروپ کا لانچ کے بعد کا ڈیٹا اسی گروپ کے پچھلے 28 دنوں سے موازنہ کرتا ہے اور جانچتا ہے کہ دونوں کے درمیان فرق روزمرہ کے عام اتار چڑھاؤ سے بڑا ہے یا نہیں۔ کنٹرول گروپ میں موسمی رجحان، Google کی اپ ڈیٹس اور طلب کے اتار چڑھاؤ ٹریٹمنٹ گروپ جیسے ہی ہوتے ہیں، اس لیے یہ طریقہ سادہ "پہلے اور بعد" کے موازنے سے کہیں بہتر طور پر آپ کی تبدیلی کا اصل اثر الگ کرتا ہے۔

تجربہ بنائیں

New دبائیں اور درج ذیل فیلڈز بھریں:

Name اور Hypothesis: آپ نے کیا تبدیل کیا اور کیا نتیجہ متوقع ہے، مثلاً "پروڈکٹ گائیڈز پر FAQ schema سے CTR میں 10% اضافہ ہوگا"۔
Start date: وہ دن جب تبدیلی لائیو ہوئی۔ End date اختیاری ہے؛ اگر نہ دی جائے تو تجربہ ڈیٹا والے تازہ ترین دن تک چلتا ہے۔
Metric: Clicks، Impressions، CTR یا Position۔ چاروں کی رپورٹ ملتی ہے؛ البتہ فاتح کا فیصلہ یہی میٹرک کرتا ہے۔
Treatment group اور Control group: ہر ایک یا تو List of URLs (زیادہ سے زیادہ 500 مکمل URL) ہو سکتا ہے یا URL pattern (regex)، مثلاً ^https://www.example.com/guides/۔

گروپس بنانے کے دو شارٹ کٹ مدد کرتے ہیں۔ Upload a CSV with URL groups ایسی فائل پڑھتا ہے جس میں url اور group کالم ہوں؛ فائل کا پہلا گروپ کنٹرول اور دوسرا ٹریٹمنٹ بن جاتا ہے۔ Auto-suggest groups پچھلے 28 دنوں کے آپ کے ٹاپ صفحات لوڈ کرتا ہے اور پہلے فولڈر کی بنیاد پر گروپس تجویز کرتا ہے (وہ فولڈر جس میں کم از کم تین صفحات ہوں)، جو پیٹرن کے طور پر فوراً استعمال کے قابل ہوتے ہیں۔

ایسا کنٹرول گروپ چنیں جو ٹریٹمنٹ سے مشابہ ہو: وہی ٹیمپلیٹ، ملتا جلتا ٹریفک اور سرچ انٹینٹ کی وہی نوعیت۔ صفحات کو گروپس میں نتائج دیکھنے سے پہلے تقسیم کریں، بعد میں نہیں۔

نتیجہ کیسے نکالا جاتا ہے

ونڈوز۔ پری پیریڈ شروع کی تاریخ سے پہلے کے 28 دن ہیں؛ پوسٹ پیریڈ شروع کی تاریخ سے اختتامی تاریخ تک، یا دستیاب تازہ ترین دن تک چلتا ہے۔
انڈیکسنگ۔ لانچ کے بعد ہر گروپ کی روزانہ قدروں کو اسی گروپ کے لانچ سے پہلے کے اوسط دن سے تقسیم کیا جاتا ہے، اس لیے 1.0 کا مطلب ہے "پہلے جیسا"۔ اس طرح چھوٹا ٹریٹمنٹ گروپ اور بڑا کنٹرول گروپ ایک ہی پیمانے پر آ جاتے ہیں۔
اپلفٹ۔ اضافی کارکردگی (relative uplift) ٹریٹمنٹ کے اوسط انڈیکس سے کنٹرول کے اوسط انڈیکس کو منفی کرنے سے ملتی ہے: +0.12 کا مطلب ہے کہ ٹریٹمنٹ نے اپنی بنیادی سطح کے مقابلے میں 12 فیصدی پوائنٹ بہتر کارکردگی دکھائی۔
ٹیسٹ۔ Welch's t-test دونوں گروپس کی روزانہ انڈیکس شدہ قدروں کا موازنہ کرتا ہے اور یہ فرض نہیں کرتا کہ دونوں کا تغیر (variance) برابر ہے۔ اس سے p-value، 95% کانفیڈنس انٹروَل اور اثر کے حجم کے طور پر Cohen's d ملتا ہے (0.2 سے کم نہ ہونے کے برابر، 0.5 سے کم معمولی، 0.8 سے کم درمیانہ، اور 0.8 یا اس سے زیادہ بڑا)۔
فاتح۔ نتیجہ اس وقت معنی خیز (significant) مانا جاتا ہے جب p کی قدر 0.05 سے کم ہو؛ تب Winner ٹریٹمنٹ یا کنٹرول ہوتا ہے (پوزیشن کے لیے کم قدر بہتر ہے)۔ ورنہ نتیجہ Inconclusive رہتا ہے۔
مجموعی فرق۔ لانچ کے بعد دن بدن، AutoPSEO ٹریٹمنٹ کی اصل قدر میں سے وہ قدر منفی کر کے جمع کرتا ہے جو ٹریٹمنٹ کنٹرول کی پیروی کرتے ہوئے حاصل کرتا (لانچ سے پہلے کا اوسط × کنٹرول کا انڈیکس)۔ یعنی آپ کی تبدیلی نے اضافی کلکس، یا آپ کے منتخب کردہ جو بھی میٹرک ہو، اس میں کتنا اضافہ کیا۔

Statistical Test Results میں Minimum detectable effect بھی دکھایا جاتا ہے، جو فرق کی معیاری غلطی (standard error) کے تقریباً 2.8 گنا کے برابر ہوتا ہے: یہ وہ سب سے چھوٹا اپلفٹ ہے جسے یہ تجربہ 80% پاور پر قابلِ اعتماد طریقے سے پکڑ سکتا ہے۔ جب نتیجہ معنی خیز نہ ہو تو یہ نتیجہ اخذ کرنے سے پہلے کہ تبدیلی کا کوئی اثر نہیں ہوا، اپنے متوقع اثر کا اس سے موازنہ کریں۔

نتائج پڑھیں

فہرست میں سے کوئی تجربہ کھولیں تو Relative uplift، ہر گروپ کی لانچ سے پہلے کے دورانیے کے مقابلے میں تبدیلی، p-value اور Winner نظر آئیں گے۔ چارٹس میں دونوں گروپس کا روزانہ انڈیکس (لانچ کے نشان کے ساتھ) اور لانچ کے بعد کا مجموعی فرق دکھایا جاتا ہے۔ ٹیبلز میں نتیجہ گروپ کے لحاظ سے، میٹرک کے لحاظ سے (کانفیڈنس انٹروَل کے ساتھ)، صفحے کے لحاظ سے (لانچ کے بعد سب سے زیادہ حجم والے 300 صفحات) اور دن کے لحاظ سے تقسیم ہو کر ملتا ہے۔ کام مکمل ہونے پر تجربے کو completed نشان زد کریں؛ وہ اپنے نتائج کے ساتھ فہرست میں موجود رہتا ہے۔

کب اعتماد کریں

صفحہ آپ کو درج ذیل صورتوں میں خبردار کرتا ہے:

لانچ کو 14 دن سے کم گزرے ہوں؛
لانچ سے پہلے کے 14 دن سے کم دستیاب ہوں؛
کلکس یا امپریشنز میٹرک ہونے کی صورت میں، کسی بھی گروپ کا لانچ سے پہلے روزانہ اوسط 5 سے کم ہو، کیونکہ اس صورت میں روزمرہ کا شور (noise) حاوی رہتا ہے؛
کسی گروپ کو لانچ سے پہلے بالکل ٹریفک نہ ملا ہو، اس لیے اس کی تبدیلی ناپی نہیں جا سکتی۔

معنی خیز نتیجہ بھی مشاہداتی ہوتا ہے، بے ترتیب (randomised) ٹرائل نہیں: کسی ایک گروپ پر کوئی اور تبدیلی لاگو ہو جانا، یا کوئی رینکنگ اپ ڈیٹ جس نے دونوں ٹیمپلیٹس کو مختلف طریقے سے متاثر کیا ہو، آپ کے اثر کا روپ دھار سکتی ہے۔ لانچ کی اور ٹیسٹ کے دوران ہونے والی ہر دوسری چیز کی اینوٹیشن ضرور رکھیں۔

Google کو ناراض کیے بغیر ٹیسٹنگ

یہ رپورٹ حقیقی صفحات کے گروپس کا موازنہ کرتی ہے، اس لیے آپ کو Google کو مختلف ورژن دکھانے کی ضرورت نہیں۔ اگر آپ ویریئنٹ URL کے ساتھ A/B ٹیسٹ چلاتے ہیں تو Google کی ہدایت ہے کہ Googlebot کو صارفین سے مختلف مواد نہ دکھائیں، ویریئنٹس کو rel="canonical" کے ذریعے اصل صفحے کی طرف اشارہ کروائیں، عارضی (302) ری ڈائریکٹ استعمال کریں، اور نتیجہ مل جانے کے بعد ٹیسٹ ختم کر دیں (سرچ کے لیے A/B ٹیسٹنگ کے بہترین طریقے)۔

AutoPSEO کیسے مدد کرتا ہے

کنٹینٹ انجن کے ریفریش اور آپٹیمائزیشن ٹاسکس ایک وقت میں ایک صفحے کو تبدیل کرتے ہیں (مضامین کو تازہ رکھنا)۔ یہ جانچنے کے لیے کہ ان تبدیلیوں کا فائدہ ہو رہا ہے یا نہیں، ریفریش کیے گئے مضامین کو ٹریٹمنٹ گروپ میں رکھیں، ملتے جلتے بغیر چھیڑے گئے مضامین کو کنٹرول میں، اور وہ تاریخ استعمال کریں جب پہلا ریفریش لائیو ہوا تھا۔