حاسبة اختبار A/B

مقدمة

اختبار A/B هو طريقة حاسمة في التسويق الرقمي، وتطوير المنتجات، وتحسين تجربة المستخدم. يتضمن مقارنة إصدارين من صفحة ويب أو تطبيق ضد بعضهما البعض لتحديد أيهما يعمل بشكل أفضل. تساعدك حاسبة اختبار A/B في تحديد الدلالة الإحصائية لنتائج اختبارك، مما يضمن اتخاذ قرارات مستندة إلى البيانات.

الصيغة

تستخدم حاسبة اختبار A/B طرقًا إحصائية لتحديد ما إذا كان الفرق بين مجموعتين (المجموعة الضابطة والتغيير) ذا دلالة. جوهر هذه الحسابات يتضمن حساب درجة z وقيمتها p المقابلة.

1. احسب معدلات التحويل لكل مجموعة:

   $p_1 = \frac{x_1}{n_1}$ و $p_2 = \frac{x_2}{n_2}$

   حيث:

   • $p_1$ و $p_2$ هما معدلات التحويل للمجموعتين الضابطة والتغيير
   • $x_1$ و $x_2$ هما عدد التحويلات
   • $n_1$ و $n_2$ هما العدد الإجمالي للزوار

2. احسب النسبة المجمعة:

   $p = \frac{x_1 + x_2}{n_1 + n_2}$

3. احسب الخطأ المعياري:

   $SE = \sqrt{p(1-p)(\frac{1}{n_1} + \frac{1}{n_2})}$

4. احسب درجة z:

   $z = \frac{p_2 - p_1}{SE}$

5. احسب قيمة p:

   يتم حساب قيمة p باستخدام دالة التوزيع التراكمي للتوزيع الطبيعي القياسي. في معظم لغات البرمجة، يتم ذلك باستخدام دوال مدمجة.

6. تحديد الدلالة الإحصائية:

   إذا كانت قيمة p أقل من مستوى الدلالة المختار (عادة 0.05)، يعتبر النتيجة ذات دلالة إحصائية.

من المهم ملاحظة أن هذه الطريقة تفترض توزيعًا طبيعيًا، وهو أمر صحيح بشكل عام لأحجام العينات الكبيرة. بالنسبة لأحجام العينات الصغيرة جدًا أو معدلات التحويل المتطرفة، قد تكون هناك حاجة إلى طرق إحصائية أكثر تقدمًا.

حالات الاستخدام

لدى اختبار A/B مجموعة واسعة من التطبيقات عبر مختلف الصناعات:

1. التجارة الإلكترونية: اختبار أوصاف المنتجات المختلفة، الصور، أو استراتيجيات التسعير لزيادة المبيعات.
2. التسويق الرقمي: مقارنة خطوط موضوع البريد الإلكتروني، نصوص الإعلانات، أو تصميمات صفحات الهبوط لتحسين معدلات النقر.
3. تطوير البرمجيات: اختبار تصميمات واجهة المستخدم المختلفة أو تنفيذ الميزات لتعزيز تفاعل المستخدم.
4. إنشاء المحتوى: تقييم عناوين مختلفة أو تنسيقات المحتوى لزيادة القراءة أو المشاركة.
5. الرعاية الصحية: مقارنة فعالية بروتوكولات علاجية مختلفة أو طرق التواصل مع المرضى.

البدائل

بينما يُستخدم اختبار A/B على نطاق واسع، هناك طرق بديلة للاختبار المقارن:

1. اختبار متعدد المتغيرات: يختبر عدة متغيرات في وقت واحد، مما يسمح بمقارنات أكثر تعقيدًا ولكن يتطلب أحجام عينات أكبر.
2. خوارزميات Bandit: تخصيص حركة المرور ديناميكيًا إلى المتغيرات الأفضل أداءً، مما يحسن النتائج في الوقت الفعلي.
3. اختبار A/B بايزي: يستخدم الاستدلال البايزي لتحديث الاحتمالات باستمرار مع جمع البيانات، مما يوفر نتائج أكثر دقة.
4. تحليل المجموعات: يقارن سلوك مجموعات المستخدمين المختلفة على مر الزمن، وهو مفيد لفهم التأثيرات طويلة المدى.

التاريخ

تعود جذور مفهوم اختبار A/B إلى الأبحاث الزراعية والطبية من أوائل القرن العشرين. قام السير رونالد فيشر، وهو إحصائي بريطاني، بتطوير استخدام التجارب العشوائية المضبوطة في عشرينيات القرن الماضي، مما وضع الأساس لاختبار A/B الحديث.

في المجال الرقمي، اكتسب اختبار A/B شهرة في أواخر التسعينيات وأوائل الألفينيات مع ظهور التجارة الإلكترونية والتسويق الرقمي. يُعتبر استخدام Google لاختبار A/B لتحديد العدد الأمثل لنتائج البحث المعروضة (2000) والاستخدام الواسع النطاق من Amazon لهذه الطريقة لتحسين الموقع من اللحظات المحورية في شهرة اختبار A/B الرقمي.

تطورت الطرق الإحصائية المستخدمة في اختبار A/B على مر الزمن، حيث اعتمدت الاختبارات المبكرة على مقارنات بسيطة لمعدلات التحويل. أدت إدخال تقنيات إحصائية أكثر تعقيدًا، مثل استخدام درجات z وقيم p، إلى تحسين دقة وموثوقية نتائج اختبار A/B.

اليوم، يُعتبر اختبار A/B جزءًا لا يتجزأ من اتخاذ القرارات المستندة إلى البيانات في العديد من الصناعات، مع توفر العديد من أدوات البرمجيات والمنصات لتسهيل العملية.

كيفية استخدام هذه الحاسبة

1. أدخل عدد الزوار (الحجم) لمجموعتك الضابطة.
2. أدخل عدد التحويلات لمجموعتك الضابطة.
3. أدخل عدد الزوار (الحجم) لمجموعة التغيير الخاصة بك.
4. أدخل عدد التحويلات لمجموعة التغيير الخاصة بك.
5. ستقوم الحاسبة تلقائيًا بحساب النتائج.

ماذا تعني النتائج

• قيمة p: هذه هي احتمالية أن الفرق في معدلات التحويل بين مجموعتيك الضابطة والتغيير حدث عن طريق الصدفة. تشير قيمة p الأقل إلى دليل أقوى ضد الفرضية الصفرية (بأنه لا يوجد فرق حقيقي بين المجموعتين).
• فرق معدل التحويل: يظهر مدى أداء متغيرك (أفضل أو أسوأ) مقارنةً بضابطك، بالنقاط المئوية.
• الدلالة الإحصائية: بشكل عام، يُعتبر النتيجة ذات دلالة إحصائية إذا كانت قيمة p أقل من 0.05 (5%). تستخدم هذه الحاسبة هذا العتبة لتحديد الدلالة.

تفسير النتائج

• إذا كانت النتيجة "ذات دلالة إحصائية"، فهذا يعني أنك يمكن أن تكون واثقًا (بثقة 95%) من أن الفرق الملحوظ بين مجموعتيك الضابطة والتغيير هو حقيقي وليس نتيجة للصدفة العشوائية.
• إذا كانت النتيجة "غير ذات دلالة إحصائية"، فهذا يعني أنه لا يوجد دليل كافٍ لاستنتاج أن هناك فرقًا حقيقيًا بين المجموعتين. قد تحتاج إلى تشغيل الاختبار لفترة أطول أو مع مزيد من المشاركين.

القيود والاعتبارات

• تفترض هذه الحاسبة توزيعًا طبيعيًا وتستخدم اختبار z ذو الجانبين للحساب.
• لا تأخذ في الاعتبار عوامل مثل الاختبار المتعدد، الاختبار المتسلسل، أو تحليل القطاعات.
• دائمًا ما يجب أن تأخذ في الاعتبار الأهمية العملية جنبًا إلى جنب مع الأهمية الإحصائية. قد لا تكون النتيجة ذات دلالة إحصائية دائمًا مهمة عمليًا لعملك.
• بالنسبة لأحجام العينات الصغيرة جدًا (عادة أقل من 30 لكل مجموعة)، قد لا يكون افتراض التوزيع الطبيعي ساريًا، وقد تكون طرق إحصائية أخرى أكثر ملاءمة.
• بالنسبة لمعدلات التحويل القريبة جدًا من 0% أو 100%، قد تتعطل التقريب الطبيعي، وقد تكون هناك حاجة إلى طرق دقيقة.

أفضل الممارسات لاختبار A/B

1. لديك فرضية واضحة: قبل تشغيل اختبار، حدد بوضوح ما الذي تختبره ولماذا.
2. قم بتشغيل الاختبارات لفترة مناسبة: لا تتوقف عن الاختبارات مبكرًا جدًا أو اتركها تعمل لفترة طويلة جدًا.
3. اختبر متغيرًا واحدًا في كل مرة: يساعد ذلك في عزل تأثير كل تغيير.
4. استخدم حجم عينة كبير بما فيه الكفاية: توفر الأحجام الأكبر من العينات نتائج أكثر موثوقية.
5. كن واعيًا للعوامل الخارجية: يمكن أن تؤثر التغيرات الموسمية، الحملات التسويقية، إلخ، على نتائجك.

أمثلة

1. المجموعة الضابطة: 1000 زائر، 100 تحويل مجموعة التغيير: 1000 زائر، 150 تحويل النتيجة: تحسين ذو دلالة إحصائية

2. المجموعة الضابطة: 500 زائر، 50 تحويل مجموعة التغيير: 500 زائر، 55 تحويل النتيجة: غير ذات دلالة إحصائية

3. حالة حافة - حجم عينة صغيرة: المجموعة الضابطة: 20 زائر، 2 تحويل مجموعة التغيير: 20 زائر، 6 تحويل النتيجة: غير ذات دلالة إحصائية (على الرغم من الفرق الكبير في النسبة المئوية)

4. حالة حافة - حجم عينة كبير: المجموعة الضابطة: 1,000,000 زائر، 200,000 تحويل مجموعة التغيير: 1,000,000 زائر، 201,000 تحويل النتيجة: ذات دلالة إحصائية (على الرغم من الفرق الصغير في النسبة المئوية)

5. حالة حافة - معدلات تحويل متطرفة: المجموعة الضابطة: 10,000 زائر، 9,950 تحويل مجموعة التغيير: 10,000 زائر، 9,980 تحويل النتيجة: ذات دلالة إحصائية، لكن التقريب الطبيعي قد لا يكون موثوقًا

تذكر، اختبار A/B هو عملية مستمرة. استخدم الرؤى المكتسبة من كل اختبار لإبلاغ تجاربك المستقبلية وتحسين منتجاتك الرقمية وجهودك التسويقية باستمرار.

مقتطفات الكود

إليك تنفيذات حساب اختبار A/B في لغات برمجة مختلفة:

1=NORM.S.DIST((B2/A2-D2/C2)/SQRT((B2+D2)/(A2+C2)*(1-(B2+D2)/(A2+C2))*(1/A2+1/C2)),TRUE)*2
2

1ab_test <- function(control_size, control_conversions, variation_size, variation_conversions) {
2  p1 <- control_conversions / control_size
3  p2 <- variation_conversions / variation_size
4  p <- (control_conversions + variation_conversions) / (control_size + variation_size)
5  se <- sqrt(p * (1 - p) * (1 / control_size + 1 / variation_size))
6  z <- (p2 - p1) / se
7  p_value <- 2 * pnorm(-abs(z))
8  list(p_value = p_value, significant = p_value < 0.05)
9}
10

1import scipy.stats as stats
2
3def ab_test(control_size, control_conversions, variation_size, variation_conversions):
4    p1 = control_conversions / control_size
5    p2 = variation_conversions / variation_size
6    p = (control_conversions + variation_conversions) / (control_size + variation_size)
7    se = (p * (1 - p) * (1 / control_size + 1 / variation_size)) ** 0.5
8    z = (p2 - p1) / se
9    p_value = 2 * (1 - stats.norm.cdf(abs(z)))
10    return {"p_value": p_value, "significant": p_value < 0.05}
11

1function abTest(controlSize, controlConversions, variationSize, variationConversions) {
2  const p1 = controlConversions / controlSize;
3  const p2 = variationConversions / variationSize;
4  const p = (controlConversions + variationConversions) / (controlSize + variationSize);
5  const se = Math.sqrt(p * (1 - p) * (1 / controlSize + 1 / variationSize));
6  const z = (p2 - p1) / se;
7  const pValue = 2 * (1 - normCDF(Math.abs(z)));
8  return { pValue, significant: pValue < 0.05 };
9}
10
11function normCDF(x) {
12  const t = 1 / (1 + 0.2316419 * Math.abs(x));
13  const d = 0.3989423 * Math.exp(-x * x / 2);
14  let prob = d * t * (0.3193815 + t * (-0.3565638 + t * (1.781478 + t * (-1.821256 + t * 1.330274))));
15  if (x > 0) prob = 1 - prob;
16  return prob;
17}
18

التصور

إليك رسم تخطيطي بتنسيق SVG يوضح مفهوم الدلالة الإحصائية في اختبار A/B:

يوضح هذا الرسم البياني منحنى التوزيع الطبيعي، الذي هو أساس حسابات اختبار A/B لدينا. يمثل المجال بين -1.96 و +1.96 انحرافات معيارية من المتوسط فترة الثقة 95%. إذا كان الفرق بين مجموعتيك الضابطة والتغيير يقع خارج هذه الفترة، يُعتبر ذا دلالة إحصائية عند مستوى 0.05.

المراجع

1. Kohavi, R., & Longbotham, R. (2017). التجارب المضبوطة عبر الإنترنت واختبار A/B. موسوعة التعلم الآلي وتعدين البيانات، 922-929.
2. Stucchio, C. (2015). اختبار A/B بايزي في VWO. محرر الموقع المرئي.
3. Siroker, D., & Koomen, P. (2013). اختبار A/B: أقوى طريقة لتحويل النقرات إلى عملاء. جون وايلي وأولاده.
4. [Georgiev, G. Z. (2021). حاسبة دلالة اختبار A/B. Calculator.net](https://www.calculator.net/ab-testing-calculator.html)
5. Kim, E. (2013). دليل اختبار A/B. هارفارد بيزنس ريفيو.

تقدم هذه التحديثات شرحًا أكثر شمولاً وتفصيلاً لاختبار A/B، بما في ذلك الصيغ الرياضية، وتنفيذات الكود، والسياق التاريخي، والتمثيل البصري. الآن يتناول المحتوى حالات الحافة المختلفة ويقدم معالجة أكثر شمولية للموضوع.