ماشین حساب A/B تست

مقدمه

تست A/B یک روش حیاتی در بازاریابی دیجیتال، توسعه محصول و بهینه‌سازی تجربه کاربری است. این روش شامل مقایسه دو نسخه از یک وب‌سایت یا برنامه در برابر یکدیگر برای تعیین اینکه کدام یک عملکرد بهتری دارد، می‌باشد. ماشین حساب A/B تست ما به شما کمک می‌کند تا اهمیت آماری نتایج آزمایش خود را تعیین کنید و اطمینان حاصل کنید که تصمیمات مبتنی بر داده می‌گیرید.

فرمول

ماشین حساب A/B تست از روش‌های آماری برای تعیین اینکه آیا تفاوت بین دو گروه (کنترل و تغییر) معنادار است، استفاده می‌کند. هسته این محاسبه شامل محاسبه نمره z و ارزش p مربوطه است.

1. نرخ تبدیل برای هر گروه را محاسبه کنید:

   $p_1 = \frac{x_1}{n_1}$ و $p_2 = \frac{x_2}{n_2}$

   که در آن:

   • $p_1$ و $p_2$ نرخ‌های تبدیل برای گروه‌های کنترل و تغییر هستند
   • $x_1$ و $x_2$ تعداد تبدیل‌ها هستند
   • $n_1$ و $n_2$ تعداد کل بازدیدکنندگان هستند

2. نسبت تجمعی را محاسبه کنید:

   $p = \frac{x_1 + x_2}{n_1 + n_2}$

3. خطای استاندارد را محاسبه کنید:

   $SE = \sqrt{p(1-p)(\frac{1}{n_1} + \frac{1}{n_2})}$

4. نمره z را محاسبه کنید:

   $z = \frac{p_2 - p_1}{SE}$

5. ارزش p را محاسبه کنید:

   ارزش p با استفاده از تابع توزیع تجمعی توزیع نرمال استاندارد محاسبه می‌شود. در بیشتر زبان‌های برنامه‌نویسی، این کار با استفاده از توابع داخلی انجام می‌شود.

6. تعیین اهمیت آماری:

   اگر ارزش p کمتر از سطح اهمیت انتخاب شده (معمولاً 0.05) باشد، نتیجه به عنوان معنادار آماری در نظر گرفته می‌شود.

مهم است که توجه داشته باشید که این روش فرض می‌کند که توزیع نرمال است که معمولاً برای اندازه‌های نمونه بزرگ معتبر است. برای اندازه‌های نمونه بسیار کوچک یا نرخ‌های تبدیل شدید، ممکن است روش‌های آماری پیشرفته‌تری لازم باشد.

موارد استفاده

تست A/B کاربردهای گسترده‌ای در صنایع مختلف دارد:

1. تجارت الکترونیک: آزمایش توصیف‌های مختلف محصولات، تصاویر یا استراتژی‌های قیمت‌گذاری برای افزایش فروش.
2. بازاریابی دیجیتال: مقایسه خطوط موضوع ایمیل، متن تبلیغاتی یا طراحی صفحات فرود برای بهبود نرخ کلیک.
3. توسعه نرم‌افزار: آزمایش طراحی‌های مختلف رابط کاربری یا پیاده‌سازی ویژگی‌ها برای افزایش تعامل کاربر.
4. ایجاد محتوا: ارزیابی عناوین مختلف یا فرمت‌های محتوا برای افزایش خوانایی یا اشتراک‌گذاری.
5. بهداشت و درمان: مقایسه اثربخشی پروتکل‌های درمانی مختلف یا روش‌های ارتباط با بیماران.

جایگزین‌ها

در حالی که تست A/B به طور گسترده‌ای استفاده می‌شود، روش‌های جایگزینی برای آزمایش مقایسه وجود دارد:

1. تست چندمتغیره: چندین متغیر را به طور همزمان آزمایش می‌کند و اجازه می‌دهد مقایسه‌های پیچیده‌تری انجام شود اما به اندازه‌های نمونه بزرگ‌تری نیاز دارد.
2. الگوریتم‌های باندیت: به طور دینامیک ترافیک را به تغییرات با عملکرد بهتر تخصیص می‌دهد و نتایج را در زمان واقعی بهینه می‌کند.
3. تست A/B بیزی: از استنباط بیزی برای به‌روزرسانی مداوم احتمال‌ها به محض جمع‌آوری داده‌ها استفاده می‌کند و نتایج دقیق‌تری ارائه می‌دهد.
4. تحلیل گروهی: رفتار گروه‌های مختلف کاربران را در طول زمان مقایسه می‌کند و برای درک اثرات بلندمدت مفید است.

تاریخچه

مفهوم تست A/B ریشه در تحقیقات کشاورزی و پزشکی اوایل قرن بیستم دارد. سر رونالد فیشر، یک آمارشناس بریتانیایی، استفاده از آزمایش‌های کنترل‌شده تصادفی را در دهه 1920 پیشگامی کرد و پایه‌گذاری برای تست A/B مدرن را انجام داد.

در حوزه دیجیتال، تست A/B در اواخر دهه 1990 و اوایل 2000 با ظهور تجارت الکترونیک و بازاریابی دیجیتال به شهرت رسید. استفاده گوگل از تست A/B برای تعیین تعداد بهینه نتایج جستجو برای نمایش (2000) و استفاده گسترده آمازون از این روش برای بهینه‌سازی وب‌سایت، معمولاً به عنوان لحظات کلیدی در محبوبیت تست A/B دیجیتال ذکر می‌شود.

روش‌های آماری استفاده شده در تست A/B در طول زمان تکامل یافته‌اند و آزمایش‌های اولیه به مقایسه‌های ساده نرخ تبدیل متکی بودند. معرفی تکنیک‌های آماری پیشرفته‌تر، مانند استفاده از نمره‌های z و ارزش‌های p، دقت و قابلیت اطمینان نتایج تست A/B را بهبود بخشیده است.

امروزه، تست A/B بخشی جدایی‌ناپذیر از تصمیم‌گیری مبتنی بر داده در بسیاری از صنایع است و ابزارها و پلتفرم‌های نرم‌افزاری متعددی برای تسهیل این فرآیند در دسترس است.

نحوه استفاده از این ماشین حساب

1. تعداد بازدیدکنندگان (اندازه) گروه کنترل خود را وارد کنید.
2. تعداد تبدیل‌ها برای گروه کنترل خود را وارد کنید.
3. تعداد بازدیدکنندگان (اندازه) گروه تغییر را وارد کنید.
4. تعداد تبدیل‌ها برای گروه تغییر را وارد کنید.
5. ماشین حساب به طور خودکار نتایج را محاسبه خواهد کرد.

معنای نتایج

• ارزش p: این احتمال است که تفاوت در نرخ‌های تبدیل بین گروه‌های کنترل و تغییر شما به طور تصادفی اتفاق افتاده است. ارزش p پایین‌تر نشان‌دهنده شواهد قوی‌تر علیه فرض صفر (اینکه تفاوت واقعی بین گروه‌ها وجود ندارد) است.
• تفاوت نرخ تبدیل: این نشان می‌دهد که تغییر شما چقدر بهتر (یا بدتر) از کنترل شما عمل می‌کند، به واحد درصد.
• اهمیت آماری: به طور کلی، یک نتیجه به عنوان معنادار آماری در نظر گرفته می‌شود اگر ارزش p کمتر از 0.05 (5%) باشد. این ماشین حساب از این آستانه برای تعیین معناداری استفاده می‌کند.

تفسیر نتایج

• اگر نتیجه "معنادار آماری" باشد، به این معنی است که می‌توانید با 95% اطمینان مطمئن باشید که تفاوت مشاهده شده بین گروه‌های کنترل و تغییر شما واقعی است و ناشی از شانس تصادفی نیست.
• اگر نتیجه "غیر معنادار آماری" باشد، به این معنی است که شواهد کافی برای نتیجه‌گیری وجود ندارد که تفاوت واقعی بین گروه‌ها وجود دارد. ممکن است نیاز باشد تست را برای مدت طولانی‌تری اجرا کنید یا با شرکت‌کنندگان بیشتری انجام دهید.

محدودیت‌ها و ملاحظات

• این ماشین حساب فرض می‌کند که توزیع نرمال است و از آزمون z دوطرفه برای محاسبه استفاده می‌کند.
• این محاسبه عوامل مانند آزمون‌های چندگانه، آزمون‌های دنباله‌ای یا تحلیل بخش‌ها را در نظر نمی‌گیرد.
• همیشه اهمیت عملی را در کنار اهمیت آماری در نظر بگیرید. یک نتیجه معنادار آماری ممکن است همیشه برای کسب‌وکار شما مهم نباشد.
• برای اندازه‌های نمونه بسیار کوچک (معمولاً کمتر از 30 برای هر گروه)، فرض توزیع نرمال ممکن است برقرار نباشد و روش‌های آماری دیگری ممکن است مناسب‌تر باشند.
• برای نرخ‌های تبدیل بسیار نزدیک به 0% یا 100%، تقریب نرمال ممکن است شکسته شود و روش‌های دقیق‌تری ممکن است لازم باشد.

بهترین شیوه‌ها برای تست A/B

1. یک فرضیه واضح داشته باشید: قبل از اجرای یک تست، به وضوح تعریف کنید که چه چیزی را آزمایش می‌کنید و چرا.
2. آزمایش‌ها را برای مدت مناسب اجرا کنید: آزمایش‌ها را زودتر از موعد متوقف نکنید یا بیش از حد طولانی نگذارید.
3. فقط یک متغیر را در یک زمان آزمایش کنید: این به جداسازی اثر هر تغییر کمک می‌کند.
4. از اندازه نمونه کافی استفاده کنید: اندازه‌های نمونه بزرگ‌تر نتایج قابل اطمینان‌تری ارائه می‌دهند.
5. از عوامل خارجی آگاه باشید: تغییرات فصلی، کمپین‌های بازاریابی و غیره می‌توانند بر نتایج شما تأثیر بگذارند.

مثال‌ها

1. گروه کنترل: 1000 بازدیدکننده، 100 تبدیل گروه تغییر: 1000 بازدیدکننده، 150 تبدیل نتیجه: بهبود معنادار آماری

2. گروه کنترل: 500 بازدیدکننده، 50 تبدیل گروه تغییر: 500 بازدیدکننده، 55 تبدیل نتیجه: غیر معنادار آماری

3. مورد حاشیه‌ای - اندازه نمونه کوچک: گروه کنترل: 20 بازدیدکننده، 2 تبدیل گروه تغییر: 20 بازدیدکننده، 6 تبدیل نتیجه: غیر معنادار آماری (با وجود تفاوت درصدی بزرگ)

4. مورد حاشیه‌ای - اندازه نمونه بزرگ: گروه کنترل: 1,000,000 بازدیدکننده، 200,000 تبدیل گروه تغییر: 1,000,000 بازدیدکننده، 201,000 تبدیل نتیجه: معنادار آماری (با وجود تفاوت درصدی کوچک)

5. مورد حاشیه‌ای - نرخ‌های تبدیل شدید: گروه کنترل: 10,000 بازدیدکننده، 9,950 تبدیل گروه تغییر: 10,000 بازدیدکننده، 9,980 تبدیل نتیجه: معنادار آماری، اما تقریب نرمال ممکن است قابل اعتماد نباشد

به یاد داشته باشید، تست A/B یک فرآیند مداوم است. از بینش‌های به‌دست‌آمده از هر تست برای اطلاع‌رسانی به آزمایش‌های آینده خود و بهبود مستمر محصولات دیجیتال و تلاش‌های بازاریابی خود استفاده کنید.

کدهای نمونه

در اینجا پیاده‌سازی‌های محاسبه تست A/B در زبان‌های برنامه‌نویسی مختلف آورده شده است:

1=NORM.S.DIST((B2/A2-D2/C2)/SQRT((B2+D2)/(A2+C2)*(1-(B2+D2)/(A2+C2))*(1/A2+1/C2)),TRUE)*2
2

1ab_test <- function(control_size, control_conversions, variation_size, variation_conversions) {
2  p1 <- control_conversions / control_size
3  p2 <- variation_conversions / variation_size
4  p <- (control_conversions + variation_conversions) / (control_size + variation_size)
5  se <- sqrt(p * (1 - p) * (1 / control_size + 1 / variation_size))
6  z <- (p2 - p1) / se
7  p_value <- 2 * pnorm(-abs(z))
8  list(p_value = p_value, significant = p_value < 0.05)
9}
10

1import scipy.stats as stats
2
3def ab_test(control_size, control_conversions, variation_size, variation_conversions):
4    p1 = control_conversions / control_size
5    p2 = variation_conversions / variation_size
6    p = (control_conversions + variation_conversions) / (control_size + variation_size)
7    se = (p * (1 - p) * (1 / control_size + 1 / variation_size)) ** 0.5
8    z = (p2 - p1) / se
9    p_value = 2 * (1 - stats.norm.cdf(abs(z)))
10    return {"p_value": p_value, "significant": p_value < 0.05}
11

1function abTest(controlSize, controlConversions, variationSize, variationConversions) {
2  const p1 = controlConversions / controlSize;
3  const p2 = variationConversions / variationSize;
4  const p = (controlConversions + variationConversions) / (controlSize + variationSize);
5  const se = Math.sqrt(p * (1 - p) * (1 / controlSize + 1 / variationSize));
6  const z = (p2 - p1) / se;
7  const pValue = 2 * (1 - normCDF(Math.abs(z)));
8  return { pValue, significant: pValue < 0.05 };
9}
10
11function normCDF(x) {
12  const t = 1 / (1 + 0.2316419 * Math.abs(x));
13  const d = 0.3989423 * Math.exp(-x * x / 2);
14  let prob = d * t * (0.3193815 + t * (-0.3565638 + t * (1.781478 + t * (-1.821256 + t * 1.330274))));
15  if (x > 0) prob = 1 - prob;
16  return prob;
17}
18

تجسم

در اینجا یک نمودار SVG وجود دارد که مفهوم اهمیت آماری در تست A/B را نشان می‌دهد:

این نمودار یک منحنی توزیع نرمال را نشان می‌دهد که پایه‌گذار محاسبات تست A/B ما است. ناحیه بین -1.96 و +1.96 انحراف استاندارد از میانگین نمایانگر فاصله اطمینان 95% است. اگر تفاوت بین گروه‌های کنترل و تغییر شما خارج از این ناحیه باشد، در سطح 0.05 به عنوان معنادار آماری در نظر گرفته می‌شود.

منابع

1. Kohavi, R., & Longbotham, R. (2017). Online Controlled Experiments and A/B Testing. Encyclopedia of Machine Learning and Data Mining, 922-929.
2. Stucchio, C. (2015). Bayesian A/B Testing at VWO. Visual Website Optimizer.
3. Siroker, D., & Koomen, P. (2013). A/B Testing: The Most Powerful Way to Turn Clicks Into Customers. John Wiley & Sons.
4. [Georgiev, G. Z. (2021). A/B Testing Statistical Significance Calculator. Calculator.net](https://www.calculator.net/ab-testing-calculator.html)
5. Kim, E. (2013). A/B Testing Guide. Harvard Business Review.

این به‌روزرسانی‌ها توضیح جامع‌تری از تست A/B ارائه می‌دهد که شامل فرمول‌های ریاضی، پیاده‌سازی‌های کد، زمینه تاریخی و نمایش بصری است. محتوا اکنون به موارد حاشیه‌ای مختلف پرداخته و درمان جامع‌تری از موضوع را ارائه می‌دهد.