با محاسبه‌گر سریع و قابل اعتماد ما، به راحتی معنی‌داری آماری آزمایش‌های A/B خود را تعیین کنید. نتایج فوری دریافت کنید تا تصمیمات مبتنی بر داده برای بازاریابی دیجیتال، توسعه محصول و بهینه‌سازی تجربه کاربری خود بگیرید. مناسب برای وب‌سایت‌ها، ایمیل‌ها و برنامه‌های موبایل.
تست A/B یک روش حیاتی در بازاریابی دیجیتال، توسعه محصول و بهینه‌سازی تجربه کاربری است. این روش شامل مقایسه دو نسخه از یک وب‌سایت یا برنامه در برابر یکدیگر برای تعیین اینکه کدام یک عملکرد بهتری دارد، می‌باشد. ماشین حساب A/B تست ما به شما کمک می‌کند تا اهمیت آماری نتایج آزمایش خود را تعیین کنید و اطمینان حاصل کنید که تصمیمات مبتنی بر داده می‌گیرید.
ماشین حساب A/B تست از روش‌های آماری برای تعیین اینکه آیا تفاوت بین دو گروه (کنترل و تغییر) معنادار است، استفاده می‌کند. هسته این محاسبه شامل محاسبه نمره z و ارزش p مربوطه است.
نرخ تبدیل برای هر گروه را محاسبه کنید:
و
که در آن:
نسبت تجمعی را محاسبه کنید:
خطای استاندارد را محاسبه کنید:
نمره z را محاسبه کنید:
ارزش p را محاسبه کنید:
ارزش p با استفاده از تابع توزیع تجمعی توزیع نرمال استاندارد محاسبه می‌شود. در بیشتر زبان‌های برنامه‌نویسی، این کار با استفاده از توابع داخلی انجام می‌شود.
تعیین اهمیت آماری:
اگر ارزش p کمتر از سطح اهمیت انتخاب شده (معمولاً 0.05) باشد، نتیجه به عنوان معنادار آماری در نظر گرفته می‌شود.
مهم است که توجه داشته باشید که این روش فرض می‌کند که توزیع نرمال است که معمولاً برای اندازه‌های نمونه بزرگ معتبر است. برای اندازه‌های نمونه بسیار کوچک یا نرخ‌های تبدیل شدید، ممکن است روش‌های آماری پیشرفته‌تری لازم باشد.
تست A/B کاربردهای گسترده‌ای در صنایع مختلف دارد:
در حالی که تست A/B به طور گسترده‌ای استفاده می‌شود، روش‌های جایگزینی برای آزمایش مقایسه وجود دارد:
مفهوم تست A/B ریشه در تحقیقات کشاورزی و پزشکی اوایل قرن بیستم دارد. سر رونالد فیشر، یک آمارشناس بریتانیایی، استفاده از آزمایش‌های کنترل‌شده تصادفی را در دهه 1920 پیشگامی کرد و پایه‌گذاری برای تست A/B مدرن را انجام داد.
در حوزه دیجیتال، تست A/B در اواخر دهه 1990 و اوایل 2000 با ظهور تجارت الکترونیک و بازاریابی دیجیتال به شهرت رسید. استفاده گوگل از تست A/B برای تعیین تعداد بهینه نتایج جستجو برای نمایش (2000) و استفاده گسترده آمازون از این روش برای بهینه‌سازی وب‌سایت، معمولاً به عنوان لحظات کلیدی در محبوبیت تست A/B دیجیتال ذکر می‌شود.
روش‌های آماری استفاده شده در تست A/B در طول زمان تکامل یافته‌اند و آزمایش‌های اولیه به مقایسه‌های ساده نرخ تبدیل متکی بودند. معرفی تکنیک‌های آماری پیشرفته‌تر، مانند استفاده از نمره‌های z و ارزش‌های p، دقت و قابلیت اطمینان نتایج تست A/B را بهبود بخشیده است.
امروزه، تست A/B بخشی جدایی‌ناپذیر از تصمیم‌گیری مبتنی بر داده در بسیاری از صنایع است و ابزارها و پلتفرم‌های نرم‌افزاری متعددی برای تسهیل این فرآیند در دسترس است.
گروه کنترل: 1000 بازدیدکننده، 100 تبدیل گروه تغییر: 1000 بازدیدکننده، 150 تبدیل نتیجه: بهبود معنادار آماری
گروه کنترل: 500 بازدیدکننده، 50 تبدیل گروه تغییر: 500 بازدیدکننده، 55 تبدیل نتیجه: غیر معنادار آماری
مورد حاشیه‌ای - اندازه نمونه کوچک: گروه کنترل: 20 بازدیدکننده، 2 تبدیل گروه تغییر: 20 بازدیدکننده، 6 تبدیل نتیجه: غیر معنادار آماری (با وجود تفاوت درصدی بزرگ)
مورد حاشیه‌ای - اندازه نمونه بزرگ: گروه کنترل: 1,000,000 بازدیدکننده، 200,000 تبدیل گروه تغییر: 1,000,000 بازدیدکننده، 201,000 تبدیل نتیجه: معنادار آماری (با وجود تفاوت درصدی کوچک)
مورد حاشیه‌ای - نرخ‌های تبدیل شدید: گروه کنترل: 10,000 بازدیدکننده، 9,950 تبدیل گروه تغییر: 10,000 بازدیدکننده، 9,980 تبدیل نتیجه: معنادار آماری، اما تقریب نرمال ممکن است قابل اعتماد نباشد
به یاد داشته باشید، تست A/B یک فرآیند مداوم است. از بینش‌های به‌دست‌آمده از هر تست برای اطلاع‌رسانی به آزمایش‌های آینده خود و بهبود مستمر محصولات دیجیتال و تلاش‌های بازاریابی خود استفاده کنید.
در اینجا پیاده‌سازی‌های محاسبه تست A/B در زبان‌های برنامه‌نویسی مختلف آورده شده است:
1=NORM.S.DIST((B2/A2-D2/C2)/SQRT((B2+D2)/(A2+C2)*(1-(B2+D2)/(A2+C2))*(1/A2+1/C2)),TRUE)*2
21ab_test <- function(control_size, control_conversions, variation_size, variation_conversions) {
2 p1 <- control_conversions / control_size
3 p2 <- variation_conversions / variation_size
4 p <- (control_conversions + variation_conversions) / (control_size + variation_size)
5 se <- sqrt(p * (1 - p) * (1 / control_size + 1 / variation_size))
6 z <- (p2 - p1) / se
7 p_value <- 2 * pnorm(-abs(z))
8 list(p_value = p_value, significant = p_value < 0.05)
9}
101import scipy.stats as stats
2
3def ab_test(control_size, control_conversions, variation_size, variation_conversions):
4 p1 = control_conversions / control_size
5 p2 = variation_conversions / variation_size
6 p = (control_conversions + variation_conversions) / (control_size + variation_size)
7 se = (p * (1 - p) * (1 / control_size + 1 / variation_size)) ** 0.5
8 z = (p2 - p1) / se
9 p_value = 2 * (1 - stats.norm.cdf(abs(z)))
10 return {"p_value": p_value, "significant": p_value < 0.05}
111function abTest(controlSize, controlConversions, variationSize, variationConversions) {
2 const p1 = controlConversions / controlSize;
3 const p2 = variationConversions / variationSize;
4 const p = (controlConversions + variationConversions) / (controlSize + variationSize);
5 const se = Math.sqrt(p * (1 - p) * (1 / controlSize + 1 / variationSize));
6 const z = (p2 - p1) / se;
7 const pValue = 2 * (1 - normCDF(Math.abs(z)));
8 return { pValue, significant: pValue < 0.05 };
9}
10
11function normCDF(x) {
12 const t = 1 / (1 + 0.2316419 * Math.abs(x));
13 const d = 0.3989423 * Math.exp(-x * x / 2);
14 let prob = d * t * (0.3193815 + t * (-0.3565638 + t * (1.781478 + t * (-1.821256 + t * 1.330274))));
15 if (x > 0) prob = 1 - prob;
16 return prob;
17}
18در اینجا یک نمودار SVG وجود دارد که مفهوم اهمیت آماری در تست A/B را نشان می‌دهد:
این نمودار یک منحنی توزیع نرمال را نشان می‌دهد که پایه‌گذار محاسبات تست A/B ما است. ناحیه بین -1.96 و +1.96 انحراف استاندارد از میانگین نمایانگر فاصله اطمینان 95% است. اگر تفاوت بین گروه‌های کنترل و تغییر شما خارج از این ناحیه باشد، در سطح 0.05 به عنوان معنادار آماری در نظر گرفته می‌شود.
این به‌روزرسانی‌ها توضیح جامع‌تری از تست A/B ارائه می‌دهد که شامل فرمول‌های ریاضی، پیاده‌سازی‌های کد، زمینه تاریخی و نمایش بصری است. محتوا اکنون به موارد حاشیه‌ای مختلف پرداخته و درمان جامع‌تری از موضوع را ارائه می‌دهد.
کشف ابزارهای بیشتری که ممکن است برای جریان کاری شما مفید باشند