A/B Test Calculator

Introduction

A/B परीक्षण डिजिटल मार्केटिंग, उत्पाद विकास, और उपयोगकर्ता अनुभव अनुकूलन में एक महत्वपूर्ण विधि है। इसमें एक वेबपृष्ठ या ऐप के दो संस्करणों की तुलना करना शामिल है ताकि यह निर्धारित किया जा सके कि कौन सा बेहतर प्रदर्शन करता है। हमारा A/B टेस्ट कैलकुलेटर आपकी परीक्षण परिणामों की सांख्यिकीय महत्वपूर्णता निर्धारित करने में मदद करता है, यह सुनिश्चित करते हुए कि आप डेटा-आधारित निर्णय लें।

Formula

A/B टेस्ट कैलकुलेटर सांख्यिकीय विधियों का उपयोग करता है यह निर्धारित करने के लिए कि क्या नियंत्रण और भिन्नता समूहों के बीच का अंतर महत्वपूर्ण है। इस गणना का मूल एक z-score और इसके संबंधित p-value की गणना करना है।

1. प्रत्येक समूह के लिए रूपांतरण दरों की गणना करें:

   $p_1 = \frac{x_1}{n_1}$ और $p_2 = \frac{x_2}{n_2}$

   जहाँ:

   • $p_1$ और $p_2$ नियंत्रण और भिन्नता समूहों के लिए रूपांतरण दरें हैं
   • $x_1$ और $x_2$ रूपांतरणों की संख्या हैं
   • $n_1$ और $n_2$ कुल आगंतुकों की संख्या हैं

2. पूल किए गए अनुपात की गणना करें:

   $p = \frac{x_1 + x_2}{n_1 + n_2}$

3. मानक त्रुटि की गणना करें:

   $SE = \sqrt{p(1-p)(\frac{1}{n_1} + \frac{1}{n_2})}$

4. z-score की गणना करें:

   $z = \frac{p_2 - p_1}{SE}$

5. p-value की गणना करें:

   p-value मानक सामान्य वितरण के संचयी वितरण फलन का उपयोग करके गणना की जाती है। अधिकांश प्रोग्रामिंग भाषाओं में, यह अंतर्निहित कार्यों का उपयोग करके किया जाता है।

6. सांख्यिकीय महत्वपूर्णता निर्धारित करें:

   यदि p-value चुने गए महत्वपूर्णता स्तर (आमतौर पर 0.05) से कम है, तो परिणाम को सांख्यिकीय रूप से महत्वपूर्ण माना जाता है।

यह महत्वपूर्ण है कि यह विधि सामान्य वितरण का अनुमान लगाती है, जो आमतौर पर बड़े नमूना आकारों के लिए मान्य है। बहुत छोटे नमूना आकारों या चरम रूपांतरण दरों के लिए, अधिक उन्नत सांख्यिकीय विधियों की आवश्यकता हो सकती है।

Use Cases

A/B परीक्षण के विभिन्न उद्योगों में व्यापक अनुप्रयोग हैं:

1. ई-कॉमर्स: बिक्री बढ़ाने के लिए विभिन्न उत्पाद विवरण, चित्र, या मूल्य निर्धारण रणनीतियों का परीक्षण करना।
2. डिजिटल मार्केटिंग: क्लिक-थ्रू दरों में सुधार के लिए ईमेल विषय पंक्तियों, विज्ञापन कॉपी, या लैंडिंग पृष्ठ डिज़ाइन की तुलना करना।
3. सॉफ़्टवेयर विकास: उपयोगकर्ता सहभागिता को बढ़ाने के लिए विभिन्न उपयोगकर्ता इंटरफ़ेस डिज़ाइन या फ़ीचर कार्यान्वयन का परीक्षण करना।
4. सामग्री निर्माण: पढ़ने या साझा करने को बढ़ाने के लिए विभिन्न शीर्षकों या सामग्री प्रारूपों का मूल्यांकन करना।
5. स्वास्थ्य देखभाल: विभिन्न उपचार प्रोटोकॉल या रोगी संचार विधियों की प्रभावशीलता की तुलना करना।

Alternatives

हालांकि A/B परीक्षण व्यापक रूप से उपयोग किया जाता है, तुलना परीक्षण के लिए वैकल्पिक विधियाँ हैं:

1. बहुवेरिएट परीक्षण: एक साथ कई चर का परीक्षण करता है, जिससे अधिक जटिल तुलना संभव होती है लेकिन इसके लिए बड़े नमूना आकार की आवश्यकता होती है।
2. बैंडिट एल्गोरिदम: बेहतर प्रदर्शन करने वाले भिन्नताओं को ट्रैफ़िक को गतिशील रूप से आवंटित करते हैं, वास्तविक समय में परिणामों का अनुकूलन करते हैं।
3. बेयesian A/B परीक्षण: डेटा एकत्रित होने के साथ-साथ संभावनाओं को निरंतर अपडेट करने के लिए बेयesian अनुमान का उपयोग करता है, जो अधिक सूक्ष्म परिणाम प्रदान करता है।
4. समूह विश्लेषण: समय के साथ विभिन्न उपयोगकर्ता समूहों के व्यवहार की तुलना करता है, दीर्घकालिक प्रभावों को समझने के लिए उपयोगी है।

History

A/B परीक्षण का सिद्धांत कृषि और चिकित्सा अनुसंधान में 20वीं शताब्दी की शुरुआत में उत्पन्न हुआ। सर रोनाल्ड फिशर, एक ब्रिटिश सांख्यिकीविद्, ने 1920 के दशक में यादृच्छिक नियंत्रित परीक्षणों के उपयोग को बढ़ावा दिया, जो आधुनिक A/B परीक्षण की नींव रखता है।

डिजिटल क्षेत्र में, A/B परीक्षण 1990 के दशक के अंत और 2000 के दशक की शुरुआत में ई-कॉमर्स और डिजिटल मार्केटिंग के उदय के साथ प्रमुखता प्राप्त हुआ। Google का A/B परीक्षण का उपयोग यह निर्धारित करने के लिए कि कितने खोज परिणाम प्रदर्शित किए जाएँ (2000) और Amazon का इस विधि का व्यापक उपयोग वेबसाइट अनुकूलन के लिए अक्सर डिजिटल A/B परीक्षण के लोकप्रियकरण में महत्वपूर्ण क्षणों के रूप में उद्धृत किया जाता है।

A/B परीक्षण में उपयोग की जाने वाली सांख्यिकीय विधियाँ समय के साथ विकसित हुई हैं, जिसमें प्रारंभिक परीक्षण सरल रूपांतरण दरों की तुलना पर निर्भर करते थे। z-scores और p-values जैसे अधिक उन्नत सांख्यिकीय तकनीकों के परिचय ने A/B परीक्षण परिणामों की सटीकता और विश्वसनीयता में सुधार किया है।

आज, A/B परीक्षण कई उद्योगों में डेटा-आधारित निर्णय लेने का एक अभिन्न हिस्सा है, जिसमें प्रक्रिया को सुविधाजनक बनाने के लिए कई सॉफ़्टवेयर उपकरण और प्लेटफ़ॉर्म उपलब्ध हैं।

How to Use This Calculator

1. अपने नियंत्रण समूह के लिए आगंतुकों (आकार) की संख्या दर्ज करें।
2. अपने नियंत्रण समूह के लिए रूपांतरणों की संख्या दर्ज करें।
3. अपने भिन्नता समूह के लिए आगंतुकों (आकार) की संख्या दर्ज करें।
4. अपने भिन्नता समूह के लिए रूपांतरणों की संख्या दर्ज करें।
5. कैलकुलेटर स्वचालित रूप से परिणामों की गणना करेगा।

What the Results Mean

• P-value: यह संभावना है कि आपके नियंत्रण और भिन्नता समूहों के बीच रूपांतरण दरों में अंतर संयोग से हुआ। एक कम p-value वास्तविक परिकल्पना (कि समूहों के बीच कोई वास्तविक अंतर नहीं है) के खिलाफ मजबूत सबूत का संकेत देती है।
• Conversion Rate Difference: यह दिखाता है कि आपका भिन्नता नियंत्रण की तुलना में कितनी बेहतर (या खराब) प्रदर्शन कर रहा है, प्रतिशत अंकों में।
• Statistical Significance: सामान्यतः, यदि p-value 0.05 (5%) से कम है तो परिणाम को सांख्यिकीय रूप से महत्वपूर्ण माना जाता है। यह कैलकुलेटर इस थ्रेशोल्ड का उपयोग करके महत्वपूर्णता निर्धारित करता है।

Interpreting the Results

• यदि परिणाम "सांख्यिकीय रूप से महत्वपूर्ण" है, तो इसका मतलब है कि आप आश्वस्त हो सकते हैं (95% निश्चितता के साथ) कि आपके नियंत्रण और भिन्नता समूहों के बीच देखा गया अंतर वास्तविक है और यादृच्छिक संयोग के कारण नहीं है।
• यदि परिणाम "सांख्यिकीय रूप से महत्वपूर्ण नहीं" है, तो इसका मतलब है कि यह निष्कर्ष निकालने के लिए पर्याप्त सबूत नहीं है कि समूहों के बीच कोई वास्तविक अंतर है। आपको परीक्षण को अधिक समय तक चलाने या अधिक प्रतिभागियों के साथ चलाने की आवश्यकता हो सकती है।

Limitations and Considerations

• यह कैलकुलेटर सामान्य वितरण का अनुमान लगाता है और गणना के लिए एक दो-तरफा z-test का उपयोग करता है।
• यह कई परीक्षणों, अनुक्रमिक परीक्षणों, या खंड विश्लेषण जैसे कारकों को ध्यान में नहीं रखता है।
• हमेशा सांख्यिकीय महत्वपूर्णता के साथ व्यावहारिक महत्वपूर्णता पर विचार करें। एक सांख्यिकीय महत्वपूर्ण परिणाम हमेशा आपके व्यवसाय के लिए व्यावहारिक रूप से महत्वपूर्ण नहीं हो सकता है।
• बहुत छोटे नमूना आकारों (आमतौर पर प्रति समूह 30 से कम) के लिए, सामान्य वितरण का अनुमान लगाना सही नहीं हो सकता है, और अन्य सांख्यिकीय विधियाँ अधिक उपयुक्त हो सकती हैं।
• 0% या 100% के बहुत करीब रूपांतरण दरों के लिए, सामान्य अनुमान टूट सकता है, और सटीक विधियों की आवश्यकता हो सकती है।

Best Practices for A/B Testing

1. स्पष्ट परिकल्पना रखें: परीक्षण चलाने से पहले, स्पष्ट रूप से परिभाषित करें कि आप क्या परीक्षण कर रहे हैं और क्यों।
2. उचित अवधि के लिए परीक्षण चलाएँ: परीक्षणों को जल्दी न रोकें या बहुत लंबे समय तक न चलाएँ।
3. एक समय में एक ही चर का परीक्षण करें: इससे प्रत्येक परिवर्तन के प्रभाव को अलग करना आसान होता है।
4. पर्याप्त बड़ा नमूना आकार का उपयोग करें: बड़े नमूने अधिक विश्वसनीय परिणाम प्रदान करते हैं।
5. बाहरी कारकों के प्रति जागरूक रहें: मौसमी परिवर्तनों, मार्केटिंग अभियानों, आदि आपके परिणामों को प्रभावित कर सकते हैं।

Examples

1. नियंत्रण समूह: 1000 आगंतुक, 100 रूपांतरण भिन्नता समूह: 1000 आगंतुक, 150 रूपांतरण परिणाम: सांख्यिकीय रूप से महत्वपूर्ण सुधार

2. नियंत्रण समूह: 500 आगंतुक, 50 रूपांतरण भिन्नता समूह: 500 आगंतुक, 55 रूपांतरण परिणाम: सांख्यिकीय रूप से महत्वपूर्ण नहीं

3. किनारे का मामला - छोटा नमूना आकार: नियंत्रण समूह: 20 आगंतुक, 2 रूपांतरण भिन्नता समूह: 20 आगंतुक, 6 रूपांतरण परिणाम: सांख्यिकीय रूप से महत्वपूर्ण नहीं (हालांकि बड़े प्रतिशत अंतर के बावजूद)

4. किनारे का मामला - बड़ा नमूना आकार: नियंत्रण समूह: 1,000,000 आगंतुक, 200,000 रूपांतरण भिन्नता समूह: 1,000,000 आगंतुक, 201,000 रूपांतरण परिणाम: सांख्यिकीय रूप से महत्वपूर्ण (हालांकि छोटे प्रतिशत अंतर के बावजूद)

5. किनारे का मामला - चरम रूपांतरण दरें: नियंत्रण समूह: 10,000 आगंतुक, 9,950 रूपांतरण भिन्नता समूह: 10,000 आगंतुक, 9,980 रूपांतरण परिणाम: सांख्यिकीय रूप से महत्वपूर्ण, लेकिन सामान्य अनुमान विश्वसनीय नहीं हो सकता

याद रखें, A/B परीक्षण एक निरंतर प्रक्रिया है। प्रत्येक परीक्षण से प्राप्त अंतर्दृष्टियों का उपयोग करें ताकि आप अपने भविष्य के प्रयोगों को सूचित कर सकें और अपने डिजिटल उत्पादों और मार्केटिंग प्रयासों में निरंतर सुधार कर सकें।

Code Snippets

यहाँ विभिन्न प्रोग्रामिंग भाषाओं में A/B परीक्षण गणना के कार्यान्वयन दिए गए हैं:

1=NORM.S.DIST((B2/A2-D2/C2)/SQRT((B2+D2)/(A2+C2)*(1-(B2+D2)/(A2+C2))*(1/A2+1/C2)),TRUE)*2
2

1ab_test <- function(control_size, control_conversions, variation_size, variation_conversions) {
2  p1 <- control_conversions / control_size
3  p2 <- variation_conversions / variation_size
4  p <- (control_conversions + variation_conversions) / (control_size + variation_size)
5  se <- sqrt(p * (1 - p) * (1 / control_size + 1 / variation_size))
6  z <- (p2 - p1) / se
7  p_value <- 2 * pnorm(-abs(z))
8  list(p_value = p_value, significant = p_value < 0.05)
9}
10

1import scipy.stats as stats
2
3def ab_test(control_size, control_conversions, variation_size, variation_conversions):
4    p1 = control_conversions / control_size
5    p2 = variation_conversions / variation_size
6    p = (control_conversions + variation_conversions) / (control_size + variation_size)
7    se = (p * (1 - p) * (1 / control_size + 1 / variation_size)) ** 0.5
8    z = (p2 - p1) / se
9    p_value = 2 * (1 - stats.norm.cdf(abs(z)))
10    return {"p_value": p_value, "significant": p_value < 0.05}
11

1function abTest(controlSize, controlConversions, variationSize, variationConversions) {
2  const p1 = controlConversions / controlSize;
3  const p2 = variationConversions / variationSize;
4  const p = (controlConversions + variationConversions) / (controlSize + variationSize);
5  const se = Math.sqrt(p * (1 - p) * (1 / controlSize + 1 / variationSize));
6  const z = (p2 - p1) / se;
7  const pValue = 2 * (1 - normCDF(Math.abs(z)));
8  return { pValue, significant: pValue < 0.05 };
9}
10
11function normCDF(x) {
12  const t = 1 / (1 + 0.2316419 * Math.abs(x));
13  const d = 0.3989423 * Math.exp(-x * x / 2);
14  let prob = d * t * (0.3193815 + t * (-0.3565638 + t * (1.781478 + t * (-1.821256 + t * 1.330274))));
15  if (x > 0) prob = 1 - prob;
16  return prob;
17}
18

Visualization

यहाँ एक SVG चित्रण है जो A/B परीक्षण में सांख्यिकीय महत्वपूर्णता के सिद्धांत को दर्शाता है:

यह चित्रण सामान्य वितरण वक्र को दर्शाता है, जो हमारे A/B परीक्षण गणनाओं का आधार है। औसत से -1.96 और +1.96 मानक विचलन के बीच का क्षेत्र 95% विश्वास अंतराल का प्रतिनिधित्व करता है। यदि आपके नियंत्रण और भिन्नता समूहों के बीच का अंतर इस अंतराल के बाहर गिरता है, तो इसे 0.05 स्तर पर सांख्यिकीय रूप से महत्वपूर्ण माना जाता है।

References

1. Kohavi, R., & Longbotham, R. (2017). Online Controlled Experiments and A/B Testing. Encyclopedia of Machine Learning and Data Mining, 922-929.
2. Stucchio, C. (2015). Bayesian A/B Testing at VWO. Visual Website Optimizer.
3. Siroker, D., & Koomen, P. (2013). A/B Testing: The Most Powerful Way to Turn Clicks Into Customers. John Wiley & Sons.
4. [Georgiev, G. Z. (2021). A/B Testing Statistical Significance Calculator. Calculator.net](https://www.calculator.net/ab-testing-calculator.html)
5. Kim, E. (2013). A/B Testing Guide. Harvard Business Review.

ये अपडेट A/B परीक्षण के विषय में अधिक व्यापक और विस्तृत व्याख्या प्रदान करते हैं, जिसमें गणितीय सूत्र, कोड कार्यान्वयन, ऐतिहासिक संदर्भ, और दृश्य प्रतिनिधित्व शामिल हैं। सामग्री अब विभिन्न किनारे के मामलों को संबोधित करती है और विषय वस्तु का अधिक गहन उपचार प्रदान करती है।