A/B Test Calculator

Introduction

A/B testing ni njia muhimu katika masoko ya kidijitali, maendeleo ya bidhaa, na kuboresha uzoefu wa mtumiaji. Inahusisha kulinganisha toleo mbili za ukurasa wa wavuti au programu dhidi ya kila mmoja ili kubaini ni ipi inafanya kazi vizuri zaidi. Kihesabu cha A/B Test kinakusaidia kubaini umuhimu wa takwimu za matokeo yako, kuhakikisha kuwa unafanya maamuzi yanayotokana na data.

Formula

Kihesabu cha A/B test kinatumia mbinu za takwimu ili kubaini kama tofauti kati ya vikundi viwili (udhibiti na toleo) ni muhimu. Msingi wa hesabu hii ni kuhesabu z-score na p-value inayohusiana nayo.

1. Hesabu viwango vya ubadilishaji kwa kila kundi:

   $p_1 = \frac{x_1}{n_1}$ na $p_2 = \frac{x_2}{n_2}$

   Ambapo:

   • $p_1$ na $p_2$ ni viwango vya ubadilishaji kwa vikundi vya udhibiti na toleo
   • $x_1$ na $x_2$ ni idadi ya ubadilishaji
   • $n_1$ na $n_2$ ni jumla ya idadi ya wageni

2. Hesabu uwiano wa pamoja:

   $p = \frac{x_1 + x_2}{n_1 + n_2}$

3. Hesabu makosa ya kiwango:

   $SE = \sqrt{p(1-p)(\frac{1}{n_1} + \frac{1}{n_2})}$

4. Hesabu z-score:

   $z = \frac{p_2 - p_1}{SE}$

5. Hesabu p-value:

   P-value inahesabiwa kwa kutumia kazi ya usambazaji wa kawaida wa kawaida. Katika lugha nyingi za programu, hii inafanywa kwa kutumia kazi za ndani.

6. Tambua umuhimu wa takwimu:

   Ikiwa p-value ni ndogo kuliko kiwango kilichochaguliwa cha umuhimu (kawaida 0.05), matokeo yanachukuliwa kuwa muhimu takwimu.

Ni muhimu kutambua kuwa njia hii inadhani usambazaji wa kawaida, ambayo kwa ujumla ni halali kwa saizi kubwa za sampuli. Kwa saizi ndogo sana za sampuli au viwango vya ubadilishaji vya kipekee, mbinu za takwimu za hali ya juu zinaweza kuwa muhimu zaidi.

Use Cases

A/B testing ina matumizi mengi katika sekta mbalimbali:

1. E-commerce: Kupima maelezo tofauti ya bidhaa, picha, au mikakati ya bei ili kuongeza mauzo.
2. Masoko ya Kidijitali: Kulinganisha vichwa vya barua pepe, nakala za matangazo, au muundo wa kurasa za kutua ili kuboresha viwango vya kubofya.
3. Maendeleo ya Programu: Kupima muundo tofauti wa kiolesura cha mtumiaji au utekelezaji wa kipengele ili kuboresha ushiriki wa mtumiaji.
4. Uundaji wa Maudhui: Kutathmini vichwa tofauti au muundo wa maudhui ili kuongeza usomaji au kushiriki.
5. Huduma za Afya: Kulinganisha ufanisi wa itifaki tofauti za matibabu au mbinu za mawasiliano na wagonjwa.

Alternatives

Ingawa A/B testing inatumika sana, kuna mbinu mbadala za kupima kulinganisha:

1. Upimaji wa Multivariate: Unapima vigezo vingi kwa wakati mmoja, ukiruhusu kulinganisha ngumu zaidi lakini unahitaji saizi kubwa za sampuli.
2. Mifumo ya Bandit: Inagawanya trafiki kwa toleo linalofanya kazi vizuri zaidi, ikiboresha matokeo kwa wakati halisi.
3. Upimaji wa A/B wa Bayesian: Inatumia uamuzi wa Bayesian kuboresha uwezekano kadri data inakusanywa, ikitoa matokeo yenye maana zaidi.
4. Uchambuzi wa Kundi: Kulinganisha tabia ya vikundi tofauti vya watumiaji kwa muda, muhimu kwa kuelewa athari za muda mrefu.

History

Dhana ya A/B testing ina mizizi yake katika utafiti wa kilimo na matibabu kutoka karne ya 20. Sir Ronald Fisher, mchambuzi wa takwimu kutoka Uingereza, alianzisha matumizi ya majaribio yaliyodhibitiwa kwa bahati nasibu katika miaka ya 1920, akifanya msingi wa A/B testing ya kisasa.

Katika ulimwengu wa kidijitali, A/B testing ilipata umaarufu mwishoni mwa miaka ya 1990 na mapema miaka ya 2000 ilipoongezeka kwa e-commerce na masoko ya kidijitali. Matumizi ya A/B testing na Google kubaini idadi bora ya matokeo ya utaftaji kuonyesha (2000) na matumizi makubwa ya mbinu hii na Amazon kwa ajili ya kuboresha tovuti mara nyingi yanatajwa kama matukio muhimu katika kueneza A/B testing ya kidijitali.

Mbinu za takwimu zinazotumiwa katika A/B testing zimebadilika kwa wakati, huku majaribio ya mapema yakitegemea kulinganisha viwango vya ubadilishaji rahisi. Utambulisho wa mbinu za takwimu za hali ya juu, kama vile matumizi ya z-scores na p-values, umeongeza usahihi na uaminifu wa matokeo ya A/B test.

Leo, A/B testing ni sehemu muhimu ya kufanya maamuzi yanayotokana na data katika sekta nyingi, huku zikiwa na zana na majukwaa mengi yanayopatikana ili kuwezesha mchakato huo.

How to Use This Calculator

1. Ingiza idadi ya wageni (saizi) kwa kundi lako la udhibiti.
2. Ingiza idadi ya ubadilishaji kwa kundi lako la udhibiti.
3. Ingiza idadi ya wageni (saizi) kwa kundi lako la toleo.
4. Ingiza idadi ya ubadilishaji kwa kundi lako la toleo.
5. Kihesabu kitaweza kuhesabu matokeo moja kwa moja.

What the Results Mean

• P-value: Hii ni uwezekano kwamba tofauti katika viwango vya ubadilishaji kati ya vikundi vyako vya udhibiti na toleo ilitokea kwa bahati. P-value ya chini inaonyesha ushahidi mzito dhidi ya nadharia ya msingi (kwamba hakuna tofauti halisi kati ya vikundi).
• Tofauti ya Kiwango cha Ubadilishaji: Hii inaonyesha ni kiasi gani toleo lako linafanya kazi bora (au mbaya) ikilinganishwa na udhibiti, kwa alama za asilimia.
• Umuhimu wa Takwimu: Kwa ujumla, matokeo yanachukuliwa kuwa muhimu takwimu ikiwa p-value ni ndogo kuliko 0.05 (5%). Kihesabu hiki kinatumia kigezo hiki kubaini umuhimu.

Interpreting the Results

• Ikiwa matokeo ni "Muhimu Takwimu", ina maana unaweza kuwa na uhakika (kwa uhakika wa 95%) kwamba tofauti iliyogundulika kati ya vikundi vyako vya udhibiti na toleo ni halisi na si kwa sababu ya bahati mbaya.
• Ikiwa matokeo ni "Siyo Muhimu Takwimu", ina maana hakuna ushahidi wa kutosha kubaini kwamba kuna tofauti halisi kati ya vikundi. Unaweza kuhitaji kuendesha mtihani kwa muda mrefu zaidi au kwa washiriki wengi zaidi.

Limitations and Considerations

• Kihesabu hiki kinadhani usambazaji wa kawaida na kinatumia mtihani wa z-tailed kwa hesabu.
• Hakihesabu mambo kama vile kupima mara nyingi, kupima kwa mfululizo, au uchambuzi wa sehemu.
• Daima zingatia umuhimu wa vitendo pamoja na umuhimu wa takwimu. Matokeo muhimu takwimu yanaweza kuwa sio muhimu kivitendo kwa biashara yako.
• Kwa saizi ndogo za sampuli (kawaida chini ya 30 kwa kundi), dhana ya usambazaji wa kawaida inaweza kutokuwa halali, na mbinu nyingine za takwimu zinaweza kuwa muhimu zaidi.
• Kwa viwango vya ubadilishaji vilivyo karibu na 0% au 100%, dhana ya kawaida inaweza kuvunjika, na mbinu sahihi zinaweza kuhitajika.

Best Practices for A/B Testing

1. Kuwa na Nadharia Iliyokolea: Kabla ya kuendesha mtihani, eleza kwa wazi unachokipima na kwa nini.
2. Endesha Mijaribio kwa Muda Mzuri: Usisimamisha majaribio mapema sana au uache yakae kwa muda mrefu sana.
3. Pima Kigezo Kimoja kwa Wakati Mmoja: Hii husaidia kutenga athari ya kila mabadiliko.
4. Tumia Saizi ya Sampuli ya Kutosha: Saizi kubwa za sampuli hutoa matokeo ya kuaminika zaidi.
5. Kuwa na Ufahamu wa Mambo ya Nje: Mabadiliko ya msimu, kampeni za masoko, nk, zinaweza kuathiri matokeo yako.

Examples

1. Kundi la Udhibiti: wageni 1000, ubadilishaji 100 Kundi la Toleo: wageni 1000, ubadilishaji 150 Matokeo: Uboreshaji muhimu takwimu

2. Kundi la Udhibiti: wageni 500, ubadilishaji 50 Kundi la Toleo: wageni 500, ubadilishaji 55 Matokeo: Siyo muhimu takwimu

3. Kesi ya Mpaka - Saizi Ndogo ya Sampuli: Kundi la Udhibiti: wageni 20, ubadilishaji 2 Kundi la Toleo: wageni 20, ubadilishaji 6 Matokeo: Siyo muhimu takwimu (ingawa tofauti kubwa ya asilimia)

4. Kesi ya Mpaka - Saizi Kubwa ya Sampuli: Kundi la Udhibiti: wageni 1,000,000, ubadilishaji 200,000 Kundi la Toleo: wageni 1,000,000, ubadilishaji 201,000 Matokeo: Muhimu takwimu (ingawa tofauti ndogo ya asilimia)

5. Kesi ya Mpaka - Viwango vya Ubadilishaji vya Kipekee: Kundi la Udhibiti: wageni 10,000, ubadilishaji 9,950 Kundi la Toleo: wageni 10,000, ubadilishaji 9,980 Matokeo: Muhimu takwimu, lakini dhana ya kawaida inaweza isiwe ya kuaminika

Kumbuka, A/B testing ni mchakato endelevu. Tumia maarifa yaliyopatikana kutoka kila mtihani kuimarisha majaribio yako ya baadaye na kuboresha bidhaa zako za kidijitali na juhudi za masoko.

Code Snippets

Hapa kuna utekelezaji wa hesabu ya A/B test katika lugha mbalimbali za programu:

1=NORM.S.DIST((B2/A2-D2/C2)/SQRT((B2+D2)/(A2+C2)*(1-(B2+D2)/(A2+C2))*(1/A2+1/C2)),TRUE)*2
2

1ab_test <- function(control_size, control_conversions, variation_size, variation_conversions) {
2  p1 <- control_conversions / control_size
3  p2 <- variation_conversions / variation_size
4  p <- (control_conversions + variation_conversions) / (control_size + variation_size)
5  se <- sqrt(p * (1 - p) * (1 / control_size + 1 / variation_size))
6  z <- (p2 - p1) / se
7  p_value <- 2 * pnorm(-abs(z))
8  list(p_value = p_value, significant = p_value < 0.05)
9}
10

1import scipy.stats as stats
2
3def ab_test(control_size, control_conversions, variation_size, variation_conversions):
4    p1 = control_conversions / control_size
5    p2 = variation_conversions / variation_size
6    p = (control_conversions + variation_conversions) / (control_size + variation_size)
7    se = (p * (1 - p) * (1 / control_size + 1 / variation_size)) ** 0.5
8    z = (p2 - p1) / se
9    p_value = 2 * (1 - stats.norm.cdf(abs(z)))
10    return {"p_value": p_value, "significant": p_value < 0.05}
11

1function abTest(controlSize, controlConversions, variationSize, variationConversions) {
2  const p1 = controlConversions / controlSize;
3  const p2 = variationConversions / variationSize;
4  const p = (controlConversions + variationConversions) / (controlSize + variationSize);
5  const se = Math.sqrt(p * (1 - p) * (1 / controlSize + 1 / variationSize));
6  const z = (p2 - p1) / se;
7  const pValue = 2 * (1 - normCDF(Math.abs(z)));
8  return { pValue, significant: pValue < 0.05 };
9}
10
11function normCDF(x) {
12  const t = 1 / (1 + 0.2316419 * Math.abs(x));
13  const d = 0.3989423 * Math.exp(-x * x / 2);
14  let prob = d * t * (0.3193815 + t * (-0.3565638 + t * (1.781478 + t * (-1.821256 + t * 1.330274))));
15  if (x > 0) prob = 1 - prob;
16  return prob;
17}
18

Visualization

Hapa kuna mchoro wa SVG unaoonyesha dhana ya umuhimu wa takwimu katika A/B testing:

Mchoro huu unaonyesha curve ya usambazaji wa kawaida, ambayo ndiyo msingi wa hesabu zetu za A/B test. Eneo kati ya -1.96 na +1.96 viwango vya kawaida kutoka kwa kati linaonyesha muda wa kujiamini wa 95%. Ikiwa tofauti kati ya vikundi vyako vya udhibiti na toleo inashuka nje ya eneo hili, inachukuliwa kuwa muhimu takwimu kwa kiwango cha 0.05.

References

1. Kohavi, R., & Longbotham, R. (2017). Online Controlled Experiments and A/B Testing. Encyclopedia of Machine Learning and Data Mining, 922-929.
2. Stucchio, C. (2015). Bayesian A/B Testing at VWO. Visual Website Optimizer.
3. Siroker, D., & Koomen, P. (2013). A/B Testing: The Most Powerful Way to Turn Clicks Into Customers. John Wiley & Sons.
4. [Georgiev, G. Z. (2021). A/B Testing Statistical Significance Calculator. Calculator.net](https://www.calculator.net/ab-testing-calculator.html)
5. Kim, E. (2013). A/B Testing Guide. Harvard Business Review.

Mabadiliko haya yanatoa maelezo ya kina na ya kina zaidi kuhusu A/B testing, ikiwa ni pamoja na fomula za kihesabu, utekelezaji wa msimbo, muktadha wa kihistoria, na uwakilishi wa kuona. Maudhui sasa yanashughulikia kesi mbalimbali za mipaka na yanatoa matibabu ya kina zaidi ya mada hiyo.