A/B Test Kalkulators

Ievads

A/B testēšana ir būtiska metode digitālajā mārketingā, produktu izstrādē un lietotāju pieredzes optimizācijā. Tā ietver divu versiju salīdzināšanu tīmekļa lapā vai lietotnē, lai noteiktu, kura no tām darbojas labāk. Mūsu A/B Test Kalkulators palīdz jums noteikt jūsu testēšanas rezultātu statistisko nozīmīgumu, nodrošinot, ka jūs pieņemat lēmumus, balstoties uz datiem.

Formula

A/B testēšanas kalkulators izmanto statistikas metodes, lai noteiktu, vai atšķirība starp divām grupām (kontroles un varianta) ir nozīmīga. Šīs aprēķina pamatā ir z-scores un to atbilstošo p-vērtību aprēķināšana.

1. Aprēķiniet konversijas likmes katrai grupai:

   $p_1 = \frac{x_1}{n_1}$ un $p_2 = \frac{x_2}{n_2}$

   Kur:

   • $p_1$ un $p_2$ ir konversijas likmes kontroles un varianta grupām
   • $x_1$ un $x_2$ ir konversiju skaits
   • $n_1$ un $n_2$ ir kopējais apmeklētāju skaits

2. Aprēķiniet apvienoto proporciju:

   $p = \frac{x_1 + x_2}{n_1 + n_2}$

3. Aprēķiniet standarta kļūdu:

   $SE = \sqrt{p(1-p)(\frac{1}{n_1} + \frac{1}{n_2})}$

4. Aprēķiniet z-score:

   $z = \frac{p_2 - p_1}{SE}$

5. Aprēķiniet p-vērtību:

   P-vērtība tiek aprēķināta, izmantojot standarta normālās sadalījuma kumulatīvās sadalījuma funkciju. Lielākajā daļā programmēšanas valodu to veic, izmantojot iebūvētās funkcijas.

6. Nosakiet statistisko nozīmīgumu:

   Ja p-vērtība ir mazāka par izvēlēto nozīmīguma līmeni (parasti 0,05), rezultāts tiek uzskatīts par statistiski nozīmīgu.

Ir svarīgi atzīmēt, ka šī metode pieņem normālo sadalījumu, kas parasti ir spēkā lieliem paraugiem. Ļoti maziem paraugiem vai ekstrēmām konversijas likmēm var būt nepieciešamas sarežģītākas statistikas metodes.

Lietošanas gadījumi

A/B testēšanai ir plaša pielietojuma joma dažādās nozarēs:

1. E-komercija: Testējot dažādus produktu aprakstus, attēlus vai cenu stratēģijas, lai palielinātu pārdošanu.
2. Digitālais mārketings: Salīdzinot e-pasta virsrakstus, reklāmas tekstus vai nosēšanās lapu dizainus, lai uzlabotu klikšķu caurlaidības likmes.
3. Programmatūras izstrāde: Testējot dažādus lietotāja interfeisa dizainus vai funkciju īstenojumus, lai uzlabotu lietotāju iesaisti.
4. Satura izveide: Novērtējot dažādus virsrakstus vai satura formātus, lai palielinātu lasītāju skaitu vai koplietošanu.
5. Veselības aprūpe: Salīdzinot dažādu ārstēšanas protokolu vai pacientu komunikācijas metožu efektivitāti.

Alternatīvas

Lai gan A/B testēšana tiek plaši izmantota, ir arī alternatīvas metodes salīdzināšanas testēšanai:

1. Multivariatīvā testēšana: Testē vairākas mainīgās vienlaikus, ļaujot veikt sarežģītākas salīdzināšanas, bet prasa lielākus paraugus.
2. Bandītu algoritmi: Dinamiski piešķir trafiku labākajiem variantiem, optimizējot rezultātus reālajā laikā.
3. Bayes A/B testēšana: Izmanto Bayesa secinājumus, lai nepārtraukti atjauninātu varbūtības, kamēr dati tiek vākti, sniedzot niansētākus rezultātus.
4. Kotrā analīze: Salīdzina dažādu lietotāju grupu uzvedību laika gaitā, kas noder, lai saprastu ilgtermiņa efektus.

Vēsture

A/B testēšanas koncepts ir radies lauksaimniecības un medicīnas pētījumos 20. gadsimta sākumā. Sers Ronalds Fišers, britu statistiķis, 1920. gados ieviesa randomizētus kontrolētus izmēģinājumus, iezīmējot pamatu mūsdienu A/B testēšanai.

Digitālajā jomā A/B testēšana ieguva popularitāti 1990. gadu beigās un 2000. gadu sākumā ar e-komercijas un digitālā mārketinga pieaugumu. Google izmantoja A/B testēšanu, lai noteiktu optimālo meklēšanas rezultātu skaitu, ko parādīt (2000), un Amazon plaši izmantoja šo metodi tīmekļa optimizācijai, kas bieži tiek minēti kā izšķiroši brīži digitālās A/B testēšanas popularizēšanā.

Statistikas metodes, ko izmanto A/B testēšanā, laika gaitā ir attīstījušās, agrīnie testi paļāvās uz vienkāršām konversijas likmju salīdzināšanām. Sarežģītāku statistikas tehniku, piemēram, z-scores un p-vērtību izmantošana, ir uzlabojusi A/B testēšanas rezultātu precizitāti un uzticamību.

Mūsdienās A/B testēšana ir neatņemama daļa no datiem balstītu lēmumu pieņemšanas daudzās nozarēs, un ir pieejami daudzi programmatūras rīki un platformas, lai atvieglotu šo procesu.

Kā izmantot šo kalkulatoru

1. Ievadiet apmeklētāju skaitu (izmēru) jūsu kontroles grupā.
2. Ievadiet konversiju skaitu jūsu kontroles grupā.
3. Ievadiet apmeklētāju skaitu (izmēru) jūsu varianta grupā.
4. Ievadiet konversiju skaitu jūsu varianta grupā.
5. Kalkulators automātiski aprēķinās rezultātus.

Ko nozīmē rezultāti

• P-vērtība: Tā ir varbūtība, ka atšķirība konversijas likmēs starp jūsu kontroles un varianta grupām radusies nejauši. Zemāka p-vērtība norāda uz spēcīgāku pierādījumu pret nulles hipotēzi (ka starp grupām nav reālas atšķirības).
• Konversijas likmes atšķirība: Tas parāda, cik daudz labāk (vai sliktāk) jūsu variants darbojas salīdzinājumā ar jūsu kontroli, procentu punktos.
• Statistiskā nozīmība: Parasti rezultāts tiek uzskatīts par statistiski nozīmīgu, ja p-vērtība ir mazāka par 0,05 (5%). Šis kalkulators izmanto šo slieksni, lai noteiktu nozīmīgumu.

Rezultātu interpretācija

• Ja rezultāts ir "Statistiski nozīmīgs", tas nozīmē, ka jūs varat būt pārliecināts (ar 95% pārliecību), ka novērotā atšķirība starp jūsu kontroles un varianta grupām ir reāla un nav nejaušības rezultāts.
• Ja rezultāts ir "Nav statistiski nozīmīgs", tas nozīmē, ka nav pietiekamu pierādījumu, lai secinātu, ka starp grupām ir reāla atšķirība. Jums var būt nepieciešams veikt testu ilgāk vai ar vairāk dalībniekiem.

Ierobežojumi un apsvērumi

• Šis kalkulators pieņem normālo sadalījumu un izmanto divu virzienu z-testu aprēķināšanai.
• Tas neņem vērā tādus faktorus kā vairāku testēšana, secīgā testēšana vai segmentu analīze.
• Vienmēr ņemiet vērā praktisko nozīmīgumu kopā ar statistisko nozīmīgumu. Statistiski nozīmīgs rezultāts var nebūt praktiski svarīgs jūsu biznesam.
• Ļoti maziem paraugiem (parasti mazāk nekā 30 grupā) normālā sadalījuma pieņēmums var nebūt spēkā, un var būt piemērotākas citas statistikas metodes.
• Konversijas likmēm, kas ir ļoti tuvas 0% vai 100%, normālā pieeja var sabrukt, un var būt nepieciešamas precīzas metodes.

Labākās prakses A/B testēšanai

1. Iegūstiet skaidru hipotēzi: Pirms testēšanas skaidri definējiet, ko testējat un kāpēc.
2. Veiciet testus atbilstošā ilgumā: Nepārtrauciet testus pārāk agri vai ļaujiet tiem darboties pārāk ilgi.
3. Testējiet vienu mainīgo vienlaikus: Tas palīdz izolēt katra izmaiņu efekts.
4. Izmantojiet pietiekami lielu paraugu izmēru: Lielāki paraugi sniedz uzticamākus rezultātus.
5. Esiet informēti par ārējiem faktoriem: Sezonas izmaiņas, mārketinga kampaņas utt. var ietekmēt jūsu rezultātus.

Piemēri

1. Kontroles grupa: 1000 apmeklētāji, 100 konversijas Varianta grupa: 1000 apmeklētāji, 150 konversijas Rezultāts: Statistiski nozīmīga uzlabošanās

2. Kontroles grupa: 500 apmeklētāji, 50 konversijas Varianta grupa: 500 apmeklētāji, 55 konversijas Rezultāts: Nav statistiski nozīmīgs

3. Malas gadījums - mazs paraugs: Kontroles grupa: 20 apmeklētāji, 2 konversijas Varianta grupa: 20 apmeklētāji, 6 konversijas Rezultāts: Nav statistiski nozīmīgs (neskatoties uz lielo procentuālo atšķirību)

4. Malas gadījums - liels paraugs: Kontroles grupa: 1,000,000 apmeklētāji, 200,000 konversijas Varianta grupa: 1,000,000 apmeklētāji, 201,000 konversijas Rezultāts: Statistiski nozīmīgs (neskatoties uz mazo procentuālo atšķirību)

5. Malas gadījums - ekstrēmas konversijas likmes: Kontroles grupa: 10,000 apmeklētāji, 9,950 konversijas Varianta grupa: 10,000 apmeklētāji, 9,980 konversijas Rezultāts: Statistiski nozīmīgs, bet normālā pieeja var nebūt uzticama

Atcerieties, A/B testēšana ir nepārtraukts process. Izmantojiet katra testa iegūtos ieskatus, lai informētu par nākamajiem eksperimentiem un nepārtraukti uzlabotu savus digitālos produktus un mārketinga centienus.

Koda fragmenti

Šeit ir A/B testēšanas aprēķina īstenojumi dažādās programmēšanas valodās:

1=NORM.S.DIST((B2/A2-D2/C2)/SQRT((B2+D2)/(A2+C2)*(1-(B2+D2)/(A2+C2))*(1/A2+1/C2)),TRUE)*2
2

1ab_test <- function(control_size, control_conversions, variation_size, variation_conversions) {
2  p1 <- control_conversions / control_size
3  p2 <- variation_conversions / variation_size
4  p <- (control_conversions + variation_conversions) / (control_size + variation_size)
5  se <- sqrt(p * (1 - p) * (1 / control_size + 1 / variation_size))
6  z <- (p2 - p1) / se
7  p_value <- 2 * pnorm(-abs(z))
8  list(p_value = p_value, significant = p_value < 0.05)
9}
10

1import scipy.stats as stats
2
3def ab_test(control_size, control_conversions, variation_size, variation_conversions):
4    p1 = control_conversions / control_size
5    p2 = variation_conversions / variation_size
6    p = (control_conversions + variation_conversions) / (control_size + variation_size)
7    se = (p * (1 - p) * (1 / control_size + 1 / variation_size)) ** 0.5
8    z = (p2 - p1) / se
9    p_value = 2 * (1 - stats.norm.cdf(abs(z)))
10    return {"p_value": p_value, "significant": p_value < 0.05}
11

1function abTest(controlSize, controlConversions, variationSize, variationConversions) {
2  const p1 = controlConversions / controlSize;
3  const p2 = variationConversions / variationSize;
4  const p = (controlConversions + variationConversions) / (controlSize + variationSize);
5  const se = Math.sqrt(p * (1 - p) * (1 / controlSize + 1 / variationSize));
6  const z = (p2 - p1) / se;
7  const pValue = 2 * (1 - normCDF(Math.abs(z)));
8  return { pValue, significant: pValue < 0.05 };
9}
10
11function normCDF(x) {
12  const t = 1 / (1 + 0.2316419 * Math.abs(x));
13  const d = 0.3989423 * Math.exp(-x * x / 2);
14  let prob = d * t * (0.3193815 + t * (-0.3565638 + t * (1.781478 + t * (-1.821256 + t * 1.330274))));
15  if (x > 0) prob = 1 - prob;
16  return prob;
17}
18

Vizualizācija

Šeit ir SVG diagramma, kas ilustrē statistiskās nozīmīguma jēdzienu A/B testēšanā:

Šī diagramma parāda normālā sadalījuma līkni, kas ir pamats mūsu A/B testēšanas aprēķiniem. Platība starp -1.96 un +1.96 standarta novirzēm no vidējā attēlo 95% uzticības intervālu. Ja atšķirība starp jūsu kontroles un varianta grupām atrodas ārpus šī intervāla, tā tiek uzskatīta par statistiski nozīmīgu 0,05 līmenī.

Atsauces

1. Kohavi, R., & Longbotham, R. (2017). Online Controlled Experiments and A/B Testing. Encyclopedia of Machine Learning and Data Mining, 922-929.
2. Stucchio, C. (2015). Bayesian A/B Testing at VWO. Visual Website Optimizer.
3. Siroker, D., & Koomen, P. (2013). A/B Testing: The Most Powerful Way to Turn Clicks Into Customers. John Wiley & Sons.
4. [Georgiev, G. Z. (2021). A/B Testing Statistical Significance Calculator. Calculator.net](https://www.calculator.net/ab-testing-calculator.html)
5. Kim, E. (2013). A/B Testing Guide. Harvard Business Review.