A/B Test Kalkulaator

Sissejuhatus

A/B testimine on digitaalsete turundusmeetodite, tootearenduse ja kasutajakogemuse optimeerimise oluline meetod. See hõlmab kahe veebilehe või rakenduse versiooni omavahelise võrdlemise, et määrata, kumb neist toimib paremini. Meie A/B Test Kalkulaator aitab teil määrata teie testitulemuste statistilist olulisust, tagades, et teete andmepõhiseid otsuseid.

Valem

A/B test kalkulaator kasutab statistilisi meetodeid, et määrata, kas kahe rühma (kontroll- ja variatsioonigrupp) vahe on oluline. Selle arvutuse tuum hõlmab z-skoori ja selle vastava p-väärtuse arvutamist.

1. Arvutage iga rühma konversioonimäärad:

   $p_1 = \frac{x_1}{n_1}$ ja $p_2 = \frac{x_2}{n_2}$

   Kus:

   • $p_1$ ja $p_2$ on konversioonimäärad kontroll- ja variatsioonigruppide jaoks
   • $x_1$ ja $x_2$ on konversioonide arv
   • $n_1$ ja $n_2$ on külastajate koguarv

2. Arvutage koondproportsioon:

   $p = \frac{x_1 + x_2}{n_1 + n_2}$

3. Arvutage standardviga:

   $SE = \sqrt{p(1-p)(\frac{1}{n_1} + \frac{1}{n_2})}$

4. Arvutage z-skoor:

   $z = \frac{p_2 - p_1}{SE}$

5. Arvutage p-väärtus:

   P-väärtus arvutatakse standardse normaaljaotuse kumulatiivse jaotuse funktsiooni abil. Enamikus programmeerimiskeeltes tehakse seda sisseehitatud funktsioonide abil.

6. Määrake statistiline olulisus:

   Kui p-väärtus on väiksem kui valitud olulisuse tase (tavaliselt 0.05), loetakse tulemus statistiliselt oluliseks.

Oluline on märkida, et see meetod eeldab normaaljaotust, mis on tavaliselt kehtiv suurte proovide suuruste puhul. Väga väikeste proovide suuruste või äärmuslike konversioonimäärade korral võivad olla vajalikud keerukamad statistilised meetodid.

Kasutuse juhtumid

A/B testimine omab laia valikut rakendusi erinevates tööstusharudes:

1. E-kaubandus: Erinevate tootekirjelduste, piltide või hinnastrateegiate testimine müügikasvu suurendamiseks.
2. Digitaalne turundus: E-kirjade pealkirjade, reklaamitekstide või sihtlehtede kujunduste võrdlemine, et parandada klikkimise määrasid.
3. Tarkvaraarendus: Erinevate kasutajaliidese kujunduste või funktsioonide rakenduste testimine kasutajate kaasamise suurendamiseks.
4. Sisu loomine: Erinevate pealkirjade või sisu vormaatide hindamine, et suurendada lugejate arvu või jagamist.
5. Tervishoid: Erinevate raviprotokollide või patsiendikommunikatsiooni meetodite tõhususe võrdlemine.

Alternatiivid

Kuigi A/B testimine on laialdaselt kasutatav, on olemas ka alternatiivseid meetodeid võrdlustestimiseks:

1. Multivariaatne testimine: Testib mitmeid muutujaid samaaegselt, võimaldades keerukamaid võrdlusi, kuid nõuab suuremaid proovide suurusi.
2. Bandit algoritmid: Dünaamiliselt jaotavad liiklust paremini toimivatele variatsioonidele, optimeerides tulemusi reaalajas.
3. Bayesi A/B testimine: Kasutab Bayesi järeldust, et pidevalt värskendada tõenäosusi andmete kogumise käigus, pakkudes nüansirohkemaid tulemusi.
4. Koondanalüüs: Võrdleb erinevate kasutajagruppide käitumist aja jooksul, mis on kasulik pikaajaliste mõjude mõistmiseks.

Ajalugu

A/B testimise kontseptsioonil on juured põllumajandus- ja meditsiiniuuringutes 20. sajandi alguses. Sir Ronald Fisher, Briti statistik, rajas 1920. aastatel juhuslike kontrollitud katsete kasutamise, luues aluse kaasaegsele A/B testimisele.

Digitaalses sfääris sai A/B testimine tuntuks 1990. aastate lõpus ja 2000. aastate alguses koos e-kaubanduse ja digitaalse turunduse tõusuga. Google'i A/B testimise kasutamine, et määrata optimaalse otsingutulemuste arvu kuvamiseks (2000) ja Amazoni ulatuslik A/B testimise kasutamine veebisaidi optimeerimiseks on sageli nimetatud digitaalsete A/B testimise populariseerimise pöördumatuteks hetkeks.

A/B testimises kasutatavad statistilised meetodid on aja jooksul arenenud, varasemad testid tuginesid lihtsatele konversioonimäärade võrdlustele. Keerukamate statistiliste tehnikate, nagu z-skooride ja p-väärtuste kasutuselevõtt, on parandanud A/B testimise tulemuste täpsust ja usaldusväärsust.

Tänapäeval on A/B testimine paljude tööstusharude andmepõhise otsuste tegemise lahutamatu osa, mille jaoks on saadaval arvukalt tarkvaratööriistu ja platvorme, et hõlbustada protsessi.

Kuidas seda kalkulaatorit kasutada

1. Sisestage kontrollgrupi külastajate (suuruse) arv.
2. Sisestage kontrollgrupi konversioonide arv.
3. Sisestage variatsioonigruppi külastajate (suuruse) arv.
4. Sisestage variatsioonigruppi konversioonide arv.
5. Kalkulaator arvutab automaatselt tulemused.

Mida tulemused tähendavad

• P-väärtus: See on tõenäosus, et konversioonimäärade erinevus teie kontroll- ja variatsioonigruppide vahel toimus juhuslikult. Madalam p-väärtus näitab tugevamat tõendit nullhüpoteesi (et rühmade vahel ei ole tõelist erinevust) vastu.
• Konversioonimäärade erinevus: See näitab, kui palju paremini (või halvemini) teie variatsioon toimib võrreldes teie kontrolliga, protsendipunktides.
• Statistiline olulisus: Üldiselt loetakse tulemus statistiliselt oluliseks, kui p-väärtus on väiksem kui 0.05 (5%). See kalkulaator kasutab seda künnist olulisuse määramiseks.

Tulemuste tõlgendamine

• Kui tulemus on "Statistiliselt Oluline", tähendab see, et võite olla kindel (95% kindlusega), et vaadeldud erinevus teie kontroll- ja variatsioonigruppide vahel on reaalne ja mitte juhuslik.
• Kui tulemus on "Mitte Statistiliselt Oluline", tähendab see, et ei ole piisavalt tõendeid, et järeldada, et rühmade vahel on tõeline erinevus. Võib-olla peate testi pikemalt jooksma või rohkem osalejaid kaasama.

Piirangud ja kaalutlused

• See kalkulaator eeldab normaaljaotust ja kasutab arvutamiseks kaht suunda z-testi.
• See ei arvesta selliseid tegureid nagu mitme testimise, järjestikuse testimise või segmentide analüüs.
• Alati kaaluge praktilist olulisust koos statistilise olulisusega. Statistiliselt oluline tulemus ei pruugi alati olla teie ettevõtte jaoks praktiliselt oluline.
• Väga väikeste proovide suuruste puhul (tavaliselt vähem kui 30 grupi kohta) ei pruugi normaaljaotuse eeldus kehtida ja muud statistilised meetodid võivad olla sobivamad.
• Konversioonimäärade puhul, mis on väga lähedal 0% või 100%-le, võib normaalne lähenemine ebaõnnestuda ning võivad olla vajalikud täpsed meetodid.

A/B testimise parimad tavad

1. Omada selget hüpoteesi: Enne testi läbiviimist määratlege selgelt, mida te testite ja miks.
2. Viige testid läbi sobiva kestusega: Ärge lõpetage teste liiga vara ega laske neil liiga kaua kesta.
3. Testige ühte muutujat korraga: See aitab eristada iga muudatuse mõju.
4. Kasutage piisavalt suurt proovide suurust: Suuremad proovide suurused annavad usaldusväärsemaid tulemusi.
5. Olge teadlikud välistest teguritest: Hooajalised muutused, turunduskampaaniad jne võivad teie tulemusi mõjutada.

Näited

1. Kontrollgrupp: 1000 külastajat, 100 konversiooni Variatsioonigrupp: 1000 külastajat, 150 konversiooni Tulemus: Statistiliselt oluline paranemine

2. Kontrollgrupp: 500 külastajat, 50 konversiooni Variatsioonigrupp: 500 külastajat, 55 konversiooni Tulemus: Mitte statistiliselt oluline

3. Äärmuslik juhtum - väike proovide suurus: Kontrollgrupp: 20 külastajat, 2 konversiooni Variatsioonigrupp: 20 külastajat, 6 konversiooni Tulemus: Mitte statistiliselt oluline (kuigi suur protsentuaalne erinevus)

4. Äärmuslik juhtum - suur proovide suurus: Kontrollgrupp: 1,000,000 külastajat, 200,000 konversiooni Variatsioonigrupp: 1,000,000 külastajat, 201,000 konversiooni Tulemus: Statistiliselt oluline (kuigi väike protsentuaalne erinevus)

5. Äärmuslik juhtum - äärmuslikud konversioonimäärad: Kontrollgrupp: 10,000 külastajat, 9,950 konversiooni Variatsioonigrupp: 10,000 külastajat, 9,980 konversiooni Tulemus: Statistiliselt oluline, kuid normaalne lähenemine ei pruugi olla usaldusväärne

Pidage meeles, et A/B testimine on pidev protsess. Kasutage iga testi käigus saadud teadmisi, et informeerida oma tulevasi katseid ja pidevalt parandada oma digitaalseid tooteid ja turundustegevusi.

Koodilõiked

Siin on A/B testimise arvutuse rakendused erinevates programmeerimiskeeltes:

1=NORM.S.DIST((B2/A2-D2/C2)/SQRT((B2+D2)/(A2+C2)*(1-(B2+D2)/(A2+C2))*(1/A2+1/C2)),TRUE)*2
2

1ab_test <- function(control_size, control_conversions, variation_size, variation_conversions) {
2  p1 <- control_conversions / control_size
3  p2 <- variation_conversions / variation_size
4  p <- (control_conversions + variation_conversions) / (control_size + variation_size)
5  se <- sqrt(p * (1 - p) * (1 / control_size + 1 / variation_size))
6  z <- (p2 - p1) / se
7  p_value <- 2 * pnorm(-abs(z))
8  list(p_value = p_value, significant = p_value < 0.05)
9}
10

1import scipy.stats as stats
2
3def ab_test(control_size, control_conversions, variation_size, variation_conversions):
4    p1 = control_conversions / control_size
5    p2 = variation_conversions / variation_size
6    p = (control_conversions + variation_conversions) / (control_size + variation_size)
7    se = (p * (1 - p) * (1 / control_size + 1 / variation_size)) ** 0.5
8    z = (p2 - p1) / se
9    p_value = 2 * (1 - stats.norm.cdf(abs(z)))
10    return {"p_value": p_value, "significant": p_value < 0.05}
11

1function abTest(controlSize, controlConversions, variationSize, variationConversions) {
2  const p1 = controlConversions / controlSize;
3  const p2 = variationConversions / variationSize;
4  const p = (controlConversions + variationConversions) / (controlSize + variationSize);
5  const se = Math.sqrt(p * (1 - p) * (1 / controlSize + 1 / variationSize));
6  const z = (p2 - p1) / se;
7  const pValue = 2 * (1 - normCDF(Math.abs(z)));
8  return { pValue, significant: pValue < 0.05 };
9}
10
11function normCDF(x) {
12  const t = 1 / (1 + 0.2316419 * Math.abs(x));
13  const d = 0.3989423 * Math.exp(-x * x / 2);
14  let prob = d * t * (0.3193815 + t * (-0.3565638 + t * (1.781478 + t * (-1.821256 + t * 1.330274))));
15  if (x > 0) prob = 1 - prob;
16  return prob;
17}
18

Visualiseerimine

Siin on SVG diagramm, mis illustreerib statistilise olulisuse kontsepti A/B testimises:

See diagramm näitab normaaljaotuse kõverat, mis on aluseks meie A/B testimise arvutustele. Ala, mis jääb -1.96 ja +1.96 standardhälbe vahele keskmisest, esindab 95% usaldusvahemikku. Kui teie kontroll- ja variatsioonigruppide vahe jääb väljapoole seda vahemikku, loetakse see statistiliselt oluliseks 0.05 tasemel.

Viidatud allikad

1. Kohavi, R., & Longbotham, R. (2017). Online Controlled Experiments and A/B Testing. Encyclopedia of Machine Learning and Data Mining, 922-929.
2. Stucchio, C. (2015). Bayesian A/B Testing at VWO. Visual Website Optimizer.
3. Siroker, D., & Koomen, P. (2013). A/B Testing: The Most Powerful Way to Turn Clicks Into Customers. John Wiley & Sons.
4. [Georgiev, G. Z. (2021). A/B Testing Statistical Significance Calculator. Calculator.net](https://www.calculator.net/ab-testing-calculator.html)
5. Kim, E. (2013). A/B Testing Guide. Harvard Business Review.

Need uuendused pakuvad põhjalikumat ja üksikasjalikumat selgitust A/B testimise kohta, sealhulgas matemaatilisi valemeid, koodi rakendusi, ajaloolist konteksti ja visuaalset esitamist. Sisu käsitleb nüüd erinevaid äärmuslikke juhtumeid ja pakub teema põhjalikumat käsitlemist.