A/B Test Skaičiuoklis

Įvadas

A/B testavimas yra svarbus metodas skaitmeniniame marketinge, produkto kūrime ir vartotojų patirties optimizavime. Jis apima dviejų versijų tinklalapio ar programėlės palyginimą, siekiant nustatyti, kuri versija veikia geriau. Mūsų A/B testų skaičiuoklė padeda jums nustatyti statistinę reikšmę jūsų testų rezultatams, užtikrinant, kad priimtumėte sprendimus, pagrįstus duomenimis.

Formulė

A/B testų skaičiuoklė naudoja statistinius metodus, kad nustatytų, ar skirtumas tarp dviejų grupių (kontrolinė ir variacija) yra reikšmingas. Pagrindinis šio skaičiavimo komponentas yra z-reiškinio ir jo atitinkamo p-vertės apskaičiavimas.

1. Apskaičiuokite konversijos rodiklius kiekvienai grupei:

   $p_1 = \frac{x_1}{n_1}$ ir $p_2 = \frac{x_2}{n_2}$

   Kur:

   • $p_1$ ir $p_2$ yra konversijos rodikliai kontrolinėje ir variacijos grupėse
   • $x_1$ ir $x_2$ yra konversijų skaičius
   • $n_1$ ir $n_2$ yra bendras lankytojų skaičius

2. Apskaičiuokite sujungtą proporciją:

   $p = \frac{x_1 + x_2}{n_1 + n_2}$

3. Apskaičiuokite standartinę klaidą:

   $SE = \sqrt{p(1-p)(\frac{1}{n_1} + \frac{1}{n_2})}$

4. Apskaičiuokite z-reiškinį:

   $z = \frac{p_2 - p_1}{SE}$

5. Apskaičiuokite p-vertę:

   P-vertė apskaičiuojama naudojant standartinės normalaus skirstinio kumuliacinę paskirstymo funkciją. Daugelyje programavimo kalbų tai daroma naudojant įmontuotas funkcijas.

6. Nustatykite statistinę reikšmę:

   Jei p-vertė yra mažesnė už pasirinktą reikšmingumo lygį (dažniausiai 0,05), rezultatas laikomas statistiškai reikšmingu.

Svarbu pažymėti, kad šis metodas daro prielaidą apie normalųjį skirstinį, kuris paprastai galioja dideliems imties dydžiams. Labai mažoms imtims arba ekstremaliems konversijos rodikliams gali prireikti pažangesnių statistinių metodų.

Naudojimo atvejai

A/B testavimas turi plačią taikymo sritį įvairiose pramonės šakose:

1. E-komercija: Testuojant skirtingus produktų aprašymus, nuotraukas ar kainodaros strategijas, siekiant padidinti pardavimus.
2. Skaitmeninis marketingas: Palyginant el. pašto antraštes, reklamos tekstus ar nusileidimo puslapių dizainus, siekiant pagerinti paspaudimų rodiklius.
3. Programinės įrangos kūrimas: Testuojant skirtingus vartotojo sąsajos dizainus ar funkcijų įgyvendinimus, siekiant padidinti vartotojų įsitraukimą.
4. Turinys: Vertinant skirtingas antraštes ar turinio formatus, siekiant padidinti skaitytojų skaičių ar dalijimąsi.
5. Sveikatos priežiūra: Palyginant skirtingų gydymo protokolų ar pacientų komunikacijos metodų efektyvumą.

Alternatyvos

Nors A/B testavimas yra plačiai naudojamas, yra alternatyvių metodų palyginimui:

1. Multivariatinis testavimas: Testuoja kelis kintamuosius tuo pačiu metu, leidžiant sudėtingesnius palyginimus, tačiau reikalaujant didesnių imties dydžių.
2. Bandito algoritmai: Dinamiškai paskirsto srautą geriau veikiančioms variacijoms, optimizuojant rezultatus realiu laiku.
3. Bayesinis A/B testavimas: Naudoja Bayeso inferenciją, kad nuolat atnaujintų tikimybes, kai renkami duomenys, suteikdama niuansuotesnius rezultatus.
4. Kohortų analizė: Palygina skirtingų vartotojų grupių elgesį per laiką, naudinga ilgalaikiams poveikiams suprasti.

Istorija

A/B testavimo koncepcija turi šaknis žemės ūkio ir medicinos tyrimuose XX amžiaus pradžioje. Sir Ronald Fisher, britų statistikas, 1920-aisiais metais pirmasis pradėjo naudoti atsitiktinius kontroliuojamus bandymus, padėdamas pamatus šiuolaikiniam A/B testavimui.

Skaitmeniniame pasaulyje A/B testavimas tapo populiarus 1990-ųjų pabaigoje ir 2000-ųjų pradžioje, kai išaugo e-komercija ir skaitmeninis marketingas. „Google“ naudojimas A/B testavimui nustatyti optimalų paieškos rezultatų skaičių (2000) ir „Amazon“ plačiai naudojamas metodas svetainės optimizavimui dažnai minimi kaip esminiai momentai skaitmeninio A/B testavimo populiarinime.

Statistiniai metodai, naudojami A/B testavime, laikui bėgant tobulėjo, ankstyvieji testai remiasi paprastais konversijos rodiklių palyginimais. Sudėtingesnių statistinių technikų, tokių kaip z-reiškiniai ir p-vertės, įvedimas pagerino A/B testų rezultatų tikslumą ir patikimumą.

Šiandien A/B testavimas yra neatsiejama duomenimis pagrįsto sprendimų priėmimo dalis daugelyje pramonės šakų, o daugybė programinės įrangos įrankių ir platformų yra prieinamos procesui palengvinti.

Kaip naudoti šią skaičiuoklę

1. Įveskite kontrolinės grupės lankytojų (dydžio) skaičių.
2. Įveskite kontrolinės grupės konversijų skaičių.
3. Įveskite variacijos grupės lankytojų (dydžio) skaičių.
4. Įveskite variacijos grupės konversijų skaičių.
5. Skaičiuoklė automatiškai apskaičiuos rezultatus.

Ką reiškia rezultatai

• P-vertė: Tai tikimybė, kad skirtumas konversijos rodikliuose tarp jūsų kontrolinės ir variacijos grupių įvyko atsitiktinai. Mažesnė p-vertė rodo stipresnę įrodymų prieš nulio hipotezę (kad tarp grupių nėra tikro skirtumo).
• Konversijos rodiklio skirtumas: Tai rodo, kiek geriau (arba blogiau) jūsų variacija veikia, palyginti su jūsų kontrole, procentiniais punktais.
• Statistinė reikšmė: Paprastai rezultatas laikomas statistiškai reikšmingu, jei p-vertė yra mažesnė už 0,05 (5%). Ši skaičiuoklė naudoja šį slenkstį reikšmingumui nustatyti.

Rezultatų interpretavimas

• Jei rezultatas yra „Statistiškai reikšmingas“, tai reiškia, kad galite būti tikri (95% tikimybe), kad stebimas skirtumas tarp jūsų kontrolinės ir variacijos grupių yra tikras ir neatsitiktinis.
• Jei rezultatas yra „Nėra statistiškai reikšmingas“, tai reiškia, kad nėra pakankamai įrodymų, kad būtų galima teigti, jog tarp grupių yra tikras skirtumas. Galbūt turėtumėte testą vykdyti ilgiau arba su daugiau dalyvių.

Apribojimai ir svarstymai

• Ši skaičiuoklė daro prielaidą apie normalųjį skirstinį ir naudoja dvipusį z-testą skaičiavimui.
• Ji neatsižvelgia į tokius veiksnius kaip daugelio testavimas, sekvencinis testavimas ar segmentinė analizė.
• Visada apsvarstykite praktinę reikšmę kartu su statistine reikšme. Statistiškai reikšmingas rezultatas gali nebūti praktiškai svarbus jūsų verslui.
• Labai mažoms imtims (dažniausiai mažiau nei 30 grupėje) normaliojo skirstinio prielaida gali nebūti teisinga, ir kiti statistiniai metodai gali būti tinkamesni.
• Labai artimi 0% arba 100% konversijos rodikliai gali sukelti normaliosios aproksimacijos problemas, ir gali prireikti tikslių metodų.

Geriausios A/B testavimo praktikos

1. Turėkite aiškią hipotezę: Prieš vykdydami testą, aiškiai apibrėžkite, ką testuojate ir kodėl.
2. Vykdykite testus tinkamą laiką: Nepertraukite testų per anksti ir neleiskite jiems vykti per ilgai.
3. Testuokite vieną kintamąjį vienu metu: Tai padeda izoliuoti kiekvieno pokyčio poveikį.
4. Naudokite pakankamai didelį imties dydį: Dideli imties dydžiai teikia patikimesnius rezultatus.
5. Būkite sąmoningi dėl išorinių veiksnių: Sezoniniai pokyčiai, marketingo kampanijos ir kt. gali paveikti jūsų rezultatus.

Pavyzdžiai

1. Kontrolinė grupė: 1000 lankytojų, 100 konversijų Variacijos grupė: 1000 lankytojų, 150 konversijų Rezultatas: Statistiškai reikšmingas patobulinimas

2. Kontrolinė grupė: 500 lankytojų, 50 konversijų Variacijos grupė: 500 lankytojų, 55 konversijos Rezultatas: Nėra statistiškai reikšmingas

3. Kraštutinė atvejo - maža imtis: Kontrolinė grupė: 20 lankytojų, 2 konversijos Variacijos grupė: 20 lankytojų, 6 konversijos Rezultatas: Nėra statistiškai reikšmingas (nors didelis procentinis skirtumas)

4. Kraštutinė atvejo - didelė imtis: Kontrolinė grupė: 1,000,000 lankytojų, 200,000 konversijų Variacijos grupė: 1,000,000 lankytojų, 201,000 konversijų Rezultatas: Statistiškai reikšmingas (nors mažas procentinis skirtumas)

5. Kraštutinė atvejo - ekstremalūs konversijos rodikliai: Kontrolinė grupė: 10,000 lankytojų, 9,950 konversijų Variacijos grupė: 10,000 lankytojų, 9,980 konversijų Rezultatas: Statistiškai reikšmingas, tačiau normaliosios aproksimacijos gali būti nepatikimos

Atminkite, kad A/B testavimas yra nuolatinis procesas. Naudokite kiekvieno testo įžvalgas, kad informuotumėte savo būsimus eksperimentus ir nuolat tobulintumėte savo skaitmeninius produktus ir marketingo pastangas.

Kodo fragmentai

Štai A/B testų skaičiavimo įgyvendinimai įvairiose programavimo kalbose:

1=NORM.S.DIST((B2/A2-D2/C2)/SQRT((B2+D2)/(A2+C2)*(1-(B2+D2)/(A2+C2))*(1/A2+1/C2)),TRUE)*2
2

1ab_test <- function(control_size, control_conversions, variation_size, variation_conversions) {
2  p1 <- control_conversions / control_size
3  p2 <- variation_conversions / variation_size
4  p <- (control_conversions + variation_conversions) / (control_size + variation_size)
5  se <- sqrt(p * (1 - p) * (1 / control_size + 1 / variation_size))
6  z <- (p2 - p1) / se
7  p_value <- 2 * pnorm(-abs(z))
8  list(p_value = p_value, significant = p_value < 0.05)
9}
10

1import scipy.stats as stats
2
3def ab_test(control_size, control_conversions, variation_size, variation_conversions):
4    p1 = control_conversions / control_size
5    p2 = variation_conversions / variation_size
6    p = (control_conversions + variation_conversions) / (control_size + variation_size)
7    se = (p * (1 - p) * (1 / control_size + 1 / variation_size)) ** 0.5
8    z = (p2 - p1) / se
9    p_value = 2 * (1 - stats.norm.cdf(abs(z)))
10    return {"p_value": p_value, "significant": p_value < 0.05}
11

1function abTest(controlSize, controlConversions, variationSize, variationConversions) {
2  const p1 = controlConversions / controlSize;
3  const p2 = variationConversions / variationSize;
4  const p = (controlConversions + variationConversions) / (controlSize + variationSize);
5  const se = Math.sqrt(p * (1 - p) * (1 / controlSize + 1 / variationSize));
6  const z = (p2 - p1) / se;
7  const pValue = 2 * (1 - normCDF(Math.abs(z)));
8  return { pValue, significant: pValue < 0.05 };
9}
10
11function normCDF(x) {
12  const t = 1 / (1 + 0.2316419 * Math.abs(x));
13  const d = 0.3989423 * Math.exp(-x * x / 2);
14  let prob = d * t * (0.3193815 + t * (-0.3565638 + t * (1.781478 + t * (-1.821256 + t * 1.330274))));
15  if (x > 0) prob = 1 - prob;
16  return prob;
17}
18

Vizualizacija

Štai SVG diagrama, iliustruojanti statistinės reikšmės koncepciją A/B testavime:

Ši diagrama rodo normaliojo paskirstymo kreivę, kuri yra A/B testų skaičiavimų pagrindas. Plotai tarp -1.96 ir +1.96 standartinių nuokrypių nuo vidurkio atitinka 95% pasitikėjimo intervalą. Jei skirtumas tarp jūsų kontrolinės ir variacijos grupių patenka už šio intervalo, jis laikomas statistiškai reikšmingu 0,05 lygmeniu.

Nuorodos

1. Kohavi, R., & Longbotham, R. (2017). Online Controlled Experiments and A/B Testing. Encyclopedia of Machine Learning and Data Mining, 922-929.
2. Stucchio, C. (2015). Bayesian A/B Testing at VWO. Visual Website Optimizer.
3. Siroker, D., & Koomen, P. (2013). A/B Testing: The Most Powerful Way to Turn Clicks Into Customers. John Wiley & Sons.
4. [Georgiev, G. Z. (2021). A/B Testing Statistical Significance Calculator. Calculator.net](https://www.calculator.net/ab-testing-calculator.html)
5. Kim, E. (2013). A/B Testing Guide. Harvard Business Review.

Šie atnaujinimai suteikia išsamesnį ir detalesnį A/B testavimo paaiškinimą, įskaitant matematikos formules, kodo įgyvendinimus, istorinius kontekstus ir vizualinę reprezentaciją. Turinys dabar apima įvairius kraštutinius atvejus ir suteikia išsamesnį šios temos aprašymą.