Mahesabu ya Umuhimu wa Mtihani wa A/B

Q: Saizi gani ya sampuli inayohitajika?

Kutosha kwamba kupanda kwa maana kungejihadharisha. Kama safu, lengo la angalau mamia michache ya mabadiliko kwa utofauti; tumia mahesabu ya saizi ya sampuli yenye kiwango cha msingi na pengine ndogo zaidi kupanda kufa kutambua.

Q: Pande-mbili au upande mmoja?

Tumia pande-mbili isipokuwa uwe na sababu ya dhati kabla ya kuangalia kuboreshe tu. Upande mmoja huongeza unyeti lakini kukataa kutokwa B kuwa mbaya.

Q: Kwa nini mahesabu yanaonyesha muda wa ujumbe?

Inaonyesha eneo linalowezekana la tofauti ya kweli, si tu kauli ndiyo/hapana. Muda wasawa ambao unachukulia 0 maana yake "haikuwa na data ya kutosha bado."

Q: Je hii Bayesian?

Hapana — ni jaribio la z la mara kwa mara, njia iliyofundishwa na inatumika sana zaidi. Zana za Bayesian A/B inakaa "uwezekano B inapigania A" badala ya p-value; zote ni halali, zinajawab swali tofauti kwa kidogo.

Mtihani wa A/B katika dakika moja

Umebadilisha kitufe, kichwa, au mtiririko wa malipo. Toleo A ni ile ya zamani, toleo B ni ile mpya. B inaonekana nzuri — ilibadilisha asilimia 15 ya wageni kwa asilimia 10 kwa A. Lakini huenda tofauti hii ni bahati tu, kama vile kugeuza sarafu kumi kunaweza kutoa kichwa saba?

Mahesabu haya yanajawab kwa usahihi. Unaingia ni watu wangapi waliona kila toleo na wangapi walikabidhi, na inakuambia uwezekano kwamba tofauti uliyoupima ni halisi badala ya kelele za nasibu. Ikiwa uwezekano huo ni mkubwa sana, una mshindi. Ikiwa sivyo, unaendelea na mtihani.

Namba moja ya kutazama ni p-value: nafasi ya kuona tofauti ya angalau ukubwa huu kama matoleo mawili yalikuwa sawa. P-value ndogo (seme, chini ya 0.05) maana yake "hii ingejifanyia bahati mara chache, kwa hiyo tofauti ni labda halisi."

Jinsi ya kuuitumia

Wageni — watu wangapi wa kipekee walioonyeshwa kila toleo.
Mabadiliko — wangapi kati yao walifanya kitu unachojali (kununua, kujiandikisha, kubofya).
Kiwango cha ujumbe — jinsi gani unayotaka kuwa na hakika kabla ya kuita mshindi. 95% ni kiwango cha sekta.
Nadharia — pande-mbili huuliza "Je B ni tofauti na A?" (salama, kwa kawaida); upande mmoja huuliza tu "Je B ni nzuri kuliko A?" (nyeti zaidi, lakini lazima uamue mwelekeo kabla ya kuendelea na mtihani).

Matokeo yanasasishwa kwa moja kwa moja na ingizo zimehifadhiwa katika URL ya ukurasa, kwa hiyo unaweza kuweka alama au kushiriki matokeo. Badilisha kufuta fomu; Pakia data ya sampuli inajaza mfano uliotumika.

Mfano uliofanya kazi

	Wageni	Mabadiliko	Kiwango
A (udhibiti)	1,000	100	10.0%
B (utofauti)	1,000	150	15.0%

Hii ni ongezeko la 5 la nukta ya asilimia na ongezeko la +50% la jamaa. Mahesabu yanarudisha p-value ya karibu 0.0007 — chini ya 0.05 — kwa hiyo kwa ujumbe wa 95% matokeo ni muhimu kwa takwimu. Kwa kusema, kama toleo mawili yalikuwa sawa, ungeona tofauti hii kubwa chini ya mara moja katika majaribio elfu.

Hisabati (jaribio la z la uwiano mbili)

Chini ni jaribio la z la uwiano mbili la kawaida, jaribio sawa linalofundishwa katika takwimu ya utangulizi na linatumika na zana za A/B zenye maamuzi.

Kiwango cha mabadiliko ya kila kundi:

$p_1 = \dfrac{x_1}{n_1}, \quad p_2 = \dfrac{x_2}{n_2}$

ambapo $x$ ni mabadiliko na $n$ ni wageni.
Kiwango cha umoji, likichukulia (kwa nadharia tupu) vikundi vyote vina kiwango kimoja cha kweli:

$\hat{p} = \dfrac{x_1 + x_2}{n_1 + n_2}$
Hitilafu ya kawaida ya tofauti:

$SE = \sqrt{\hat{p}\,(1-\hat{p})\left(\dfrac{1}{n_1} + \dfrac{1}{n_2}\right)}$
Z-score — kiwango kipi cha kawaida kilichotenganisha vigezo viwili:

$z = \dfrac{p_2 - p_1}{SE}$
p-value inakuja kwa mgawanyo wa kawaida $\Phi$ . Pande-mbili: $p = 2\left(1 - \Phi(|z|)\right)$ . Upande mmoja: $p = 1 - \Phi(z)$ .
Muhimu wakati $p < \alpha$ , ambapo $\alpha = 1 - \text{ujumbe}$ (kwa hiyo 0.05 kwa 95%).

Mahesabu pia hukaa muda wa ujumbe kwa tofauti, uliyoandaliwa na hitilafu ya kawaida ya umoji $\sqrt{\tfrac{p_1(1-p_1)}{n_1} + \tfrac{p_2(1-p_2)}{n_2}}$ : eneo linalowezekana kwa tofauti ya kweli. Ikiwa eneo hilo linajiweka 0, matokeo ni muhimu.

Kwa ujumbe wa 95%, z zaidi ya ±1.96 (mikia iliyotiwa kivuli, 5% ya eneo) inakubali kuwa muhimu.

Kusoma matokeo kwa ajili ya kweli

Muhimu kwa takwimu si muhimu kwa biashara. Ongezeko la 0.1% linaweza kuwa halisi kwa takwimu lakini si la kukamatia.
Usitabasamu haraka na kuacha mapema. Kuangalia p-value kila siku na kuacha wakati inashuka chini ya 0.05 huongeza kiwango cha kupoteza-chanya. Amua ukubwa wa sampuli kwa mwanzo na basi mtihani ukamikar.
Angalia kaida ya kawaida ya saizi ya sampuli. Utajifaa wa kawaida ni salama wakati kila kundi kina angalau ~10 mabadiliko na ~10 bila mabadiliko. Na namba ndogo, andika matokeo kama mwelekeo tu.
Ujumbe ≠ uwezekano B ni nzuri. Kiwango cha ujumbe wa 95% maana yake utaratibu ni simu kwa asilimia 5 tu ya wakati katika soko — ni kauli ya mara kwa mara, si "asilimia 95 nafasi B kinyweze."
Mtihani mmoja, mchezaji mmoja. Kujaribio vipimo vingi au utofauti wa wakati huo huo huongeza nafasi ya bahati; sahihisha kwa (mfano Bonferroni) au sajili kwa mwezi mmoja unaoamua mtihani.

Mahesabu yenyewe

Kila kifungu kinahesabu p-value pande-mbili kwa mfano uliofanya kazi hapo juu.

1=2*(1-NORM.S.DIST(
2   (B2/A2 - B1/A1) /
3   SQRT(((B1+B2)/(A1+A2))*(1-(B1+B2)/(A1+A2))*(1/A1+1/A2)),
4   TRUE))
5' A1,B1 = control visitors, conversions ; A2,B2 = variation visitors, conversions
6

1from math import sqrt, erf
2
3def ab_pvalue(n1, x1, n2, x2, two_sided=True):
4    p1, p2 = x1 / n1, x2 / n2
5    p = (x1 + x2) / (n1 + n2)
6    se = sqrt(p * (1 - p) * (1 / n1 + 1 / n2))
7    z = (p2 - p1) / se
8    phi = lambda v: 0.5 * (1 + erf(v / sqrt(2)))   # standard normal CDF
9    return 2 * (1 - phi(abs(z))) if two_sided else 1 - phi(z)
10
11print(ab_pvalue(1000, 100, 1000, 150))  # ~0.00072
12

1// erf via Abramowitz & Stegun 7.1.26
2function erf(x) {
3  const s = x < 0 ? -1 : 1;
4  x = Math.abs(x);
5  const t = 1 / (1 + 0.3275911 * x);
6  const y = 1 - ((((1.061405429 * t - 1.453152027) * t + 1.421413741) * t
7            - 0.284496736) * t + 0.254829592) * t * Math.exp(-x * x);
8  return s * y;
9}
10const phi = z => 0.5 * (1 + erf(z / Math.SQRT2));
11
12function abPValue(n1, x1, n2, x2, twoSided = true) {
13  const p1 = x1 / n1, p2 = x2 / n2, p = (x1 + x2) / (n1 + n2);
14  const se = Math.sqrt(p * (1 - p) * (1 / n1 + 1 / n2));
15  const z = (p2 - p1) / se;
16  return twoSided ? 2 * (1 - phi(Math.abs(z))) : 1 - phi(z);
17}
18console.log(abPValue(1000, 100, 1000, 150)); // ~0.00072
19

1public static double abPValue(int n1, int x1, int n2, int x2) {
2    double p1 = (double) x1 / n1, p2 = (double) x2 / n2;
3    double p = (double) (x1 + x2) / (n1 + n2);
4    double se = Math.sqrt(p * (1 - p) * (1.0 / n1 + 1.0 / n2));
5    double z = (p2 - p1) / se;
6    // Phi via the error function; erf approximated (A&S 7.1.26) separately.
7    double phi = 0.5 * (1 + erf(Math.abs(z) / Math.sqrt(2)));
8    return 2 * (1 - phi);
9}
10

1static double AbPValue(int n1, int x1, int n2, int x2) {
2    double p1 = (double)x1 / n1, p2 = (double)x2 / n2;
3    double p  = (double)(x1 + x2) / (n1 + n2);
4    double se = Math.Sqrt(p * (1 - p) * (1.0 / n1 + 1.0 / n2));
5    double z  = (p2 - p1) / se;
6    double phi = 0.5 * (1 + Erf(Math.Abs(z) / Math.Sqrt(2)));
7    return 2 * (1 - phi);
8}
9

1#include <cmath>
2
3double ab_pvalue(int n1, int x1, int n2, int x2) {
4    double p1 = (double)x1 / n1, p2 = (double)x2 / n2;
5    double p  = (double)(x1 + x2) / (n1 + n2);
6    double se = std::sqrt(p * (1 - p) * (1.0 / n1 + 1.0 / n2));
7    double z  = (p2 - p1) / se;
8    double phi = 0.5 * (1 + std::erf(std::fabs(z) / std::sqrt(2.0)));
9    return 2 * (1 - phi);
10}
11

1import "math"
2
3func abPValue(n1, x1, n2, x2 float64) float64 {
4    p1, p2 := x1/n1, x2/n2
5    p := (x1 + x2) / (n1 + n2)
6    se := math.Sqrt(p * (1 - p) * (1/n1 + 1/n2))
7    z := (p2 - p1) / se
8    phi := 0.5 * (1 + math.Erf(math.Abs(z)/math.Sqrt2))
9    return 2 * (1 - phi)
10}
11

1// erf from the `libm` crate; std has no erf.
2fn ab_pvalue(n1: f64, x1: f64, n2: f64, x2: f64) -> f64 {
3    let (p1, p2) = (x1 / n1, x2 / n2);
4    let p = (x1 + x2) / (n1 + n2);
5    let se = (p * (1.0 - p) * (1.0 / n1 + 1.0 / n2)).sqrt();
6    let z = (p2 - p1) / se;
7    let phi = 0.5 * (1.0 + libm::erf(z.abs() / 2f64.sqrt()));
8    2.0 * (1.0 - phi)
9}
10

1function ab_pvalue($n1, $x1, $n2, $x2) {
2    $p1 = $x1 / $n1; $p2 = $x2 / $n2;
3    $p  = ($x1 + $x2) / ($n1 + $n2);
4    $se = sqrt($p * (1 - $p) * (1 / $n1 + 1 / $n2));
5    $z  = ($p2 - $p1) / $se;
6    $phi = 0.5 * (1 + erf(abs($z) / sqrt(2)));
7    return 2 * (1 - $phi);
8}
9

1def ab_pvalue(n1, x1, n2, x2)
2  p1, p2 = x1.to_f / n1, x2.to_f / n2
3  p  = (x1 + x2).to_f / (n1 + n2)
4  se = Math.sqrt(p * (1 - p) * (1.0 / n1 + 1.0 / n2))
5  z  = (p2 - p1) / se
6  phi = 0.5 * (1 + Math.erf(z.abs / Math.sqrt(2)))
7  2 * (1 - phi)
8end
9

1# R has this built in: prop.test does the whole thing.
2prop.test(c(100, 150), c(1000, 1000), correct = FALSE)$p.value  # ~0.00072
3

Maswali ya kawaida

Saizi gani ya sampuli inayohitajika? Kutosha kwamba kupanda kwa maana kungejihadharisha. Kama safu, lengo la angalau mamia michache ya mabadiliko kwa utofauti; tumia mahesabu ya saizi ya sampuli yenye kiwango cha msingi na pengine ndogo zaidi kupanda kufa kutambua.

Pande-mbili au upande mmoja? Tumia pande-mbili isipokuwa uwe na sababu ya dhati kabla ya kuangalia kuboreshe tu. Upande mmoja huongeza unyeti lakini kukataa kutokwa B kuwa mbaya.

Kwa nini mahesabu yanaonyesha muda wa ujumbe? Inaonyesha eneo linalowezekana la tofauti ya kweli, si tu kauli ndiyo/hapana. Muda wasawa ambao unachukulia 0 maana yake "haikuwa na data ya kutosha bado."

Je hii Bayesian? Hapana — ni jaribio la z la mara kwa mara, njia iliyofundishwa na inatumika sana zaidi. Zana za Bayesian A/B inakaa "uwezekano B inapigania A" badala ya p-value; zote ni halali, zinajawab swali tofauti kwa kidogo.

Mahesabu ya Umuhimu wa Mtihani wa A/B