Calcolatore di significatività del test A/B

Cosa fa un calcolatore della significatività di un test A/B

Un calcolatore della significatività di un test A/B verifica se la differenza tra due versioni di qualcosa (una pagina web, un’e-mail, un pulsante di pagamento) sia un effetto reale o solo il risultato del caso. Prende il numero di visitatori e il numero di conversioni di ciascuna versione e restituisce un p-value, un punteggio z e un intervallo di confidenza. Una conversione è qualunque azione considerata un successo: un acquisto, un’iscrizione, un clic.

Come usare il calcolatore

Il calcolatore richiede quattro numeri.

• Visitatori (controllo): quante persone hanno visto la versione A, quella originale.
• Conversioni (controllo): quante di loro hanno effettuato una conversione.
• Visitatori (variante): quante persone hanno visto la versione B, quella nuova.
• Conversioni (variante): quante di loro hanno effettuato una conversione.

Altre due impostazioni modificano il modo in cui viene valutato il risultato.

• Livello di confidenza stabilisce quanto è rigoroso il test. 95% è il valore predefinito più comune. Un livello più alto, come 99%, richiede prove più solide prima di considerare significativo un risultato.
• Ipotesi stabilisce la direzione della domanda. Un test a due code chiede: «B è diverso da A, in una direzione qualsiasi?». Un test a una coda chiede soltanto: «B è migliore di A?». Un test a una coda dovrebbe essere scelto solo prima di raccogliere i dati e solo quando un risultato peggiore per B non cambierebbe alcuna decisione.

Il risultato si aggiorna man mano che vengono inseriti i numeri. I dati immessi vengono memorizzati nell'indirizzo web della pagina, quindi il risultato può essere aggiunto ai segnalibri o condiviso come link.

Formula del test A/B (test z per due proporzioni)

Il calcolatore usa un test z per due proporzioni, un metodo standard per confrontare due tassi. Nell’errore standard usa un tasso combinato, come indicato di seguito.

Passaggio 1. Tasso di conversione di ciascun gruppo.

$p_1 = \frac{x_1}{n_1}, \qquad p_2 = \frac{x_2}{n_2}$

Qui $x$ è il numero di conversioni e $n$ è il numero di visitatori, rispettivamente per il gruppo di controllo (1) e per la variante (2).

Passaggio 2. Tasso di conversione combinato. In questo passaggio si ipotizza, ai fini del test, che entrambi i gruppi condividano uno stesso tasso reale sottostante.

$\hat{p} = \frac{x_1 + x_2}{n_1 + n_2}$

Passaggio 3. Errore standard della differenza, calcolato a partire dal tasso combinato.

$SE = \sqrt{\hat{p}(1-\hat{p})\left(\frac{1}{n_1} + \frac{1}{n_2}\right)}$

Passaggio 4. Punteggio z, ovvero la differenza tra i due tassi misurata in errori standard.

$z = \frac{p_2 - p_1}{SE}$

Passaggio 5. P-value, ricavato dalla distribuzione normale standard $\Phi$. Per un test a due code: $p = 2\left(1 - \Phi(|z|)\right)$. Per un test a una coda: $p = 1 - \Phi(z)$.

Passaggio 6. Verdetto. Il risultato è considerato statisticamente significativo quando il p-value è inferiore a $\alpha$, dove $\alpha = 1 - \text{il livello di confidenza}$. Con un livello di confidenza del 95%, $\alpha = 0.05$.

Il calcolatore riporta anche un intervallo di confidenza per l’entità della differenza, $p_2 - p_1$. Questo intervallo usa un errore standard non combinato distinto, che non presuppone che i due gruppi abbiano lo stesso tasso:

$SE_{unpooled} = \sqrt{\frac{p_1(1-p_1)}{n_1} + \frac{p_2(1-p_2)}{n_2}}$

L’intervallo è $(p_2 - p_1) \pm z_c \times SE_{unpooled}$, dove $z_c$ è il valore critico bilaterale della distribuzione normale: 1,6449 con una confidenza del 90%, 1,96 con il 95% e 2,5758 con il 99%. Se l’intervallo non contiene lo zero, la differenza è significativa a quel livello di confidenza.

Esempio svolto

Il tasso combinato è $(100+150)/(1000+1000) = 0.125$, ovvero 12,5%. L'errore standard combinato è circa 0,0148. Il punteggio z è $(0.15 - 0.10) / 0.0148 \approx 3.38$.

Per un test a due code, si ottiene un p-value di circa 0,00072. È inferiore alla soglia abituale di 0,05, quindi con una confidenza del 95% la differenza è statisticamente significativa. Se le due versioni avessero davvero lo stesso rendimento, uno scarto così ampio o più ampio comparirebbe per puro caso in circa 7 test su 10.000.

La differenza assoluta è di 5,00 punti percentuali. L'incremento relativo è del 50%, poiché il tasso di B è 1,5 volte quello di A. L'intervallo di confidenza del 95% per la differenza reale va da circa 2,11% a 7,89%.

Interpretare correttamente il risultato

Un risultato statisticamente significativo non è automaticamente un risultato su cui conviene intervenire. Un incremento reale ma minimo potrebbe non giustificare il costo della sua implementazione. Dopo i calcoli, il giudizio aziendale resta importante.

Controllare il p-value ogni giorno e interrompere il test non appena supera 0,05 aumenta la probabilità di un falso positivo. È preferibile stabilire in anticipo la dimensione del campione o la durata del test e lasciarlo terminare prima di interpretare il risultato.

L’approssimazione normale su cui si basa questo test funziona meglio quando ciascun gruppo ha almeno 10 conversioni e 10 non conversioni. Con numeri più piccoli, il risultato va considerato un segnale approssimativo e non una risposta definitiva.

Un livello di confidenza del 95% non significa che ci sia una probabilità del 95% che B sia realmente migliore di A. Significa che, se lo stesso test fosse ripetuto molte volte, questo metodo produrrebbe un falso risultato significativo al massimo nel 5% dei casi. È un'affermazione sul metodo, non su questo singolo risultato.

Testare contemporaneamente molte metriche o molte varianti aumenta la probabilità che almeno un confronto risulti significativo per puro caso. Scegliere una sola metrica prima dell'inizio del test evita questo problema.

Domande frequenti

Di quanti dati ha bisogno un test A/B? Di un numero sufficiente di visitatori perché un aumento rilevante emerga davvero come significativo. Aumenti più piccoli e tassi di base più bassi richiedono più visitatori. Un calcolatore dedicato alla dimensione del campione, che usa il tasso di base e il più piccolo aumento che vale la pena rilevare, fornisce un numero più affidabile prima dell’inizio del test.

Il test dovrebbe essere a una coda o a due code? Il test a due code è l'impostazione predefinita più prudente, poiché può indicare che B è migliore o peggiore di A. Il test a una coda è più sensibile a un miglioramento, ma non può rilevare un risultato peggiore; va quindi usato solo quando un risultato peggiore per B non cambierebbe alcuna decisione.

Perché il calcolatore restituisce un intervallo di confidenza? Un intervallo di confidenza mostra l'intervallo plausibile della differenza reale, non solo un'etichetta «significativo/non significativo». Un intervallo ampio che comprende lo zero indica generalmente che il test richiede più dati.

Questo è un calcolatore bayesiano? No. Usa un test z frequentista, il metodo più comunemente insegnato e utilizzato per i test A/B. Uno strumento bayesiano restituisce invece la probabilità che B superi A. Entrambi i metodi sono validi, ma rispondono a domande leggermente diverse.

Cosa succede se il calcolatore mostra un errore? Viene visualizzato un errore se il numero di conversioni è negativo, se supera il numero di visitatori oppure se il tasso di conversione complessivo dei due gruppi è 0% o 100%, perché in tal caso la formula del test z non può dividere per un errore standard pari a zero.

Riferimenti

1. National Institute of Standards and Technology. NIST/SEMATECH e-Handbook of Statistical Methods, 7.3.3. Come possiamo stabilire se due processi producono la stessa proporzione di pezzi difettosi? — la statistica z per due proporzioni con la proporzione combinata, e i confronti a una e a due code.
2. National Institute of Standards and Technology. NIST/SEMATECH e-Handbook of Statistical Methods, 1.3.6.7.1. Funzione di ripartizione della distribuzione normale standard — valori critici 1,645, 1,960 e 2,576.
3. Diez, Çetinkaya-Rundel e Barr (OpenIntro), via LibreTexts. Introduction to Statistics, 4th ed., 6.2: Difference of two proportions. Differenza tra due proporzioni — proporzioni campionarie (non combinate) per l’intervallo di confidenza, proporzione combinata per il test e condizione di successo-insuccesso di almeno 10 successi e 10 insuccessi per gruppo.