Calculadora de Significancia de Pruebas A/B

Qué hace una calculadora de significancia para pruebas A/B

Una calculadora de significancia para pruebas A/B comprueba si la diferencia entre dos versiones de algo —una página web, un correo electrónico o un botón de pago— es un efecto real o solo fruto del azar. Toma el número de visitantes y el número de conversiones de cada versión, y devuelve un valor p, una puntuación z y un intervalo de confianza. Una conversión es cualquier acción que se considere un éxito: una compra, un registro o un clic.

Cómo utilizar la calculadora

La calculadora necesita cuatro números.

Visitantes (control): cuántas personas vieron la versión A, la original.
Conversiones (control): cuántas de ellas realizaron una conversión.
Visitantes (variación): cuántas personas vieron la versión B, la nueva versión.
Conversiones (variación): cuántas de ellas realizaron una conversión.

Hay dos ajustes más que cambian cómo se evalúa el resultado.

Nivel de confianza establece cuán estricto es el test. 95 % es el valor predeterminado habitual. Un nivel superior, como 99 %, exige pruebas más sólidas antes de considerar significativo un resultado.
Hipótesis establece la dirección de la pregunta. Una prueba bilateral pregunta «¿B es diferente de A, en cualquier dirección?». Una prueba unilateral pregunta únicamente «¿B es mejor que A?». Una prueba unilateral solo debe elegirse antes de disponer de los datos y únicamente cuando un resultado peor para B no cambiaría ninguna decisión.

El resultado se actualiza a medida que se introducen los números. Los datos introducidos se almacenan en la dirección web de la página, por lo que el resultado puede guardarse en marcadores o compartirse como enlace.

Fórmula de la prueba A/B (prueba z para dos proporciones)

La calculadora utiliza una prueba z para dos proporciones, un método estándar que se enseña en los cursos introductorios de estadística para comparar dos tasas.

Paso 1. Tasa de conversión de cada grupo.

$p_1 = \frac{x_1}{n_1}, \qquad p_2 = \frac{x_2}{n_2}$

Aquí $x$ es el número de conversiones y $n$ es el número de visitantes, para el control (1) y la variación (2).

Paso 2. Tasa de conversión combinada. Este paso supone, para los fines de la prueba, que ambos grupos comparten una única tasa real subyacente.

$\hat{p} = \frac{x_1 + x_2}{n_1 + n_2}$

Paso 3. Error estándar de la diferencia, calculado a partir de la tasa combinada.

$SE = \sqrt{\hat{p}(1-\hat{p})\left(\frac{1}{n_1} + \frac{1}{n_2}\right)}$

Paso 4. Puntuación z, la diferencia entre las dos tasas medida en errores estándar.

$z = \frac{p_2 - p_1}{SE}$

Paso 5. Valor p, obtenido de la distribución normal estándar $\Phi$ . Para una prueba bilateral: $p = 2\left(1 - \Phi(|z|)\right)$ . Para una prueba unilateral: $p = 1 - \Phi(z)$ .

Paso 6. Veredicto. El resultado se considera estadísticamente significativo cuando el valor p es menor que $\alpha$ , donde $\alpha = 1 - \text{nivel de confianza}$ . Con un nivel de confianza de 95 %, $\alpha = 0.05$ .

La calculadora también informa de un intervalo de confianza para el tamaño de la diferencia, $p_2 - p_1$ . Este intervalo utiliza un error estándar diferente, que no supone que los dos grupos compartan una misma tasa:

$SE_{unpooled} = \sqrt{\frac{p_1(1-p_1)}{n_1} + \frac{p_2(1-p_2)}{n_2}}$

El intervalo es $(p_2 - p_1) \pm z_c \times SE_{unpooled}$ , donde $z_c$ es 1,6449 con un nivel de confianza de 90 %, 1,96 con 95 % y 2,5758 con 99 %. Si el intervalo no contiene cero, la diferencia es significativa con ese nivel de confianza.

Ejemplo resuelto

	Visitantes	Conversiones	Tasa
Control (A)	1.000	100	10,00 %
Variación (B)	1.000	150	15,00 %

La tasa combinada es $(100+150)/(1000+1000) = 0.125$ , o 12,5 %. El error estándar combinado es aproximadamente 0,0148. La puntuación z es $(0.15 - 0.10) / 0.0148 \approx 3.38$ .

Para una prueba bilateral, esto da un valor p aproximado de 0,00072. Está por debajo del umbral habitual de 0,05, por lo que, con un nivel de confianza de 95 %, la diferencia es estadísticamente significativa. Si las dos versiones realmente tuvieran el mismo rendimiento, una diferencia de este tamaño o mayor aparecería aproximadamente en 7 de cada 10.000 pruebas solo por azar.

La diferencia absoluta es de 5,00 puntos porcentuales. La mejora relativa es del 50 %, ya que la tasa de B es 1,5 veces la tasa de A. El intervalo de confianza de 95 % para la diferencia real va aproximadamente de 2,11 % a 7,89 %.

Cómo interpretar correctamente el resultado

Un resultado estadísticamente significativo no es automáticamente un resultado sobre el que convenga actuar. Una mejora real pero mínima quizá no compense el coste de implementarla. El criterio empresarial sigue siendo importante una vez hechos los cálculos.

Comprobar el valor p todos los días y detener la prueba en el momento en que cruza 0,05 aumenta la probabilidad de obtener un falso positivo. Es preferible elegir de antemano un tamaño de muestra o una duración de la prueba y dejar que esta termine antes de interpretar el resultado.

La aproximación normal en la que se basa esta prueba funciona mejor cuando cada grupo tiene al menos aproximadamente 10 conversiones y 10 no conversiones. Con cifras menores, el resultado debe considerarse una señal aproximada, no una respuesta definitiva.

Un nivel de confianza de 95 % no significa que haya una probabilidad del 95 % de que B sea realmente mejor. Significa que, si se repitiera la misma prueba muchas veces, este método daría un resultado significativo incorrecto como máximo 5 % de las veces. Es una afirmación sobre el método, no sobre este resultado concreto.

Probar muchas métricas o muchas variantes a la vez aumenta la probabilidad de que al menos una comparación parezca significativa únicamente por azar. Elegir una sola métrica antes de comenzar la prueba evita este problema.

Preguntas frecuentes

¿Qué tamaño de muestra necesita una prueba A/B? Un número suficiente de visitantes para que una mejora relevante aparezca realmente como significativa. Como orientación aproximada, se necesitan unos cientos de conversiones por versión. Una calculadora específica del tamaño de muestra, que utiliza la tasa de referencia y la menor mejora que se desea detectar, proporciona una cifra más precisa antes de comenzar la prueba.

¿La prueba debe ser unilateral o bilateral? La prueba bilateral es la opción predeterminada más segura, ya que puede indicar que B es mejor o peor que A. La prueba unilateral es más sensible a una mejora, pero no puede indicar un resultado peor, por lo que solo debe utilizarse cuando un resultado peor para B no cambiaría ninguna decisión.

¿Por qué la calculadora informa de un intervalo de confianza? Un intervalo de confianza muestra el rango probable de la diferencia real, no solo una etiqueta de significativo o no significativo. Un intervalo amplio que abarca el cero suele indicar que la prueba necesita más datos.

¿Es una calculadora bayesiana? No. Utiliza una prueba z frecuentista, el método que se enseña y se utiliza con mayor frecuencia para las pruebas A/B. Una herramienta bayesiana informa, en cambio, de la probabilidad de que B supere a A. Ambos métodos son válidos; responden preguntas ligeramente diferentes.

¿Qué ocurre si la calculadora muestra un error? Aparece un error si el número de conversiones es negativo, si supera el número de visitantes o si la tasa de conversión combinada de ambos grupos es 0 % o 100 %, ya que en ese caso la fórmula de la prueba z no puede dividir entre un error estándar igual a cero.

Calculadora de Significancia de Pruebas A/B