Calculadora de Significancia de Pruebas A/B

Qué hace una calculadora de significancia para pruebas A/B

Una calculadora de significancia de pruebas A/B comprueba si la diferencia entre dos versiones de algo (una página web, un correo electrónico, un botón de pago) es un efecto real o solo producto del azar. Toma el número de visitantes y el número de conversiones de cada versión, y devuelve un valor p, una puntuación z y un intervalo de confianza. Una conversión es la acción que se considere un éxito: una compra, un registro, un clic.

Cómo utilizar la calculadora

La calculadora necesita cuatro números.

• Visitantes (control): cuántas personas vieron la versión A, la original.
• Conversiones (control): cuántas de ellas realizaron una conversión.
• Visitantes (variación): cuántas personas vieron la versión B, la nueva versión.
• Conversiones (variación): cuántas de ellas realizaron una conversión.

Hay dos ajustes más que cambian cómo se evalúa el resultado.

• Nivel de confianza establece cuán estricto es el test. 95 % es el valor predeterminado habitual. Un nivel superior, como 99 %, exige pruebas más sólidas antes de considerar significativo un resultado.
• Hipótesis establece la dirección de la pregunta. Una prueba bilateral pregunta «¿B es diferente de A, en cualquier dirección?». Una prueba unilateral pregunta únicamente «¿B es mejor que A?». Una prueba unilateral solo debe elegirse antes de disponer de los datos y únicamente cuando un resultado peor para B no cambiaría ninguna decisión.

El resultado se actualiza a medida que se introducen los números. Los datos introducidos se almacenan en la dirección web de la página, por lo que el resultado puede guardarse en marcadores o compartirse como enlace.

Fórmula de la prueba A/B (prueba z para dos proporciones)

La calculadora usa una prueba z de dos proporciones, un método estándar para comparar dos tasas. En el error estándar emplea una tasa combinada, como se explica a continuación.

Paso 1. Tasa de conversión de cada grupo.

$p_1 = \frac{x_1}{n_1}, \qquad p_2 = \frac{x_2}{n_2}$

Aquí $x$ es el número de conversiones y $n$ es el número de visitantes, para el control (1) y la variación (2).

Paso 2. Tasa de conversión combinada. Este paso supone, para los fines de la prueba, que ambos grupos comparten una única tasa real subyacente.

$\hat{p} = \frac{x_1 + x_2}{n_1 + n_2}$

Paso 3. Error estándar de la diferencia, calculado a partir de la tasa combinada.

$SE = \sqrt{\hat{p}(1-\hat{p})\left(\frac{1}{n_1} + \frac{1}{n_2}\right)}$

Paso 4. Puntuación z, la diferencia entre las dos tasas medida en errores estándar.

$z = \frac{p_2 - p_1}{SE}$

Paso 5. Valor p, obtenido de la distribución normal estándar $\Phi$. Para una prueba bilateral: $p = 2\left(1 - \Phi(|z|)\right)$. Para una prueba unilateral: $p = 1 - \Phi(z)$.

Paso 6. Veredicto. El resultado se considera estadísticamente significativo cuando el valor p es menor que $\alpha$, donde $\alpha = 1 - \text{nivel de confianza}$. Con un nivel de confianza de 95 %, $\alpha = 0.05$.

La calculadora también ofrece un intervalo de confianza para el tamaño de la diferencia, $p_2 - p_1$. Este intervalo utiliza un error estándar no combinado, distinto del anterior, que no supone que los dos grupos compartan una misma tasa:

$SE_{unpooled} = \sqrt{\frac{p_1(1-p_1)}{n_1} + \frac{p_2(1-p_2)}{n_2}}$

El intervalo es $(p_2 - p_1) \pm z_c \times SE_{unpooled}$, donde $z_c$ es el valor crítico bilateral de la distribución normal: 1,6449 con una confianza del 90 %, 1,96 con 95 % y 2,5758 con 99 %. Si el intervalo no contiene el cero, la diferencia es significativa a ese nivel de confianza.

Ejemplo práctico

La tasa combinada es $(100+150)/(1000+1000) = 0.125$, o 12,5 %. El error estándar combinado es aproximadamente 0,0148. La puntuación z es $(0.15 - 0.10) / 0.0148 \approx 3.38$.

En una prueba bilateral, esto da un valor p de aproximadamente 0,00072. Es inferior al umbral habitual de 0,05, así que con una confianza del 95 % la diferencia es estadísticamente significativa. Si las dos versiones rindieran realmente igual, una brecha tan grande o mayor aparecería solo en unas 7 de cada 10.000 pruebas por puro azar.

La diferencia absoluta es de 5,00 puntos porcentuales. La mejora relativa es del 50 %, ya que la tasa de B es 1,5 veces la tasa de A. El intervalo de confianza de 95 % para la diferencia real va aproximadamente de 2,11 % a 7,89 %.

Cómo interpretar correctamente el resultado

Un resultado estadísticamente significativo no es automáticamente un resultado sobre el que convenga actuar. Una mejora real pero mínima quizá no compense el coste de implementarla. El criterio empresarial sigue siendo importante una vez hechos los cálculos.

Comprobar el valor p todos los días y detener la prueba en el momento en que cruza 0,05 aumenta la probabilidad de obtener un falso positivo. Es preferible elegir de antemano un tamaño de muestra o una duración de la prueba y dejar que esta termine antes de interpretar el resultado.

La aproximación normal en la que se basa esta prueba funciona mejor cuando cada grupo tiene al menos 10 conversiones y 10 no conversiones. Con cifras menores, el resultado debe tomarse como una señal aproximada y no como una respuesta firme.

Un nivel de confianza de 95 % no significa que haya una probabilidad del 95 % de que B sea realmente mejor. Significa que, si se repitiera la misma prueba muchas veces, este método daría un resultado significativo incorrecto como máximo 5 % de las veces. Es una afirmación sobre el método, no sobre este resultado concreto.

Probar muchas métricas o muchas variantes a la vez aumenta la probabilidad de que al menos una comparación parezca significativa únicamente por azar. Elegir una sola métrica antes de comenzar la prueba evita este problema.

Preguntas frecuentes

¿Qué tamaño de muestra necesita una prueba A/B? Suficientes visitantes para que una mejora relevante aparezca realmente como significativa. Las mejoras pequeñas y las tasas de base bajas requieren más visitantes. Una calculadora de tamaño de muestra específica, que use la tasa de base y la mejora mínima que interesa detectar, da una cifra más firme antes de empezar la prueba.

¿La prueba debe ser unilateral o bilateral? La bilateral es la opción predeterminada más segura, ya que puede indicar que B es mejor o peor que A. La unilateral es más sensible a una mejora, pero no puede detectar un resultado peor, por lo que solo debe usarse cuando un B peor no cambiaría ninguna decisión.

¿Por qué la calculadora muestra un intervalo de confianza? Un intervalo de confianza muestra el rango probable de la diferencia real, no solo una etiqueta de significativo o no significativo. Un intervalo amplio que incluye el cero suele indicar que la prueba necesita más datos.

¿Es una calculadora bayesiana? No. Usa una prueba z frecuentista, el método que más se enseña y se emplea en las pruebas A/B. Una herramienta bayesiana, en cambio, indica la probabilidad de que B supere a A. Ambos enfoques son válidos; responden preguntas ligeramente distintas.

¿Qué ocurre si la calculadora muestra un error? Aparece un error si un recuento de conversiones es negativo, si supera el número de visitantes o si la tasa de conversión combinada de ambos grupos es 0 % o 100 %, ya que en ese caso la fórmula de la prueba z tendría que dividir entre un error estándar igual a cero.

Referencias

1. Instituto Nacional de Estándares y Tecnología (NIST). NIST/SEMATECH e-Handbook of Statistical Methods, 7.3.3. How can we determine whether two processes produce the same proportion of defectives? — el estadístico z de dos proporciones con la proporción combinada, y las comparaciones unilaterales y bilaterales.
2. Instituto Nacional de Estándares y Tecnología (NIST). NIST/SEMATECH e-Handbook of Statistical Methods, 1.3.6.7.1. Cumulative distribution function of the standard normal distribution — valores críticos 1,645, 1,960 y 2,576.
3. Diez, Çetinkaya-Rundel y Barr (OpenIntro), a través de LibreTexts. Introduction to Statistics, 4th ed., 6.2: Difference of two proportions. Difference of two proportions — proporciones muestrales (no combinadas) para el intervalo de confianza, la proporción combinada para la prueba y la condición de éxito-fracaso de al menos 10 éxitos y 10 fracasos por grupo.