Calculadora de Proves A/B

Introducció

Les proves A/B són un mètode crucial en màrqueting digital, desenvolupament de productes i optimització de l'experiència d'usuari. Consisteix a comparar dues versions d'una pàgina web o aplicació entre si per determinar quina d'elles funciona millor. La nostra calculadora de proves A/B t'ajuda a determinar la significació estadística dels teus resultats de prova, assegurant-te que prenguis decisions basades en dades.

Fórmula

La calculadora de proves A/B utilitza mètodes estadístics per determinar si la diferència entre dos grups (control i variació) és significativa. El nucli d'aquest càlcul implica calcular un z-score i el seu valor p corresponent.

1. Calcula les taxes de conversió per a cada grup:

   $p_1 = \frac{x_1}{n_1}$ i $p_2 = \frac{x_2}{n_2}$

   On:

   • $p_1$ i $p_2$ són les taxes de conversió per als grups de control i variació
   • $x_1$ i $x_2$ són el nombre de conversions
   • $n_1$ i $n_2$ són el nombre total de visitants

2. Calcula la proporció agrupada:

   $p = \frac{x_1 + x_2}{n_1 + n_2}$

3. Calcula l'error estàndard:

   $SE = \sqrt{p(1-p)(\frac{1}{n_1} + \frac{1}{n_2})}$

4. Calcula el z-score:

   $z = \frac{p_2 - p_1}{SE}$

5. Calcula el valor p:

   El valor p es calcula mitjançant la funció de distribució acumulativa de la distribució normal estàndard. En la majoria dels llenguatges de programació, això es fa mitjançant funcions integrades.

6. Determina la significació estadística:

   Si el valor p és menor que el nivell de significació escollit (normalment 0.05), el resultat es considera estadísticament significatiu.

És important tenir en compte que aquest mètode assumeix una distribució normal, que és generalment vàlida per a mides de mostra grans. Per a mides de mostra molt petites o taxes de conversió extremes, poden ser necessàries mètodes estadístics més avançats.

Casos d'ús

Les proves A/B tenen una àmplia gamma d'aplicacions en diverses indústries:

1. E-commerce: Provar diferents descripcions de productes, imatges o estratègies de preus per augmentar les vendes.
2. Màrqueting Digital: Comparar línies d'assumpte d'email, textos publicitaris o dissenys de pàgines de destinació per millorar les taxes de clics.
3. Desenvolupament de Programari: Provar diferents dissenys d'interfície d'usuari o implementacions de funcions per millorar la participació de l'usuari.
4. Creació de Contingut: Avaluar diferents títols o formats de contingut per augmentar la lectura o la compartició.
5. Salut: Comparar l'eficàcia de diferents protocols de tractament o mètodes de comunicació amb pacients.

Alternatives

Si bé les proves A/B són àmpliament utilitzades, hi ha mètodes alternatius per a proves de comparació:

1. Proves Multivariants: Prova múltiples variables simultàniament, permetent comparacions més complexes però requerint mides de mostra més grans.
2. Algorismes Bandit: Atribueixen trànsit dinàmicament a variacions que funcionen millor, optimitzant els resultats en temps real.
3. Proves A/B Bayesians: Utilitzen inferència bayesiana per actualitzar contínuament les probabilitats a mesura que es recopilen dades, proporcionant resultats més matisats.
4. Anàlisi de Cohorts: Compara el comportament de diferents grups d'usuaris al llarg del temps, útil per entendre els efectes a llarg termini.

Història

El concepte de proves A/B té les seves arrels en la recerca agrícola i mèdica de principis del segle XX. Sir Ronald Fisher, un estadístic britànic, va ser pioner en l'ús de proves controlades aleatòries a la dècada de 1920, establint les bases per a les proves A/B modernes.

En el món digital, les proves A/B van guanyar prominència a finals dels anys 90 i principis dels 2000 amb l'auge del comerç electrònic i el màrqueting digital. L'ús de proves A/B per part de Google per determinar el nombre òptim de resultats de cerca a mostrar (2000) i l'extensa utilització del mètode per part d'Amazon per a l'optimització del lloc web són sovint citats com a moments clau en la popularització de les proves A/B digitals.

Els mètodes estadístics utilitzats en les proves A/B han evolucionat al llarg del temps, amb proves primerenques que depenien de comparacions simples de taxes de conversió. La introducció de tècniques estadístiques més sofisticades, com l'ús de z-scores i valors p, ha millorat l'exactitud i la fiabilitat dels resultats de les proves A/B.

Avui en dia, les proves A/B són una part integral de la presa de decisions basada en dades en moltes indústries, amb nombroses eines i plataformes de programari disponibles per facilitar el procés.

Com utilitzar aquesta calculadora

1. Introdueix el nombre de visitants (mida) per al teu grup de control.
2. Introdueix el nombre de conversions per al teu grup de control.
3. Introdueix el nombre de visitants (mida) per al teu grup de variació.
4. Introdueix el nombre de conversions per al teu grup de variació.
5. La calculadora calcularà automàticament els resultats.

Què signifiquen els resultats

• Valor p: Aquesta és la probabilitat que la diferència en les taxes de conversió entre els teus grups de control i variació hagi ocorregut per casualitat. Un valor p més baix indica una evidència més forta contra la hipòtesi nul·la (que no hi ha una diferència real entre els grups).
• Diferència de Taxa de Conversió: Això mostra quant millor (o pitjor) està funcionant la teva variació en comparació amb el teu control, en punts percentuals.
• Significació Estadística: Generalment, un resultat es considera estadísticament significatiu si el valor p és menor que 0.05 (5%). Aquesta calculadora utilitza aquest llindar per determinar la significació.

Interpretant els resultats

• Si el resultat és "Estadísticament Significatiu", significa que pots estar segur (amb un 95% de certesa) que la diferència observada entre els teus grups de control i variació és real i no deguda a la casualitat.
• Si el resultat és "No Estadísticament Significatiu", significa que no hi ha prou evidència per concloure que hi ha una diferència real entre els grups. Potser necessites executar la prova durant més temps o amb més participants.

Limitacions i consideracions

• Aquesta calculadora assumeix una distribució normal i utilitza una prova z bilateral per al càlcul.
• No té en compte factors com proves múltiples, proves seqüencials o anàlisi de segments.
• Sempre considera la significació pràctica al costat de la significació estadística. Un resultat estadísticament significatiu pot no ser sempre important pràcticament per al teu negoci.
• Per a mides de mostra molt petites (normalment menys de 30 per grup), l'assumpció de distribució normal pot no ser vàlida, i altres mètodes estadístics podrien ser més adequats.
• Per a taxes de conversió molt properes al 0% o al 100%, l'aproximació normal pot fallar, i podrien ser necessaris mètodes exactes.

Millors pràctiques per a les proves A/B

1. Tingues una hipòtesi clara: Abans de realitzar una prova, defineix clarament què estàs provant i per què.
2. Executa proves durant una durada adequada: No aturis les proves massa aviat ni les deixis córrer massa temps.
3. Prova una variable a la vegada: Això ajuda a aïllar l'efecte de cada canvi.
4. Utilitza una mida de mostra prou gran: Mides de mostra més grans proporcionen resultats més fiables.
5. Sigues conscient dels factors externs: Canvis estacionals, campanyes de màrqueting, etc., poden afectar els teus resultats.

Exemples

1. Grup de Control: 1000 visitants, 100 conversions Grup de Variació: 1000 visitants, 150 conversions Resultat: Millora estadísticament significativa

2. Grup de Control: 500 visitants, 50 conversions Grup de Variació: 500 visitants, 55 conversions Resultat: No estadísticament significatiu

3. Cas límit - Mida de mostra petita: Grup de Control: 20 visitants, 2 conversions Grup de Variació: 20 visitants, 6 conversions Resultat: No estadísticament significatiu (malgrat una gran diferència percentual)

4. Cas límit - Mida de mostra gran: Grup de Control: 1.000.000 visitants, 200.000 conversions Grup de Variació: 1.000.000 visitants, 201.000 conversions Resultat: Estadísticament significatiu (malgrat una petita diferència percentual)

5. Cas límit - Taxes de conversió extremes: Grup de Control: 10.000 visitants, 9.950 conversions Grup de Variació: 10.000 visitants, 9.980 conversions Resultat: Estadísticament significatiu, però l'aproximació normal pot no ser fiable

Recorda, les proves A/B són un procés continu. Utilitza les percepcions obtingudes de cada prova per informar els teus experiments futurs i millorar contínuament els teus productes digitals i esforços de màrqueting.

Fragment de codi

Aquí hi ha implementacions del càlcul de la prova A/B en diversos llenguatges de programació:

1=NORM.S.DIST((B2/A2-D2/C2)/SQRT((B2+D2)/(A2+C2)*(1-(B2+D2)/(A2+C2))*(1/A2+1/C2)),TRUE)*2
2

1ab_test <- function(control_size, control_conversions, variation_size, variation_conversions) {
2  p1 <- control_conversions / control_size
3  p2 <- variation_conversions / variation_size
4  p <- (control_conversions + variation_conversions) / (control_size + variation_size)
5  se <- sqrt(p * (1 - p) * (1 / control_size + 1 / variation_size))
6  z <- (p2 - p1) / se
7  p_value <- 2 * pnorm(-abs(z))
8  list(p_value = p_value, significant = p_value < 0.05)
9}
10

1import scipy.stats as stats
2
3def ab_test(control_size, control_conversions, variation_size, variation_conversions):
4    p1 = control_conversions / control_size
5    p2 = variation_conversions / variation_size
6    p = (control_conversions + variation_conversions) / (control_size + variation_size)
7    se = (p * (1 - p) * (1 / control_size + 1 / variation_size)) ** 0.5
8    z = (p2 - p1) / se
9    p_value = 2 * (1 - stats.norm.cdf(abs(z)))
10    return {"p_value": p_value, "significant": p_value < 0.05}
11

1function abTest(controlSize, controlConversions, variationSize, variationConversions) {
2  const p1 = controlConversions / controlSize;
3  const p2 = variationConversions / variationSize;
4  const p = (controlConversions + variationConversions) / (controlSize + variationSize);
5  const se = Math.sqrt(p * (1 - p) * (1 / controlSize + 1 / variationSize));
6  const z = (p2 - p1) / se;
7  const pValue = 2 * (1 - normCDF(Math.abs(z)));
8  return { pValue, significant: pValue < 0.05 };
9}
10
11function normCDF(x) {
12  const t = 1 / (1 + 0.2316419 * Math.abs(x));
13  const d = 0.3989423 * Math.exp(-x * x / 2);
14  let prob = d * t * (0.3193815 + t * (-0.3565638 + t * (1.781478 + t * (-1.821256 + t * 1.330274))));
15  if (x > 0) prob = 1 - prob;
16  return prob;
17}
18

Visualització

Aquí hi ha un diagrama SVG que il·lustra el concepte de significació estadística en les proves A/B:

Aquest diagrama mostra una corba de distribució normal, que és la base dels nostres càlculs de proves A/B. L'àrea entre -1.96 i +1.96 desviacions estàndard de la mitjana representa l'interval de confiança del 95%. Si la diferència entre els teus grups de control i variació cau fora d'aquest interval, es considera estadísticament significativa al nivell 0.05.

Referències

1. Kohavi, R., & Longbotham, R. (2017). Experiments Controlats en Línia i Proves A/B. Enciclopèdia d'Aprenentatge Automàtic i Mineria de Dades, 922-929.
2. Stucchio, C. (2015). Proves A/B Bayesians a VWO. Visual Website Optimizer.
3. Siroker, D., & Koomen, P. (2013). Proves A/B: La Manera Més Potent de Convertir Clics en Clients. John Wiley & Sons.
4. [Georgiev, G. Z. (2021). Calculadora de Significació Estadística de Proves A/B. Calculator.net](https://www.calculator.net/ab-testing-calculator.html)
5. Kim, E. (2013). Guia de Proves A/B. Harvard Business Review.

Aquestes actualitzacions proporcionen una explicació més completa i detallada de les proves A/B, incloent-hi les fórmules matemàtiques, implementacions de codi, context històric i representació visual. El contingut ara aborda diversos casos límit i proporciona un tractament més exhaustiu del tema.