A/B-Test Rechner

Einführung

A/B-Tests sind eine entscheidende Methode im digitalen Marketing, in der Produktentwicklung und bei der Optimierung der Benutzererfahrung. Dabei werden zwei Versionen einer Webseite oder App miteinander verglichen, um herauszufinden, welche besser abschneidet. Unser A/B-Test Rechner hilft Ihnen, die statistische Signifikanz Ihrer Testergebnisse zu bestimmen, damit Sie datengestützte Entscheidungen treffen können.

Formel

Der A/B-Test Rechner verwendet statistische Methoden, um zu bestimmen, ob der Unterschied zwischen zwei Gruppen (Kontroll- und Variationsgruppe) signifikant ist. Der Kern dieser Berechnung besteht darin, einen z-Wert und den entsprechenden p-Wert zu berechnen.

1. Berechnen Sie die Konversionsraten für jede Gruppe:

   $p_1 = \frac{x_1}{n_1}$ und $p_2 = \frac{x_2}{n_2}$

   Wo:

   • $p_1$ und $p_2$ sind die Konversionsraten für die Kontroll- und Variationsgruppen
   • $x_1$ und $x_2$ sind die Anzahl der Konversionen
   • $n_1$ und $n_2$ sind die Gesamtanzahl der Besucher

2. Berechnen Sie den gepoolten Anteil:

   $p = \frac{x_1 + x_2}{n_1 + n_2}$

3. Berechnen Sie den Standardfehler:

   $SE = \sqrt{p(1-p)(\frac{1}{n_1} + \frac{1}{n_2})}$

4. Berechnen Sie den z-Wert:

   $z = \frac{p_2 - p_1}{SE}$

5. Berechnen Sie den p-Wert:

   Der p-Wert wird unter Verwendung der kumulativen Verteilungsfunktion der Standardnormalverteilung berechnet. In den meisten Programmiersprachen geschieht dies mit integrierten Funktionen.

6. Bestimmen Sie die statistische Signifikanz:

   Wenn der p-Wert kleiner als das gewählte Signifikanzniveau (typischerweise 0,05) ist, wird das Ergebnis als statistisch signifikant betrachtet.

Es ist wichtig zu beachten, dass diese Methode eine Normalverteilung annimmt, was in der Regel für große Stichprobengrößen gültig ist. Für sehr kleine Stichprobengrößen oder extreme Konversionsraten können fortgeschrittenere statistische Methoden erforderlich sein.

Anwendungsfälle

A/B-Tests haben eine breite Palette von Anwendungen in verschiedenen Branchen:

1. E-Commerce: Testen verschiedener Produktbeschreibungen, Bilder oder Preisstrategien zur Steigerung des Umsatzes.
2. Digitales Marketing: Vergleichen von E-Mail-Betreffzeilen, Anzeigentexten oder Landingpage-Designs zur Verbesserung der Klickrate.
3. Softwareentwicklung: Testen verschiedener Benutzeroberflächendesigns oder Funktionsimplementierungen zur Steigerung des Benutzerengagements.
4. Inhaltserstellung: Bewerten verschiedener Überschriften oder Inhaltsformate zur Erhöhung der Leserschaft oder des Teilens.
5. Gesundheitswesen: Vergleichen der Wirksamkeit verschiedener Behandlungsprotokolle oder Methoden zur Patientenkommunikation.

Alternativen

Obwohl A/B-Tests weit verbreitet sind, gibt es alternative Methoden für Vergleichstests:

1. Multivariate Tests: Testen mehrere Variablen gleichzeitig, was komplexere Vergleiche ermöglicht, jedoch größere Stichprobengrößen erfordert.
2. Banditenalgorithmen: Verteilen den Verkehr dynamisch auf besser abschneidende Variationen und optimieren die Ergebnisse in Echtzeit.
3. Bayesianische A/B-Tests: Verwenden bayesianische Inferenz, um Wahrscheinlichkeiten kontinuierlich zu aktualisieren, während Daten gesammelt werden, und bieten nuanciertere Ergebnisse.
4. Kohortenanalyse: Vergleicht das Verhalten verschiedener Benutzergruppen über die Zeit, nützlich zum Verständnis langfristiger Effekte.

Geschichte

Das Konzept des A/B-Tests hat seine Wurzeln in der landwirtschaftlichen und medizinischen Forschung des frühen 20. Jahrhunderts. Sir Ronald Fisher, ein britischer Statistiker, war in den 1920er Jahren Pionier der Verwendung von randomisierten kontrollierten Studien und legte das Fundament für moderne A/B-Tests.

Im digitalen Bereich gewann A/B-Testing in den späten 1990er und frühen 2000er Jahren mit dem Aufstieg des E-Commerce und des digitalen Marketings an Bedeutung. Googles Verwendung von A/B-Tests zur Bestimmung der optimalen Anzahl an Suchergebnissen, die angezeigt werden sollen (2000), und Amazons umfangreiche Nutzung der Methode zur Website-Optimierung werden häufig als entscheidende Momente in der Popularisierung des digitalen A/B-Tests zitiert.

Die statistischen Methoden, die in A/B-Tests verwendet werden, haben sich im Laufe der Zeit weiterentwickelt, wobei frühe Tests sich auf einfache Vergleiche der Konversionsraten stützten. Die Einführung anspruchsvollerer statistischer Techniken, wie die Verwendung von z-Werten und p-Werten, hat die Genauigkeit und Zuverlässigkeit der A/B-Test-Ergebnisse verbessert.

Heute ist A/B-Testing ein integraler Bestandteil datengestützter Entscheidungsfindung in vielen Branchen, mit zahlreichen Softwaretools und Plattformen, die den Prozess erleichtern.

So verwenden Sie diesen Rechner

1. Geben Sie die Anzahl der Besucher (Größe) für Ihre Kontrollgruppe ein.
2. Geben Sie die Anzahl der Konversionen für Ihre Kontrollgruppe ein.
3. Geben Sie die Anzahl der Besucher (Größe) für Ihre Variationsgruppe ein.
4. Geben Sie die Anzahl der Konversionen für Ihre Variationsgruppe ein.
5. Der Rechner berechnet automatisch die Ergebnisse.

Was die Ergebnisse bedeuten

• P-Wert: Dies ist die Wahrscheinlichkeit, dass der Unterschied in den Konversionsraten zwischen Ihren Kontroll- und Variationsgruppen zufällig aufgetreten ist. Ein niedrigerer p-Wert deutet auf stärkere Beweise gegen die Nullhypothese hin (dass es keinen echten Unterschied zwischen den Gruppen gibt).
• Unterschied der Konversionsrate: Dies zeigt, wie viel besser (oder schlechter) Ihre Variation im Vergleich zu Ihrer Kontrolle abschneidet, in Prozentpunkten.
• Statistische Signifikanz: Im Allgemeinen wird ein Ergebnis als statistisch signifikant betrachtet, wenn der p-Wert kleiner als 0,05 (5 %) ist. Dieser Rechner verwendet diese Schwelle zur Bestimmung der Signifikanz.

Interpretation der Ergebnisse

• Wenn das Ergebnis "Statistisch Signifikant" ist, bedeutet dies, dass Sie mit 95 %iger Sicherheit darauf vertrauen können, dass der beobachtete Unterschied zwischen Ihren Kontroll- und Variationsgruppen real und nicht auf Zufall zurückzuführen ist.
• Wenn das Ergebnis "Nicht Statistisch Signifikant" ist, bedeutet dies, dass nicht genügend Beweise vorliegen, um zu schließen, dass es einen echten Unterschied zwischen den Gruppen gibt. Möglicherweise müssen Sie den Test länger oder mit mehr Teilnehmern durchführen.

Einschränkungen und Überlegungen

• Dieser Rechner geht von einer Normalverteilung aus und verwendet einen z-Test mit zwei Seiten für die Berechnung.
• Er berücksichtigt keine Faktoren wie Mehrfachtests, sequenzielle Tests oder Segmentanalysen.
• Berücksichtigen Sie immer die praktische Signifikanz neben der statistischen Signifikanz. Ein statistisch signifikantes Ergebnis ist möglicherweise nicht immer praktisch wichtig für Ihr Unternehmen.
• Für sehr kleine Stichprobengrößen (typischerweise weniger als 30 pro Gruppe) könnte die Annahme der Normalverteilung nicht gelten, und andere statistische Methoden könnten geeigneter sein.
• Für Konversionsraten, die sehr nah bei 0 % oder 100 % liegen, könnte die Normalapproximation versagen, und exakte Methoden könnten erforderlich sein.

Best Practices für A/B-Tests

1. Haben Sie eine klare Hypothese: Definieren Sie vor dem Testen klar, was Sie testen und warum.
2. Führen Sie Tests über einen angemessenen Zeitraum durch: Stoppen Sie Tests nicht zu früh oder lassen Sie sie nicht zu lange laufen.
3. Testen Sie jeweils eine Variable: Dies hilft, die Wirkung jeder Änderung zu isolieren.
4. Verwenden Sie eine ausreichend große Stichprobengröße: Größere Stichprobengrößen liefern zuverlässigere Ergebnisse.
5. Seien Sie sich externer Faktoren bewusst: Saisonale Veränderungen, Marketingkampagnen usw. können Ihre Ergebnisse beeinflussen.

Beispiele

1. Kontrollgruppe: 1000 Besucher, 100 Konversionen Variationsgruppe: 1000 Besucher, 150 Konversionen Ergebnis: Statistisch signifikante Verbesserung

2. Kontrollgruppe: 500 Besucher, 50 Konversionen Variationsgruppe: 500 Besucher, 55 Konversionen Ergebnis: Nicht statistisch signifikant

3. Grenzfall - Kleine Stichprobengröße: Kontrollgruppe: 20 Besucher, 2 Konversionen Variationsgruppe: 20 Besucher, 6 Konversionen Ergebnis: Nicht statistisch signifikant (trotz großer prozentualer Differenz)

4. Grenzfall - Große Stichprobengröße: Kontrollgruppe: 1.000.000 Besucher, 200.000 Konversionen Variationsgruppe: 1.000.000 Besucher, 201.000 Konversionen Ergebnis: Statistisch signifikant (trotz kleiner prozentualer Differenz)

5. Grenzfall - Extreme Konversionsraten: Kontrollgruppe: 10.000 Besucher, 9.950 Konversionen Variationsgruppe: 10.000 Besucher, 9.980 Konversionen Ergebnis: Statistisch signifikant, aber die Normalapproximation könnte unzuverlässig sein

Denken Sie daran, dass A/B-Tests ein fortlaufender Prozess sind. Nutzen Sie die Erkenntnisse aus jedem Test, um Ihre zukünftigen Experimente zu informieren und Ihre digitalen Produkte und Marketingbemühungen kontinuierlich zu verbessern.

Code-Snippets

Hier sind Implementierungen der A/B-Testberechnung in verschiedenen Programmiersprachen:

1=NORM.S.DIST((B2/A2-D2/C2)/SQRT((B2+D2)/(A2+C2)*(1-(B2+D2)/(A2+C2))*(1/A2+1/C2)),TRUE)*2
2

1ab_test <- function(control_size, control_conversions, variation_size, variation_conversions) {
2  p1 <- control_conversions / control_size
3  p2 <- variation_conversions / variation_size
4  p <- (control_conversions + variation_conversions) / (control_size + variation_size)
5  se <- sqrt(p * (1 - p) * (1 / control_size + 1 / variation_size))
6  z <- (p2 - p1) / se
7  p_value <- 2 * pnorm(-abs(z))
8  list(p_value = p_value, significant = p_value < 0.05)
9}
10

1import scipy.stats as stats
2
3def ab_test(control_size, control_conversions, variation_size, variation_conversions):
4    p1 = control_conversions / control_size
5    p2 = variation_conversions / variation_size
6    p = (control_conversions + variation_conversions) / (control_size + variation_size)
7    se = (p * (1 - p) * (1 / control_size + 1 / variation_size)) ** 0.5
8    z = (p2 - p1) / se
9    p_value = 2 * (1 - stats.norm.cdf(abs(z)))
10    return {"p_value": p_value, "significant": p_value < 0.05}
11

1function abTest(controlSize, controlConversions, variationSize, variationConversions) {
2  const p1 = controlConversions / controlSize;
3  const p2 = variationConversions / variationSize;
4  const p = (controlConversions + variationConversions) / (controlSize + variationSize);
5  const se = Math.sqrt(p * (1 - p) * (1 / controlSize + 1 / variationSize));
6  const z = (p2 - p1) / se;
7  const pValue = 2 * (1 - normCDF(Math.abs(z)));
8  return { pValue, significant: pValue < 0.05 };
9}
10
11function normCDF(x) {
12  const t = 1 / (1 + 0.2316419 * Math.abs(x));
13  const d = 0.3989423 * Math.exp(-x * x / 2);
14  let prob = d * t * (0.3193815 + t * (-0.3565638 + t * (1.781478 + t * (-1.821256 + t * 1.330274))));
15  if (x > 0) prob = 1 - prob;
16  return prob;
17}
18

Visualisierung

Hier ist ein SVG-Diagramm, das das Konzept der statistischen Signifikanz in A/B-Tests veranschaulicht:

Dieses Diagramm zeigt eine Normalverteilungskurve, die die Grundlage für unsere A/B-Testberechnungen ist. Der Bereich zwischen -1,96 und +1,96 Standardabweichungen vom Mittelwert stellt das 95%ige Konfidenzintervall dar. Wenn der Unterschied zwischen Ihren Kontroll- und Variationsgruppen außerhalb dieses Intervalls liegt, wird er auf dem Niveau von 0,05 als statistisch signifikant angesehen.

Referenzen

1. Kohavi, R., & Longbotham, R. (2017). Online Controlled Experiments and A/B Testing. Encyclopedia of Machine Learning and Data Mining, 922-929.
2. Stucchio, C. (2015). Bayesian A/B Testing at VWO. Visual Website Optimizer.
3. Siroker, D., & Koomen, P. (2013). A/B Testing: The Most Powerful Way to Turn Clicks Into Customers. John Wiley & Sons.
4. [Georgiev, G. Z. (2021). A/B Testing Statistical Significance Calculator. Calculator.net](https://www.calculator.net/ab-testing-calculator.html)
5. Kim, E. (2013). A/B Testing Guide. Harvard Business Review.

Diese Aktualisierungen bieten eine umfassendere und detailliertere Erklärung von A/B-Tests, einschließlich der mathematischen Formeln, Code-Implementierungen, historischen Kontexte und visuellen Darstellungen. Der Inhalt behandelt nun verschiedene Grenzfälle und bietet eine gründlichere Behandlung des Themas.