A/B 测试显著性计算器

A/B 测试显著性计算器的作用

A/B 测试显著性计算器用于判断某事物（网页、电子邮件、结账按钮）的两个版本之间的差异是真实效应，还是仅仅由随机波动造成。它接收每个版本的访客数和转化数，并返回 p 值、z 分数和置信区间。转化是指任何被视为成功的行为，例如购买、注册或点击。

如何使用计算器

计算器需要四个数字。

访客数（对照组）：看到版本 A（原始版本）的人数。
转化数（对照组）：其中完成转化的人数。
访客数（实验组）：看到版本 B（新版本）的人数。
转化数（实验组）：其中完成转化的人数。

另外两个设置会改变结果的判定方式。

置信水平决定测试的严格程度。95% 是常见的默认值。更高的水平（如 99%）要求有更强的证据，才能判定结果具有统计显著性。
假设决定问题所考察的方向。双侧检验问的是“B 是否与 A 不同，可能更好也可能更差？”单侧检验只问“B 是否优于 A？”单侧检验应仅在数据收集前选择，并且只有在 B 的结果更差也不会改变任何决策时才适用。

输入数字时，结果会随之更新。输入内容会存储在网页地址中，因此可以将结果保存为书签或作为链接分享。

A/B 测试公式（双比例 z 检验）

该计算器使用双比例 z 检验，这是比较两个转化率的标准方法。它在标准误差中使用合并转化率，详见下文。

步骤 1。计算每组的转化率。

$p_1 = \frac{x_1}{n_1}, \qquad p_2 = \frac{x_2}{n_2}$

这里， $x$ 是转化数， $n$ 是访客数，分别对应对照组（1）和实验组（2）。

步骤 2。合并转化率。 在这一步中，为了进行检验，假定两组共用一个真实的基础转化率。

$\hat{p} = \frac{x_1 + x_2}{n_1 + n_2}$

步骤 3。差异的标准误，根据合并转化率计算。

$SE = \sqrt{\hat{p}(1-\hat{p})\left(\frac{1}{n_1} + \frac{1}{n_2}\right)}$

步骤 4。Z 分数，即以标准误为单位衡量的两组比率之差。

$z = \frac{p_2 - p_1}{SE}$

步骤 5。P 值，取自标准正态分布 $\Phi$ 。对于双侧检验： $p = 2\left(1 - \Phi(|z|)\right)$ 。对于单侧检验： $p = 1 - \Phi(z)$ 。

步骤 6。判定。 当 p 值小于 $\alpha$ 时，结果具有统计显著性，其中 $\alpha = 1 - \text{置信水平}$ 。在 95% 的置信水平下， $\alpha = 0.05$ 。

计算器还会给出差值 $p_2 - p_1$ 大小的置信区间。该区间使用另一种非合并标准误差，它不假设两组具有相同的转化率：

$SE_{unpooled} = \sqrt{\frac{p_1(1-p_1)}{n_1} + \frac{p_2(1-p_2)}{n_2}}$

区间为 $(p_2 - p_1) \pm z_c \times SE_{unpooled}$ ，其中 $z_c$ 是正态分布的双侧临界值：置信水平为 90% 时为 1.6449，95% 时为 1.96，99% 时为 2.5758。如果区间不包含零，则差异在该置信水平下显著。

算例

	访客数	转化数	转化率
对照组（A）	1,000	100	10.00%
实验组（B）	1,000	150	15.00%

合并转化率为 $(100+150)/(1000+1000) = 0.125$ ，即 12.5%。合并标准误约为 0.0148。Z 分数为 $(0.15 - 0.10) / 0.0148 \approx 3.38$ 。

对于双侧检验，p 值约为 0.00072。这低于常用的 0.05 阈值，因此在 95% 置信水平下，差异具有统计学显著性。如果两个版本的实际表现完全相同，仅凭偶然，每 10,000 次测试中约有 7 次会出现这么大或更大的差距。

绝对差异为 5.00 个百分点。相对提升幅度为 50%，因为 B 的转化率是 A 的 1.5 倍。真实差异的 95% 置信区间约为 2.11% 至 7.89%。

正确解读结果

具有统计显著性的结果并不自动意味着值得采取行动。一个幅度很小但真实存在的提升，可能不值得承担上线成本。数学计算完成后，业务判断仍然重要。

每天检查 p 值，并在它刚刚低于 0.05 时停止测试，会提高假阳性的概率。更好的做法是事先确定样本量或测试时长，在测试完成后再解读结果。

该检验所依赖的正态近似，在每组至少有 10 次转化和 10 次未转化时效果最好。数量更少时，应将结果视为粗略的参考信号，而不是确切的结论。

95% 的置信水平并不意味着 B 确实优于 A 的概率为 95%。它表示，如果重复进行同样的测试许多次，该方法给出错误显著结果的比例最多为 5%。这是对该方法的描述，而不是对这一次结果的描述。

同时检验许多指标或许多变体，会增加至少有一个比较结果仅凭运气而显示显著的概率。在测试开始前选定一个指标，可以避免这个问题。

常见问题

A/B 测试需要多大的样本量？ 需要足够多的访客，使有意义的提升确实能以显著的形式显现。提升幅度越小、基准转化率越低，所需的访客就越多。专门的样本量计算器会根据基准转化率和值得检测的最小提升幅度，在测试开始前给出更可靠的数字。

应该使用单侧检验还是双侧检验？ 双侧检验是更稳妥的默认选择，因为它既能指出 B 优于 A，也能指出 B 劣于 A。单侧检验对改善更敏感，但无法指出更差的结果，因此只应在 B 变差也不会改变任何决策时使用。

为什么计算器要给出置信区间？ 置信区间显示真实差异可能所在的范围，而不只是“显著”或“不显著”的标签。跨越零的宽区间通常意味着测试需要更多数据。

这是贝叶斯计算器吗？ 不是。它使用频率学派的 z 检验，这是 A/B 测试中最常教授和使用的方法。贝叶斯工具则报告 B 优于 A 的概率。两种方法都有效，只是回答的问题略有不同。

如果计算器显示错误怎么办？ 如果转化数为负数、超过访客数，或两组合并的转化率为 0% 或 100%，就会出现错误，因为在这种情况下 z 检验公式无法除以为零的标准误差。

参考文献

National Institute of Standards and Technology（美国国家标准与技术研究院）。NIST/SEMATECH e-Handbook of Statistical Methods, 7.3.3。如何判断两个工艺产生的不合格品比例是否相同？ — 使用合并比例的双比例 z 统计量，以及单侧和双侧比较。
National Institute of Standards and Technology（美国国家标准与技术研究院）。NIST/SEMATECH e-Handbook of Statistical Methods, 1.3.6.7.1。标准正态分布的累积分布函数 — 临界值 1.645、1.960 和 2.576。
Diez、Çetinkaya-Rundel 和 Barr（OpenIntro），经由 LibreTexts。Introduction to Statistics, 4th ed., 6.2: Difference of two proportions。两个比例之差 — 置信区间使用样本（非合并）比例，检验使用合并比例，以及每组至少 10 次成功和 10 次失败的成功—失败条件。

A/B 测试显著性计算器