A/B検定有意性カルキュレーター

A/Bテストの有意差計算ツールで分かること

A/Bテスト有意差計算ツールは、あるものの2つのバージョン（ウェブページ、メール、購入ボタンなど）の差が、本当の効果なのか、単なる偶然なのかを調べます。各バージョンの訪問者数とコンバージョン数を入力すると、p値、zスコア、信頼区間が得られます。コンバージョンとは、成功とみなす行動のことで、購入、登録、クリックなどが当てはまります。

計算ツールの使い方

この計算ツールには4つの数値が必要です。

訪問者数（対照群）：元のバージョンであるバージョンAを見た人数。
コンバージョン数（対照群）：そのうちコンバージョンに至った人数。
訪問者数（バリエーション）：新しいバージョンであるバージョンBを見た人数。
コンバージョン数（バリエーション）：そのうちコンバージョンに至った人数。

さらに2つの設定によって、結果の判定方法が変わります。

信頼水準は検定の厳しさを設定します。95%が一般的な初期値です。99%のように信頼水準を高くすると、結果を有意と判定する前に、より強い証拠が求められます。
仮説は問いの方向を設定します。両側検定では「Bはどちらの方向であれAと異なるか」を問い、片側検定では「BはAより良いか」だけを問います。片側検定は、データが得られる前に、かつBの結果が悪くても意思決定が変わらない場合に限って選ぶべきです。

数値を入力すると結果が更新されます。入力値はページのウェブアドレスに保存されるため、結果をブックマークしたり、リンクとして共有したりできます。

A/Bテストの計算式（2標本比率のz検定）

この計算ツールは、2つの比率を比較する標準的な方法である2標本比率のz検定を使います。標準誤差には、以下に示すとおり、プールした比率を用います。

ステップ1。各グループのコンバージョン率。

$p_1 = \frac{x_1}{n_1}, \qquad p_2 = \frac{x_2}{n_2}$

ここで $x$ はコンバージョン数、 $n$ は訪問者数を表し、対照群（1）とバリエーション（2）について計算します。

**ステップ2。プールされたコンバージョン率。**このステップでは、検定上の仮定として、両グループが1つの真の基礎率を共有するとみなします。

$\hat{p} = \frac{x_1 + x_2}{n_1 + n_2}$

ステップ3。差の標準誤差。プールされた率を基に算出します。

$SE = \sqrt{\hat{p}(1-\hat{p})\left(\frac{1}{n_1} + \frac{1}{n_2}\right)}$

ステップ4。zスコア。2つの率の差を標準誤差単位で表したものです。

$z = \frac{p_2 - p_1}{SE}$

ステップ5。p値。標準正規分布 $\Phi$ から求めます。両側検定では $p = 2\left(1 - \Phi(|z|)\right)$ 、片側検定では $p = 1 - \Phi(z)$ です。

**ステップ6。判定。**p値が $\alpha$ より小さいとき、結果は統計的に有意とみなされます。ここで $\alpha = 1 - \text{信頼水準}$ です。95%の信頼水準では、 $\alpha = 0.05$ となります。

計算ツールは、差の大きさ $p_2 - p_1$ の信頼区間も表示します。この区間には、2つの群が同じ比率を共有すると仮定しない、別個のプールしない標準誤差を使います。

$SE_{unpooled} = \sqrt{\frac{p_1(1-p_1)}{n_1} + \frac{p_2(1-p_2)}{n_2}}$

区間は $(p_2 - p_1) \pm z_c \times SE_{unpooled}$ で、 $z_c$ は正規分布の両側臨界値です。信頼水準90%では1.6449、95%では1.96、99%では2.5758です。区間にゼロが含まれない場合、その信頼水準で差は有意です。

計算例

	訪問者数	コンバージョン数	コンバージョン率
対照群（A）	1,000	100	10.00%
バリエーション（B）	1,000	150	15.00%

プールされた率は $(100+150)/(1000+1000) = 0.125$ 、つまり12.5%です。プールされた標準誤差は約0.0148です。zスコアは $(0.15 - 0.10) / 0.0148 \approx 3.38$ です。

両側検定では、p値は約0.00072になります。これは通常の基準値0.05を下回るため、信頼水準95%で差は統計的に有意です。もし2つのバージョンの成績が本当に同じなら、これほど大きい、あるいはそれ以上の差が偶然だけで現れるのは、10,000回のテストのうち約7回です。

絶対差は5.00パーセントポイントです。相対的な上昇率は50%で、Bの率がAの1.5倍だからです。真の差の95%信頼区間は、およそ2.11%から7.89%です。

結果を正しく読む

統計的に有意な結果が、行動を起こす価値のある結果とは限りません。実際に存在するわずかな上昇でも、リリースにかかるコストに見合わない場合があります。計算が終わった後も、ビジネス上の判断は重要です。

p値を毎日確認し、0.05を超えた瞬間に検定を止めると、偽陽性の確率が高まります。あらかじめサンプルサイズまたは実施期間を決め、結果を確認する前に検定を最後まで行うほうが適切です。

このテストが依拠する正規近似は、各群にコンバージョンが10件以上、コンバージョンしなかった数が10件以上あるときに最もよく機能します。数がこれより少ない場合、結果は確定的な答えではなく、おおまかな目安として扱ってください。

95%の信頼水準は、Bが実際に優れている確率が95%という意味ではありません。同じ検定を何度も繰り返した場合、この手法が誤って有意と判定する割合が最大でも5%になるという意味です。これは今回の結果ではなく、手法についての説明です。

一度に多くの指標やバリエーションを検定すると、少なくとも1つの比較が純粋に偶然で有意に見える可能性が高まります。検定開始前に指標を1つ選んでおくと、この問題を避けられます。

よくある質問

A/Bテストにはどれくらいのサンプルサイズが必要ですか。 意味のある上昇が実際に有意として現れるだけの訪問者数です。上昇幅が小さいほど、また基準となる比率が低いほど、多くの訪問者が必要です。基準比率と検出したい最小の上昇幅を使う専用のサンプルサイズ計算ツールを使うと、テストを始める前により確かな数字が得られます。

検定は片側と両側のどちらにすべきですか？ 両側検定がより安全な初期設定です。BがAより良い場合も悪い場合も検出できるためです。片側検定は改善に対してより敏感ですが、悪化は検出できません。そのため、Bの結果が悪くても意思決定が変わらない場合に限って使用すべきです。

なぜ計算ツールは信頼区間を示すのですか？ 信頼区間は、有意か有意でないかのラベルだけでなく、真の差が含まれる可能性の高い範囲を示します。ゼロをまたぐ幅の広い区間は、通常、検定にさらにデータが必要であることを意味します。

これはベイズ計算ツールですか？ いいえ。A/Bテストで最も一般的に教えられ、使われている頻度主義のz検定を使用します。ベイズ手法のツールは、代わりにBがAを上回る確率を示します。どちらも妥当な方法ですが、答える問いが少し異なります。

計算ツールにエラーが表示された場合はどうすればよいですか？ コンバージョン数が負の場合、訪問者数を超えている場合、または両グループを合わせたコンバージョン率が0%または100%の場合にエラーが表示されます。この場合、z検定の式で標準誤差がゼロとなり、ゼロで割ることができないためです。

参考文献

National Institute of Standards and Technology. NIST/SEMATECH e-Handbook of Statistical Methods, 7.3.3. How can we determine whether two processes produce the same proportion of defectives? — プールした比率を用いる2標本z統計量、および片側比較と両側比較。
National Institute of Standards and Technology. NIST/SEMATECH e-Handbook of Statistical Methods, 1.3.6.7.1. Cumulative distribution function of the standard normal distribution — 臨界値1.645、1.960、2.576。
Diez, Çetinkaya-Rundel and Barr (OpenIntro), via LibreTexts. Introduction to Statistics, 4th ed., 6.2: Difference of two proportions. Difference of two proportions — 信頼区間には標本（プールしない）比率、検定にはプールした比率を用いること、および各群で成功が10件以上、失敗が10件以上という成功・失敗条件。

A/B検定有意性カルキュレーター