A/B 테스트 유의성 계산기

A/B 테스트 유의성 계산기가 하는 일

A/B 테스트 유의성 계산기는 두 버전(웹페이지, 이메일, 결제 버튼 등)의 차이가 실제 효과인지 단순한 우연인지 확인하는 도구이다. 각 버전의 방문자 수와 전환 수를 입력하면 p값, z점수, 신뢰구간을 계산해 준다. 전환은 구매, 가입, 클릭처럼 성공으로 간주하는 모든 행동을 뜻한다.

계산기 사용 방법

계산기에는 네 개의 숫자가 필요합니다.

방문자 수(대조군): 원래 버전인 A를 본 사람의 수입니다.
전환 수(대조군): 그중 전환한 사람의 수입니다.
방문자 수(변형): 새 버전인 B를 본 사람의 수입니다.
전환 수(변형): 그중 전환한 사람의 수입니다.

결과를 판단하는 방식을 바꾸는 설정이 두 가지 더 있습니다.

신뢰수준은 검정의 엄격한 정도를 정합니다. 95%가 일반적인 기본값입니다. 99%처럼 더 높은 수준에서는 결과를 유의하다고 판단하기 전에 더 강한 근거를 요구합니다.
가설은 질문의 방향을 정합니다. 양측 검정은 “B가 어느 방향으로든 A와 다른가?”를 묻습니다. 단측 검정은 “B가 A보다 나은가?”만 묻습니다. 단측 검정은 데이터가 수집되기 전에, 그리고 B의 결과가 더 나쁘더라도 어떤 의사결정도 바뀌지 않을 경우에만 선택해야 합니다.

숫자를 입력하면 결과가 업데이트됩니다. 입력값은 페이지의 웹 주소에 저장되므로 결과를 링크로 북마크하거나 공유할 수 있습니다.

A/B 테스트 공식(두 비율 z 검정)

이 계산기는 두 비율을 비교하는 표준 방법인 두 비율 z검정을 사용한다. 아래에 나오듯이 표준오차에는 합동 비율을 사용한다.

단계 1. 각 그룹의 전환율.

$p_1 = \frac{x_1}{n_1}, \qquad p_2 = \frac{x_2}{n_2}$

여기서 $x$ 는 전환 수이고 $n$ 은 방문자 수이며, 대조군(1)과 변형군(2)에 각각 적용됩니다.

단계 2. 통합 전환율. 이 단계에서는 검정을 위해 두 그룹이 하나의 실제 기저 전환율을 공유한다고 가정합니다.

$\hat{p} = \frac{x_1 + x_2}{n_1 + n_2}$

단계 3. 차이의 표준오차는 통합 전환율을 바탕으로 계산됩니다.

$SE = \sqrt{\hat{p}(1-\hat{p})\left(\frac{1}{n_1} + \frac{1}{n_2}\right)}$

단계 4. z점수는 두 전환율의 차이를 표준오차 단위로 나타낸 값입니다.

$z = \frac{p_2 - p_1}{SE}$

단계 5. p값은 표준정규분포 $\Phi$ 에서 구합니다. 양측 검정의 경우: $p = 2\left(1 - \Phi(|z|)\right)$ . 단측 검정의 경우: $p = 1 - \Phi(z)$ .

단계 6. 판정. p값이 $\alpha$ 보다 작으면 결과를 통계적으로 유의하다고 봅니다. 여기서 $\alpha = 1 - \text{신뢰수준}$ 입니다. 95% 신뢰수준에서는 $\alpha = 0.05$ 입니다.

계산기는 차이의 크기 $p_2 - p_1$ 에 대한 신뢰구간도 함께 보여 준다. 이 구간에는 두 집단의 비율이 같다고 가정하지 않는 별도의 비합동 표준오차를 사용한다.

$SE_{unpooled} = \sqrt{\frac{p_1(1-p_1)}{n_1} + \frac{p_2(1-p_2)}{n_2}}$

구간은 $(p_2 - p_1) \pm z_c \times SE_{unpooled}$ 이며, 여기서 $z_c$ 는 정규분포의 양측 임계값이다. 임계값은 1.6449(신뢰수준 90%), 1.96(95%), 2.5758(99%)이다. 구간에 0이 포함되지 않으면 해당 신뢰수준에서 차이가 유의하다.

풀이 예시

	방문자 수	전환 수	전환율
대조군(A)	1,000	100	10.00%
변형(B)	1,000	150	15.00%

통합 전환율은 $(100+150)/(1000+1000) = 0.125$ , 즉 12.5%입니다. 통합 표준오차는 약 0.0148입니다. z점수는 $(0.15 - 0.10) / 0.0148 \approx 3.38$ 입니다.

양측 검정에서 p값은 약 0.00072이다. 이는 일반적인 기준값 0.05보다 작으므로 신뢰수준 95%에서 차이는 통계적으로 유의하다. 두 버전의 성능이 실제로 같다면, 이만큼 또는 그 이상의 차이는 우연만으로 약 7번 나타나는 정도이며, 이는 검정 10,000번을 기준으로 한 값이다.

절대 차이는 5.00%포인트입니다. B의 전환율이 A의 1.5배이므로 상대적 상승률은 50%입니다. 실제 차이에 대한 95% 신뢰구간은 약 2.11%에서 7.89%까지입니다.

결과를 올바르게 해석하기

통계적으로 유의한 결과라고 해서 반드시 실행할 가치가 있는 것은 아닙니다. 실제로 상승폭이 작다면 이를 출시하는 데 드는 비용을 정당화하지 못할 수 있습니다. 계산이 끝난 뒤에도 비즈니스 판단은 여전히 중요합니다.

매일 p값을 확인하고 0.05를 넘는 순간 검정을 중단하면 거짓 양성의 가능성이 커집니다. 표본 크기나 실행 기간을 미리 정하고 결과를 확인하기 전에 검정을 끝까지 진행하는 편이 낫습니다.

이 검정이 의존하는 정규 근사는 각 집단에 전환이 10건 이상, 비전환이 10건 이상 있을 때 가장 잘 맞는다. 수가 이보다 적으면 결과를 확정적인 답이 아니라 대략적인 신호로 봐야 한다.

95% 신뢰수준은 B가 실제로 더 나을 확률이 95%라는 뜻이 아닙니다. 같은 검정을 여러 번 반복한다면 이 방법이 잘못하여 유의하다고 판정하는 비율이 최대 5%라는 뜻입니다. 이는 이번 결과가 아니라 방법 자체에 대한 설명입니다.

여러 지표 또는 여러 변형을 동시에 검정하면 적어도 하나의 비교가 순전히 운으로 유의해 보일 가능성이 커집니다. 검정을 시작하기 전에 하나의 지표를 선택하면 이 문제를 피할 수 있습니다.

자주 묻는 질문

A/B 테스트에는 표본 크기가 얼마나 필요한가? 의미 있는 상승폭이 실제로 유의하게 나타날 만큼의 방문자가 필요하다. 상승폭이 작거나 기준 전환율이 낮을수록 더 많은 방문자가 필요하다. 기준 전환율과 감지할 가치가 있는 최소 상승폭을 사용하는 전용 표본 크기 계산기를 쓰면 테스트를 시작하기 전에 더 확실한 수치를 얻을 수 있다.

검정은 단측으로 해야 하는가, 양측으로 해야 하는가? 양측이 더 안전한 기본값이다. B가 A보다 좋은 경우와 나쁜 경우를 모두 찾아낼 수 있기 때문이다. 단측은 개선에 더 민감하지만 더 나쁜 결과는 찾아내지 못하므로, B가 더 나빠도 어떤 결정도 달라지지 않을 때만 사용해야 한다.

계산기는 왜 신뢰구간을 보여 주는가? 신뢰구간은 유의함/유의하지 않음이라는 표시만이 아니라 실제 차이가 있을 만한 범위를 보여 준다. 0을 포함하는 넓은 구간은 대개 테스트에 데이터가 더 필요하다는 뜻이다.

베이즈 방식의 계산기인가? 아니다. A/B 테스트에서 가장 많이 가르치고 쓰는 방법인 빈도주의 z검정을 사용한다. 베이즈 방식의 도구는 대신 B가 A를 앞설 확률을 보여 준다. 둘 다 타당하며, 서로 조금 다른 질문에 답한다.

계산기에 오류가 표시되면 어떻게 해야 하는가? 전환 수가 음수이거나 방문자 수를 초과하거나, 두 집단을 합친 전환율이 0% 또는 100%이면 오류가 표시된다. 이 경우 z검정 공식에서 표준오차가 0이 되어 나눌 수 없기 때문이다.

참고 문헌

미국 국립표준기술연구소. NIST/SEMATECH e-Handbook of Statistical Methods, 7.3.3. 두 공정에서 불량품 비율이 같은지 어떻게 판단할 수 있는가? — 합동 비율을 사용하는 두 비율 z통계량, 그리고 단측 및 양측 비교.
미국 국립표준기술연구소. NIST/SEMATECH e-Handbook of Statistical Methods, 1.3.6.7.1. 표준정규분포의 누적분포함수 — 임계값 1.645, 1.960, 2.576.
Diez, Çetinkaya-Rundel, Barr(OpenIntro), LibreTexts 경유. Introduction to Statistics, 4th ed., 6.2: Difference of two proportions. 두 비율의 차이 — 신뢰구간에는 표본(비합동) 비율, 검정에는 합동 비율을 사용하며, 집단마다 성공 10건 이상과 실패 10건 이상이어야 하는 성공-실패 조건.

A/B 테스트 유의성 계산기