A/B 테스트 표본 크기 — 베이스라인·MDE·검정력으로 역산하는 방법
검정력 80%, 유의수준 5% 같은 숫자가 표본 크기에 어떻게 영향을 주는지 직관과 수식으로. 한국어로 정리된 자료가 거의 없는 영역.
표본 크기 역산
베이스라인 전환율과 검출하고 싶은 최소 효과(MDE)를 정하면 변종당 필요 표본을 계산합니다.
변종당 표본
39,487
전체 표본
78,974
필요 일수
40일
* MDE를 작게 잡을수록 표본이 폭증합니다(제곱 관계). 비즈니스적으로 의미 있는 변화만 검출하도록 MDE를 정하세요. 세부 설명은 huny.log에 정리되어 있습니다.
표본 크기를 정하는 네 가지 입력
- 베이스라인 전환율 — 대조군의 현재 전환율. 너무 낮으면 작은 차이를 검출하기 어렵다.
- MDE (Minimum Detectable Effect) — 검출하고 싶은 최소 효과. 이게 표본 크기를 결정짓는 가장 큰 변수다.
- 검정력 (1−β) — 진짜 효과가 있을 때 그것을 검출할 확률. 보통 80%.
- 유의수준 (α) — 효과가 없는데 있다고 잘못 판단할 확률. 보통 5%.
MDE는 비즈니스 결정
흔히 "MDE 1%"라고 막연히 잡지만, MDE는 통계가 아니라 비즈니스 결정이다. "전환율이 몇 % 이상 개선되어야 이 변경을 출시할 가치가 있는가?"에 답해야 한다. MDE를 절반으로 줄이면 필요 표본은 약 4배가 된다(제곱 관계). 작은 MDE는 곧 긴 실험 기간이고, 그 기간에 다른 변화가 끼어들어 결과를 망친다.
변종당 vs 전체
표본 크기는 변종당 기준이다. A/B 두 변종이면 전체는 2배가 필요하다. A/B/C/D 4변종이면 4배 + 다중 비교 보정까지. 변종을 늘리면 단순히 표본만 늘어나는 게 아니라 1종 오류율도 함께 올라간다는 점을 잊지 말 것.
실무 팁
- 실험 시작 전에 표본 크기와 종료 시점을 문서로 남긴다 (peeking 방지).
- 최소 1주일 이상 돌린다 — 요일 효과를 흡수하기 위해.
- 표본이 부족할 게 예상되면 MDE를 키우거나 실험을 합친다.
- 전환 수가 변종당 100건 미만이면 결과는 거의 노이즈로 봐도 된다.