베이지안 vs 빈도주의 — A/B 테스트에서 어느 쪽을 쓸 것인가

같은 질문, 다른 답

"B가 A보다 좋을 확률이 얼마인가?" 이 질문에 두 학파는 정반대로 답한다.

• 빈도주의(Frequentist): "확률"이라는 표현 자체를 모집단 파라미터에 쓸 수 없다고 본다. 답은 p-value — "효과가 없다는 가정 하에 이 데이터가 나올 확률".
• 베이지안(Bayesian): 파라미터에 직접 확률을 부여한다. 답은 사후 확률 — "데이터를 본 뒤 B가 A보다 클 확률 = 0.87".

비즈니스 의사결정에서 더 직관적인 건 베이지안이다. 그러나 학계와 대부분의 통계 도구는 여전히 빈도주의가 기본이다.

p-value의 흔한 오해

p = 0.03은 "B가 A보다 클 확률이 97%"가 아니다. "효과가 없다는 귀무가설이 참이라고 가정했을 때, 이만큼 또는 더 극단적인 데이터를 볼 확률이 3%"다. 이 차이를 마케터·PM이 직관적으로 다루기 어렵다는 게 베이지안 옹호자들의 핵심 주장이다.

신뢰구간(CI) vs 신용구간(Credible Interval)

• 95% CI (빈도주의): "이 절차를 무한히 반복했을 때, 만들어지는 구간들의 95%가 참 값을 포함한다". 이 한 번의 구간이 95% 확률로 참 값을 포함한다고 말할 수 없다.
• 95% HDI (베이지안): "데이터를 본 뒤 참 값이 이 구간 안에 있을 확률이 95%". 직관과 일치한다.

Peeking 문제

빈도주의 A/B 테스트는 중간에 확인하면 안 된다. 종료 시점을 사전에 정해야 한다. peeking은 1종 오류율을 폭증시킨다. 베이지안 A/B는 언제든 확인해도 사후 확률은 정직하다. 의사결정자가 본인 효용에 따라 종료 시점을 정할 수 있다. 이게 베이지안이 실무 친화적인 핵심 이유 중 하나다.

그럼에도 빈도주의가 표준인 이유

• 객관성 — 사전 분포(prior)를 정할 필요가 없다. 분석자의 주관이 끼어들 여지가 적다.
• 도구 생태계 — 거의 모든 통계 패키지의 기본이 빈도주의다.
• 큰 표본에서 수렴 — 표본이 크면 두 방법은 거의 같은 결론에 도달한다.
• 학습 곡선 — 베이지안은 사전 분포·계산법(MCMC 등) 진입 장벽이 있다.

언제 어느 쪽을 쓸 것인가

• 표본 크고, 단순한 비교, 보고용 → 빈도주의. 도구가 풍부하고 외부 커뮤니케이션이 쉽다.
• 표본 작거나, 사전 정보가 풍부하거나, peeking이 불가피 → 베이지안.
• 의사결정자가 "확률"로 답을 듣고 싶어함 → 베이지안.
• 마케팅 어트리뷰션, MMM → 베이지안이 자연스럽다 (불확실성 누적, 사전 정보 활용).

huny.log의 베이지안 A/B와 사전·HDI 글에서 prior 설정과 PyMC 코드까지 다룬다.