A/B 테스트 결과 해석기 — 유의미한지, 표본이 부족한지, p-hacking인지

p-value만 보면 안 되는 이유

A/B 테스트 결과를 받으면 보통 p < 0.05인지부터 본다. 그러나 같은 p-value라도 의미가 전혀 다를 수 있다. 표본이 너무 작으면 우연한 차이가 유의미하게 보이고, 표본이 너무 크면 의미 없는 차이도 유의미하게 나온다.

판단의 순서는 다음과 같다. 먼저 표본이 검정력을 확보할 만큼 충분한지 본다. 그 다음 효과 크기(uplift, CI)를 본다. 마지막에 p-value를 본다. 반대 순서로 보면 거의 항상 과도한 결론에 도달한다.

표본 비율 불일치 (SRM)

A/B 50:50으로 나눴다고 했는데 실제로는 51:49가 나오는 경우가 흔하다. 이는 단순한 우연이 아니라 분배 로직 오류·봇 트래픽·트래킹 누락의 신호다. SRM이 의심되는 결과는 다른 모든 지표가 유의미해도 폐기해야 한다.

Peeking — 가장 흔한 함정

실험 중간에 결과를 보고 "유의미한 것 같으니 그만 돌리자"고 결정하는 것. 빈도주의 통계의 가정을 깨뜨려 1종 오류율을 실제로는 5%가 아니라 20~30%까지 올린다. 종료 시점을 사전에 정하거나, 베이지안·sequential testing 같은 다른 프레임워크를 써야 한다.

다중 검정 (Multiple Testing)

한 실험에서 지표 10개를 보면, 진짜 효과가 없어도 그중 하나는 우연히 p < 0.05가 나올 확률이 40%다. 가드레일 지표와 1차 지표를 미리 구분하고, 다중 비교 보정(Bonferroni, FDR)을 적용해야 한다.

해석기는 어디까지인가

위 도구는 두 비율의 차이에 대한 z-test와 표본 적정성 점검만 한다. 그 이상의 함정은 도구로 잡을 수 없고, 사람이 사전에 설계해야 한다. huny.log의 A/B 테스트의 다섯 가지 함정 글에서 실험 설계 체크리스트를 정리해두었다.