A/B 테스트
A/B testing
다른 표기: 분할 테스트
두 가지 안을 동시에 보여 주고 결과를 비교해 더 나은 쪽을 고르는 방법.
같은 기간에 무작위로 나누어 보여 주는 것이 핵심입니다. 지난주와 이번 주를 비교하는 것은 계절과 요일이 섞여 비교가 되지 않습니다.
표본이 적으면 우연이 결과를 만듭니다. 며칠 돌려 보고 좋아 보인다고 끝내면, 다음 달에 원래대로 돌아오는 일이 흔합니다.
작은 서비스에서는 A/B 테스트보다 사용자 다섯 명을 직접 지켜보는 편이 빠를 때가 많습니다. 숫자가 모자라면 관찰이 대신합니다.
- 필수 조건같은 기간, 무작위 배정, 충분한 표본.
- 대안사용자 관찰, 설문, 순차 배포.