A/B 테스트 - 2부. A/B테스트 어떻게 할까?

01. A/B테스트 프로세스

• A/B 테스트는 일반적으로 아래와 같은 프로세스로 진행될 수 있음
• 각 회사의 시스템 환경에 따라서  프로세스는 변경될 수 있음

 

 

 

02. A/B테스트 예시

01) 실험설계

• 아래 내용과 같이 A/B 테스트 수행

구분	내용
[1] 목표설정	구매이력이 없는 사용자 기존 구매 전환율 20% 대비 구매 전환율 5% 증가 목표 (단측검정, 유의수준 0.05)
[2] 가설수립	귀무가설 - 구매버튼을 녹색으로 변경하면 구매이력이 없는 사용자의 전환율 증가율이 5% 미만이다. 대립가설 - 구매버튼을 녹색으로 변경하면 구매이력이 없는 사용자의 전환율 증가율이 5% 이상이다.
[3] 변형설계	A 버전(대조군, control) : 기존 빨간 버튼 B 버전(실험군, Treatment) : 녹색 버튼
[4] 사용자 분할 계획 수립	실험군 : 구매이력이 없는 사용자 대조군 : 실험군의 50% 변경군 : 실험군의 50%
[5] 실험 기간	2024년 10월 25일 ~ (샘플수가 2,000명 이상 되면 실험 종료)

 

02) 실험군 할당

• 실험 서비스에 들어온 사용자 중 구매이력이 없는 사용자는 실험군으로 분배하고, 구매이력이 존재하는 사용자는 비실험군으로 분배

 

03) 버켓 할당

• 실험군을 대조군과 변경군으로 나누어 동일한 비율로 랜덤하게 분배

 

04) 노출 수집

• 대조군 혹은 변경군이 구매버튼이 존재하는 페이지에 노출이 되었는지 안되었는지 기록

 

05) 전환 수집

• 대조군 혹은 변경군이 구매버튼이 존재하는 페이지에 노출 후 구매버튼을 눌러 전환되었는지 기록

 

06) 결과분석 및 결론도출

(01) 결과분석

https://abtestguide.com/calc/ A/B테스트 계산기

• 대조군 : 1000명 중 200명 전환됨, 전환율 20.0%
• 실험군 : 1000명 중 253명 전환됨, 전환율 25.3%
• p-value = 0.0023
• 변경된 버전 (녹색버튼)에서 전환율이 기존 20% 대비 5.3% 증가
• 통계적 검정(t-test) 결과 p < 0.05 로 통계적으로 유의함
• 귀무가설을 기각하고 대립가설( 구매버튼을 녹색으로 변경하면 구매이력이 없는 사용자의 전환율 증가율이 5% 이상이다) 채택

 

(02) 결론도출

• 변경된 버전(녹색버튼) 을 사이트에 반영

 

 

 

 

 

 

 

본 포스팅은 아내 링크를 참고하여 작성하였습니다.

https://tech.kakaopay.com/post/kakaopay-growth-platform-abtest/#user-content-fn-1

https://www.youtube.com/watch?v=BF2WCN1zrPU&t=859s

https://abtestguide.com/calc/