A/B 테스트 - 1부. 개념

 

01. A/B 테스트란?

(01) 정의

• A/B 테스트란 두 개의 변형 A와 B를 사용하는 종합 대조 실험(controlled, experiment)으로, 통계적 가설 검정 또는 2-표본 가설 검정의 한 형태임
• 즉, 두 가지 서로 다른 옵션에 대한 사용자의 반응을 측정함으로써 어떤 옵션이 더 효과적인지 검증하는 과정

 

(02) 목적

• 어떤 옵션이 더 효과적인지 확인하는 것

 

(03) 특징

• 통계적 가설 검정의 일종이며, 클릭률 등 특정 성과를 극대화하기 위한 웹 디자인, 마케팅  등에 주로 사용됨

 

(04) 유의점

• 개념은 단순하지만, 정확한 결과를 얻기 위해서는 데이터 분석과 세밀한 계획이 필요함

 

 

 

 

 

02. A/B 테스트 설계요소

• A/B 테스트를 성공적으로 수행하려면 다음과 같은 기본 개념을 이해하고 설계해야 함

설계요소		내용
가설		A/B 테스트는 명확한 가설에서 출발함 독립변수와 종속변수를 정의하고, 종속변수의 목표 수준을 설정해야 함 예시) 이미지를 사용하는 화면이 텍스트를 사용하는 화면보다 가입 전환율을 10% 더 높일 것이다.
실험집단 및 통제집단		전체 모수 중 실험 조건에 할당되는 사용자들을 어떤 기준으로 구분하고, 어떤 비율로 할당할 것인지 정의해야 함 통제 집단 및 실험 집단과 관련해서 무엇보다 중요한 절차는 통제 변수 관리와 엄격한 기준에 따른 샘플링임
독립변수		종속 변수에 영향을 미칠 것이라고 예상되는 원인 변수 예시) 서비스 소개 방식 (텍스트 VS 이미지) A/B테스트에서 일반적으로 독립 변수는 2개 수준으로 설정하여 테스트 진행
종속변수		독립 변수에 의해 영향을 받는 결과 변수 실험의 성과를 판별하는 기준이 되며, 명확하게 측정 가능해야 함 예시) 가입 전환율
통제변수		독립 변수 외에 종속 변수에 영향을 줄 수 있는 요소 실험집단과 통제집단에서 동일하게 적용되어야 함 통제 변수의 설정이 A/B 테스트 성공에 큰 영향을 미침
샘플크기		가설 검증을 위한 충분한 실험 참가자 수 통계적 유의도를 확보하기 위한 크기를 미리 계산
실험기간		샘플 크기를 고려해 가설 검증을 위한 데이터를 수집하는 데 필요한 기간 실험 중간에 임의로 중단하지 않고 충분한 기간을 설정해야 함

 

 

 

 

03. A/B 테스트 설계 시 유의사항

• A/B 테스트 성공 여부는 실험집단과 통제집단의 적절한 분리 및 통제변수 관리에 달려 있음

01) 실험 집단과 통제 집단 샘플링 유의사항

(01) 랜덤 추출과 편의 추출 혼동

• 랜덤 추출은 모든 표본이 동일한 확률을 가질 때 만 사용 가능하며, 통제 변수가 관리되지 않으면 랜덤 추출이 아님

 

(02) 홀/짝 나누기의 문제

• 회원 번호나 가입 시간을 홀/짝으로 나누는 방식은 랜덤 추출일 수 있지만, 통제 변수가 제대로 관리되지 않으면 문제가 발생할 수 있음
• 예시) 가입 경로와 같은 통제 변수를 무시하면 전환율의 차이가 독립변수가 아닌 다른 요소 때문에 나타날 수 있음

 

(03) 통제 변수 관리의 중요성

• 종속 변수에 영향을 미치는 제 3의 변수를 통제 변수로 설정하여 샘플링 과정에 반영해야 정확한 결과를 얻을 수 있음
• 예시) 항공권 예약 고객에게 여행상품을 추천하는 실험에서 추천 알고리즘 외에도 여행 목적(휴가 vs 출장), 목적지(방콕, 몰디브) 등의 변수도 통제해야 실험 결과가 정확해짐

 

02) 순차 테스트 유의사항

(01) 순차 테스트

• A조건을 먼저 테스트하고, 이후 B 조건으로 바꿔 두 조건의 결과를 비교하는 방식
• 순차 테스트는 엄밀히 말해 A/B 테스트가 아니며, 통제 변수 관리가 어렵고 실험 기간에 따른 외부 변수가 개입할 가능성이 있음

 

(02) 순차 테스트의 한계

• 통제 변수를 제대로 관리하지 못해 실험 결과가 왜곡될 수 있음

 

(03)  보완 방법

• 어쩔 수 없이 순차 테스트를 해야 할 경우, 샘플링 오류를 꼼꼼히 검토하고, A-B-A 테스트 처럼 시차를 두고 반복하여 통제 조건을 다시 확인하는 방식으로 보완할 수 있음

 

03) 샘플 크기 유의사항

• A/B 테스트를 진행하기 전 샘플 크기를 미리 정하는 것이 중요함
• 샘플 크기를 정하지 않고 실험을 진행하면 '엿보기 & 조기중지' 와 같은 함정에 빠질 수 있음
• 샘플 크기 계산기를 통해 가설, 검정령, 유의수준 등의 조건을 입력해 필요한 샘플 수를 미리 계산할 수 있음
• https://www.evanmiller.org/ab-testing/sample-size.html

Sample Size Calculator

• https://experienceleague.adobe.com/tools/calculator/testcalculator.html

Adobe Target Sample Size Calculator

 

 

 

 

04. A/B 테스트 결과를 분석하는 방법

01) p-vlaue에 대한 이해

• p-value는 실험 결과의 유의 수준을 판단하는 통계적 기준임
• A/B 테스트 결과를 해석할 때, p-value뿐만 아니라 실험의 성과, 비용, 가치 등 다양한 요소를 종합적으로 고려해야 함
• 단순한 클릭률 등의 요약값만으로 비교하는 것은 잘못된 판단으로 어이질 수 있음
• 평균이나 합계 지표의 차이는 샘플링 방법이나 실험 설계에 따라 달라질 수 있으며, p-value와 신뢰구간의 중요성을 이해해야만 결과가 우연인지 실제 효과인지를 구별할 수 있음
• 많은 사람들이 p-value를 잘못 이해하고 있으며, A 조건이 B 조건보다 95% 유의미하다는 것은 A가 95% 더 우월하다는 의미가 아님
• 통계학적으로는 A와 B가 차이가 없다는 가설(귀무가설)을 세우고, 이를 검정하는 방식으로 진행됨
• p-value가 5% 미만이라는 것은, 귀무가설 하에서 차이가 없다고 가정했을 때도 관찰된 결과처럼 극단적인 검정통계량이 나올 확률이 5% 미만이므로, A와 B 간에 차이가 있다고 판단할 수 있음
• 검정통계량이 극단적일수록 귀무가설을 기각할 근거가 강해짐
• p-value의 정확한 이해를 위해서는 모집단, 표본, 모수, 통계치, 분포, 신뢰구간과 같은 통계학 기초 지식이 필요함
• A/B 테스트를 정확하게 해석하려면 통계학 개론을 공부하는 것이 중요함

 

 

02) A/B 테스트 계산기

• 복잡한 통계 패키지를 사용하지 않더라도 여러 사이트에서 제공하는 A/B 테스트 계산기를 활용하면 A/B 테스트의 통계적 유의성을 간단하게 확인 할 수 있음
• 종속 변수의 형태에 따라 계산 방식이 달리지기 때문에 실험설계에 따라 적합한 계산기를 사용해야함
• 종속 변수가 범주형
  • 예 : 클릭 여부, 가입 여부
  • 로지스틱 회귀, 카이 제곱 검정
• 종속 변수가 이산형
  • 예 : 클릭 횟수, 결제금액
  • T검증, 분산분석

 

 

03) 테스트 비용과 효과 크기

• p값은 A/B 테스트 결과를 판단하는 절대적인 기준이 아님. 표본 크기가 커질수록 p값은 낮아지는 특성이 있어 실험의 의미가 왜곡될 수 있음.
• p값이 낮아도, 집단 간 차이가 미미하면 실질적인 사업적 가치가 없을 수 있음.
• 예시
  • A 조건의 클릭률이 5.220%이고
    B 조건의 클릭률이 5.225%일 때
    B 조건이 통계적으로 유의미하게 높다고 해도
    차이가 0.005% 밖에 안 된다면 사업적 가치는 거의 없음.
• A/B 테스트의 가치는 단순한 p값 외에도 실질적 효과와 비용 대비 영향을 고려해 판단해야 함.
  • 예시: 구매 전환율을 높이기 위한 A/B 테스트에서:
    • A 조건: 3%, B 조건: 3.5%, p < 0.01 → 통계적으로 유의미한 차이.
    • DAU가 1천명일 경우, 구매 전환율이 0.5% 개선되면 하루에 추가 매출이 5만 원 발생.
    • DAU가 100만 명일 경우, 동일한 실험으로 하루 5천만 원의 추가 매출이 발생.
• 따라서, p값이 낮더라도 그 실질적 효과의 크기를 고려해 결과의 사업적 의미를 판단해야 함.

 

04) A/B 테스트 진행 시 주의사항

(1) 가설 설정 필요

• A/B 테스트의 출발점은 명확한 가설 정의부터 되어야 함
• 구체적인 가설 없이 막연한 아이디어로 시작하면 유의미한 결과를 얻기 어려움

(2) 통제 변수 관리 실패

• 테스트 실패의 주요 원인은 통제 변수를 식별하지 못하거나 관리 실패임
• 독립 변수 외에 종속 변수에 영향을 미칠 수 있는 다른 변수를 고려해야 함

(3) 단순 평균 비교위험

• 단순한 평균 비교만으로는 우연의 결과와 실제 효과를 혼동할 수 있음
• 분포, 유의수준, 효과 크기 등을 함께 고려해야 함

(4) 엿보기 & 조기 중지

• p값이 0.05 이하로 내려가는 순간에 실험을 멈추는 것은 통계적으로 잘못된 행동이며, 실제 효과가 없는데도 유의미한 차이가 있는 것처럼 보이게 할 수 있음

(5) 시간 흐름에 따른 변화 분석 필요

• 실험 기간 전체 평균만 비교하는 것이 아니라, 시간의 흐름에 따른 종속 변수 변화도 분석해야 함
• 특정 시점에만 차이가 나는 경우는 오류 가능성을 의심해야함

(6) 과거 테스트 결과에 대한 지나친 신뢰 경계

• A/B 테스트 결과가 영구적으로 유효하지 않음
• 시장, 계절, 사용자층 변화 등에 따라 결과가 달라질 수 있으므로 지속적인 재검토가 필요함

(7) 국지적 최적화의 함정

• A/B 테스트는 전역 최적화(Globla Optimization)가 아닌 국지적 최적화(Local Optimization) 를 찾는 실험이며, 모든 경우에 최적의 솔루션을 제시하지 않음
• 최적의 조건 자체가 더 나은 대안을 찾기 위한 시작점일 수 있음

 

 

 

본 포스팅은 도서 <그로스 해킹> 을 참고하여 작성하였습니다.

책 속에는 더욱 자세한 내용과 좋은 내용이 포함되어 있습니다.

https://product.kyobobook.co.kr/detail/S000001766457