AB Test Platform - SK Planet

1. 1/31
A/B Test Platform
PLab (Planet A/B Test)
SK Planet
System Software개발팀 우종호

2. 2/31
Content
• 1. What? – A/B Test
– A/B Test – 개념
– A/B Test – 사용사례
• 2. So! PLab – Planet A/B Test Platform
– PLab 소개 및 특징
– PLab Tech Architecture & Data Flow
• 3. PLab 적용사례 & demo

3. 3/31
What is A/B Test?

4. 4/31
Why?
• 일반적인 프로세스
문제 인
식
개선안
도출
개선안
적용
개선안 적용이 실적에 끼치는 영향을 알 수
없음

5. 5/31
A/B Test 적용 프로세
스
A/B Test
문제 인
식
개선안
도출
개선안
적용
A/B Test – Data-driven approach to decision and service
개선안 적용문제 인식 개선안 도출
정량적인 수치로 검증 필요
객관적인 데이터 기반 결정 필요

6. 6/31
What is A/B Test?
• 전체 디자인에서
• 한가지 요소(UI 레이아웃 / 이미지 / 검색결과 / feature / ..)에 대
해
• 두가지 이상의 버전(variation A, B, ..)를
• 실험하여(Experiment)
• 더 나은것(Winner)를 판별하는 기법
Variation A/B
Experiment
Winner

7. 7/31
• 기존버전(A, control, 대조군) / 새로운 버전(B, variant, 실험군)을 가
지고,
• 랜덤하게 방문(random sampling)하는 사용자별로 다른 버전을 보
여준후,
• 어떤 버전이 더 나은지(winner),
• 데이터 기반의 정량적인 수치(지표, 그래프)로 검증한다.
What is A/B Test?
A, Control
B, Variant
Random Sampling

8. 8/31
• “결과”의 “원인”이 우리가 했던 그 개입 때문이 맞는지를 판단.
• 통계적 유의미성(statistical significance)
– 집단에 대한 가설이 가지는 통계적의미
– P-value
What is A/B Test – P-value
P-value

9. 9/31
• 국내 최대 웹사이트가 있다. 3개월간의 전면적인 디자인개편!
.
고객은 성별에 따라 관심있는 상품이 다를 것이다! [전체/남/여]를 선택하는 탭을
추가하자!
.
새디자인 적용후 매출이 20%증가!
• But, “매출증가”가 “디자인개편” 덕분일까???
생각하지도 못한 외부요인이 너무 많다.
정량적인 수치로 분석이 힘들다.
• So, A/B Test !
A에게는 기존디자인을 보여주고, B에게는 새 디자인을 보여
준다!
동일한 시간의 흐름에 따라 발생하는 다른 외부 요인들을 통제할 수 있다.
데이터를 기반으로 정량적인 수치를 가지고 분석할 수 있다.
Example with or without A/B Test

10. 10/31
So experiment your idea

11. 11/31
A/B Test – Use Case & Solution

12. 12/31
오바마 선거 적용사례 - Optimization
• http://kylerush.net/blog/optimization-at-the-obama-campaign-ab-testing/
- A : 오바마에게 포커싱이 맞춰진 이미지
- B : 오바마와 영부인, 게스트들이 사진에 포함. 디너참석으로 기대할수 있는 장면을 사용
- B winner CR +19%

13. 13/31
Google Optimize
• Google의 AB Test 플랫폼으로 Google Analytics Suite를 구성하는 하위 솔루
션임
• 2015.10 런칭되었고 2016.03 현재와 같은 구성으로 변경
• PC Web만 지원하며 현재까지 Android, iOS 미지원

14. 14/31
So! PLab – Planet A/B Test Platform

15. 15/31
사용자 실험 참가 방식
Random sampling
Audience Targeting
지원 플렛폼
Android iOS PC Web
표준화된 결과지표
CR RBU AOV
P-value
A/B Test 전체 프
로세스
기능개발
실험
생성
실험
검증
실험
진행
실험
결과
확인
실험
수정
실험
종료
Filtering
CTR
Average Rank
2 depth analysis
AB테스트 전체 프로세스 기능
SK Planet A/B Test Platform - PLab

16. 16/31
A/B Test 전체 프로
세스
기능개발
실험
생성
실험
검증
실험
진행
실험
결과
확인
실험
수정
실험
종료
• 01. (draft) 실험 생성
실험이름, 실험영역, variation정보, meta데이터
• 02. (running) 진행 & result page 실시간 지표
확인
• 03. (winner) winner설정
수정버전 배포전 임시로 winner가 바로 반영
• 04. (stop) 실험 종료
AB테스트 전체 프로세스 기능
SK Planet A/B Test Platform - PLab

17. 17/31
• Visitor(순방문자)
• impression(노출수)
• QC(검색 쿼리카운트수)
• Conversion / CR / CTR
• Price 구매액, 매출 – GMV, AOV, RBU
• P-value
CR, AOV, ..등에 대한 p-value제공
CR RBU AOV
P-value
CTR
Average Rank
2 depth analysis
표준화된 결과지표
SK Planet A/B Test Platform - PLab

18. 18/31
• Velocity: Fast
– 5분 내에 최초 분석 결과를 제공 후 1분 단위 Update
• Optimizely: 1시간 이후, GA: 12시간 이후
• Statistics: Statistical Hypothesis Test
– Price (AOV, RBU)에 대한 P-Value 제공
• Optimizely: Conversion만 지원, GA: 수작업 계산
• Volume: Small
– AB 통계 Metrics을 누적하여 실험 결과 Metrics 생성
SK Planet A/B Test Platform - PLab

19. 19/31
Can I use PLab ?

20. 20/31
It is useful to experiment with your idea
You Can’t use in this case
Can’t – 실험종류 후 추후분석, 사용자 데이터를 이용하여 후분석?!
Can’t – PLab을 쓰면 앱개발을 안해도 된다!?
Useful – 빠른 의사결정을 위한 근거가 필요!
Data-driven approach to decision and service

21. 21/31
So! PLab – Planet A/B Test Platform
Experiment Process & Architecture

22. 22/31
1. A/B Test 실험 설계 2. A/B Test 플랫폼에서 실험 생성
4. 사용자가 A 또는 B에 참가하며 실험 진
행5. 다양한 지표와 그래프로 실험 결과
확인
6. Winner 설정으로 실험 종
료
3. 개발 및 배포 후 실험 검증
SK Planet A/B Test Platform - PLab

23. 23/31
SK Planet A/B Test Platform – PLab

24. 24/31
PLab 적용사례 & demo

25. 25/31
A/B Test 11번가 적용 현황
• PLab 도입 전 (2016년도)
– 실험 개수: --개
– 테스트를 설정하는데 어려움: 구성원의 AB 테스팅에 대한 이해도 낮고 위너를 설정
하는데 필요한 지표(P-value)가 제공되지 않았음
• PLab 도입 후 (2017.03 ~ - 약3개월)
– 실험 개수: --개
– 현재 --개 Running
This is
PLab

26. 26/31
Sample
테스트 기간: --일
A vs B
장바구니담기: --% 상승
구매횟수: --% 하락
위너:
A B