이머커스 기업에서 데이터 사이언티스트는 무슨일을 할까요?

1. 장바구니를 든 데이터 사이언티스트
이커머스 회사에서 그들은 무엇을 할까?
이진형(samjin0@gmail.com)

2. 데이터 사이언티스트는?
● 수학 & 통계
○ 머신러닝
○ 통계
○ 최적화
● 프로그래밍 & 데이터베이스
○ Python or R
○ SQL
○ Hadoop
● 도메인 지식 & 소프트 스킬
○ 비즈니스에 대한 열정
○ 데이터에 대한 호기심
○ 문제 해결 능력
● 커뮤니케이션 & 시각화
○ 임원 대상 보고 스킬
○ 데이터 기반 의사결정
○ 시각화 툴 이용(MSTR, Tableau 등)
이런 것들을 다 할 줄 알아야 한데요….

3. 정말 이런 능력들이 일하는데 모두다 필요할까요?

4. 이커머스 회사에 근무하는 한 데이터 사이언티스트의
생활을 살펴 보시죠.

5. 문제 인식
먼저 회사에서 일어나는 여러가지 상황들에 대해서 생각을 합니다.
고객들이 장바구니에 물건을 담은 뒤
안사는 이유는 무엇일까?
우리가 추천하는 상품들을 고객들이 잘
구매하고 있을까?
우리가 광고를 효과적으로 하고 있을까?

6. 회의
인식한 상황에 대해서 함께 이야기 해봅니다.

7. 문제 정의
여러 문제 중 우선순위를 판단하여 한 가지 과제를 선정합니다.
장바구니에 담긴 상품을 미구매 하는 원인을 파악하고, 구매하도록 해보자!
출처 : http://www.nbnnews.co.kr/news/articleView.html?idxno=94316

8. 선행연구 조사
출처 :
https://news.sap.com/korea/2018/08/sap-2018-sap-%EC%86%8C%EB%B9%84%EC%9E%90-%EC%84%B1%ED%9
6%A5-%EB%B3%B4%EA%B3%A0%EC%84%9C-%EB%B0%9C%ED%91%9C/
기존에 비슷한 문제를 연구한 사례가 있는지 조사!

9. 선행연구 조사

10. 선행연구 조사
한국인이

11. 선행연구 조사

12. 설문 조사
필요한 정보를 얻기 위해서 설문조사도 해보고...

13. 우리가 가지고 있는 데이터에서 답을 찾아보자.

14. 탐색적분석 Exploratory Data Analysis (EDA)
● 고객은 장바구니에 상품은 평균 몇 개를 담는가
● 장바구니에 물건을 담고 얼마만에 사는가?
● 그 외에 원인을 찾기 위한 다양한 분석을…..

15. 선행연구 조사 및 데이터 분석의 결론
상품 비교
찜하기
구매
가격 부담
재고 없음
깜빡함
유사 상품
구매
구매 의사 포기 원인
장바구니를 이용하는 목적과 구매 포기하는 다양한 이유가 있다.

16. 상품 비교
찜하기
구매
가격 부담
재고 없음
깜빡함
유사 상품 구매
구매 의사 포기 원인
과제를 위한 목표 선정
이 중에 구매 의지가 있지만, 아직 못산 고객에 집중해보자.

17. 가설 정의
구매 의사가 있는데 깜빡한 사람에게 푸시 메시지로 다시 알려주면 구매 할꺼야?!

18. 실험 설계
● 누구에게 보낼까?
● 몇 시에 보낼까?
● 얼마나 자주 보낼까?
● 어떤 메시지로 보낼까?
● 어떤 상품을 보낼까?
● 실험군과 대조군을 어떻게 나눌 것인가?
실험을 하기 위해서 필요한 준비사항을 파악해야 합니다.

19. 필요 데이터 정의
● 누구에게 보낼까?
○ x일 내 장바구니에 상품을 담고 미구매한 고객
● 몇 시에 보낼까?
○ 고객별 활성화 시간 파악 후 그 시간에
● 얼마나 자주 보낼까?
○ 고객의 푸시 알림 해지 현황 파악
● 어떤 메시지로 보낼까?
○ 상품의 특성에 따라
● 어떤 상품을 보낼까?
○ 고객이 구매할만한 상품
● 실험군과 대조군을 어떻게 나눌 것인가?(A/B Test)
○ 2:8, 5:5, ….
고객
장바구니
상품
주문
DATA
실험에 필요한 준비 사항에 대해서 정의하고, 데이터를 추출합니다.

20. 데이터 추출 로직 개발(SQL Query)

21. 데이터 추출 & 기다림….
결과는 언제 나오는 거야…..

22. 데이터 추출 성능 최적화(SQL Tuning)
데이터 추출 로직을 튜닝하면 1시간 기다릴 데이터가 1분만에 나옵니다.
10번의 비슷한 작업을 한다면 10시간이 걸릴 것이 10분이면 됩니다.

23. 데이터 추출
추출
검증
수정
원하는 결과가 나올 때까지 데이터를 뽑고, 검증하고 개선해서 추출 하는 작업을 반복합니다.

24. 실험 수행
실험 대상, 상품, 메시지들이 준비되면 푸시 메시지를 발송합니다.

25. 실험 수행

26. 평가 지표 정의
● CTR(클릭율)
● CVR(전환율)
● GMV(거래액)
● OPT-OUT(수신 거부 건)
실험의 성과를 검증하기 위해서는 평가 지표를 정의해야 합니다.

27. 평가 데이터 추출 로직 개발(SQL Query & Big Data )
실험이 종료되면 평가에 필요한 데이터를 추출합니다.
고객, 상품, 거래 정보는 DB에서… Log는 Hadoop에서...

28. 데이터 추출 성능 최적화(SQL Tuning)
집에 일찍 가려면 또 다시 튜닝을 해야 돼요.

29. 평가 데이터 추출
추출
검증
수정
지표 추가

30. 시각화
실험 결과를 보기 좋게 시각화 합니다. 시각화 솔루션을 이용하면
보고서를 다시 만드는 작업을 줄여줍니다.

31. 결과 분석
실험 결과에 대해서 평가지표를 확인하고 통계적으로 유의미한지 검증합니다.

32. 임원 보고 및 의사결정
상용화 재실험 or 종료
실험 결과에 대해서 보고 후 상용화 여부를 확정합니다.

33. 프로젝트 종료

34. 프로젝트 고도화
향후계획
- 푸시 문구 개선
- 연관 상품 추천
- 대체 상품 추천
- ….

35. 과학자의 연구 프로세스

36. 이커머스 데이터 과학자의 업무 프로세스

37. 이번 프로젝트에서 이용한 스킬
● 수학 & 통계
○ 머신러닝
○ 통계
○ 최적화
● 프로그래밍& 데이터베이스
○ Python or R
○ SQL
○ Hadoop
● 도메인지식 & 소프트스킬
○ 비즈니스에대한 열정
○ 데이터에대한 호기심
○ 문제 해결 능력
● 커뮤니케이션& 시각화
○ 임원 대상 보고 스킬
○ 데이터기반 의사결정
○ 시각화툴 이용(MSTR, Tableau 등)
그렇습니다… 결국 모든 스킬들이 다 필요하네요….

38. 데이터 사이언티스트는 팀이다
하지만! 혼자 모든 것을 하는 것이 아닙니다.

39. 결론
데이터 과학자는 기업에서 발생하는 문제를
데이터에서 원인과 답을 찾고 현장에 적용해서
더 나은 서비스를 제공하는 사람들.

40. 감사합니다.