SlideShare a Scribd company logo
1 of 29
Download to read offline
리텐션 산출과 활용
         By-조찬만
지난번에서는…
•   리텐션이 왜 중요한가에 대한 설명
•   리텐션 산출 시 주의사항
•   리텐션의 산출방법 기간 / 조건 필터
•   리텐션 활용법




에 대해 간략하게 알아보았습니다.
지난 번은 실제 게임에 적용시키는 과정과 방법 등을 간소화 했었는데
이번엔 조금 더 상세하게 ‘리텐션의 산출과 활용’에 대해 들어가보겠습니다.
기간 필터
•   지난 번 기간 필터 방식 중 우리는 ‘주 단위 필터’를 적용하겠습니다.


•   주 단위로 산출하는 이유는 ‘고객’의 범위를 대한민국으로 잡았기 때문
    인데요.
•   대한민국의 국민들의 패턴은 대부분 ‘주 단위’로 흘러가기 때문입니다.
기간 필터
•   라이브 서비스 경험이 있는 사람이라면 아래의 그래프를 많이 보셨을 겁니다.
•   그리고 그래프들은 대부분 AU,UV,APPUR 등이 되겠지요.
•   이러한 양상을 띄는 이유는 우리가 만들고 있는 ‘게임’을 이용하는 고객들
    의 생활 패턴이 대부분 주 단위 주기로 반복되고 있기 때문입니다.
•   물론 ‘타겟층’ 범위에 따라 다소 차이는 있을 수 있습니다.




        월   화   수   목   금   토   일
조건 필터
•   지금 예제로 잡고 있는 것은 MMOPRG라는 장르입니다.
•   MMORPG라는 장르를 구성하는 공통적 특징을 정리하자면 디자인마다 차
    이는 있지만 대부분 다음의 공통 요소를 가지고 있습니다.
LEVEL



  Level
           사용자




          Spend Time
CONTENTS DESIGN


                  MMORPG
정리하자면
•   MMORPG의 디자인은 Level을 기준으로 Contents를 배열한 씬의 집합
•   이용자의 Spend Time예 따라 이용자는 Level이라는 기준을 얻게 되며 그 기
    준점에서 디자이너가 구축한 흐름 속에서 Interest라는 것이 변화하는 형태
•   이 조건이 부합한다는 전제하에 리텐션 조건을 필터




이 PT를 보시는 분들 중 감이 좋으신 분들은 벌써부터 제가 무엇 때문에 이런
설명을 하고 있는지 이미 눈치 채셨을 것입니다.
결국 리텐션은 Game Data
Data를 마이닝하는 과정에서 가장 중요한 것은 대상의 기간과 조건
대상을 집단으로 구성하기 위한 공통분모 찾기


기간 : 주단위 (고객의 생활패턴)
조건 : Level (고객이 겪고 있는 서비스 구간)
•   가상의 리텐션 Data

                   리텐션이 낮은 구간

                   1~5, 6~10, 26~30
                   : 초반 구간, 최고레벨 구간
                   이 두 지역의 리텐션이 낮음
                   -> 이탈율이 높다는 이야기
•   DB의 용량 관계상 Low Data는 게임 플랫폼, 장르에 따라 매우 큰 격차가 존재
•   CBT, FGT, OBT 등 각종 Test를 통해 Low Data를 사전에 정리 필요
•   가상 시뮬레이션이기 때문에 사전 Data 정리 작업이 끝났다고 가정
▣ 정성 데이터를 이용한 가설
: 게시판, 리뷰, 고객센터 등에 접수되는 고객의 글을 통한 유추
Ex) 만렙인데 할게 없어요 징징


▣ 기획상의 가설
: 3레벨에 만나는 보스 몬스터가 너무 강력해서 유저들이 장벽을 넘지 못하고 이탈
: 4레벨에 퀘스트 아이템 드랍율이 너무 낮아서 지쳐서 유저들이 이탈
: 5레벨에 퀘스트가 끊겨서 유저가 어디로 가야 할지를 몰라서 이탈
: 게임 자체에 흥미를 느끼지 못해 조금 플레이 하다가 이탈
가설 : 유저들이 3레벨에 만나는 보스 몬스터한테 하도 많이 죽어서 결국 이탈한다.


불특정 표본 집단의 Low Data 확인




                     대상의 Death Low Data 확인
이탈자 중 불특정 표본 집단 구성   최소 10명 정도 이상을 확인해보는 것이 바람직
•   가설을 검증하도록 Low Data Mining 진행
•   이탈자 중 마지막 죽음이 ID:415, ‘지킬하이드’인 비율 확인
•   결과 : 50%의 비율로 지킬하이드에 죽고 난 후 게임을 이탈함
•   수정 방안 : 지킬하이드 공격력, HP 50% 하락



              다 해결됐어!
•   전체 중 이탈자 비율은 70%, 그 중 50%인 전체의 15%가 지킬하이드로
    인한 이탈이라고 판단을 내려 지킬하이드를 하향패치 했다.
•   But, 반대로 이야기하면 85%는 현재의 지킬하이드를 만족한다는 이야기



                           장벽



무찔러주겠어!
                                           포기할래~



              85%                   15%
•   수정 방안 : 지킬하이드로 인해 이탈하는 유저들에게 Buff Item 지급




                          덤벼보시지?




         15%
•   리텐션이 낮은 고객들을 파악해라.
•   그 고객들의 문제를 확인해라.
•   대응을 할 땐 고객들에게 맞춤 대응하라.
•   대부분의 사람들이 리텐션의 중요성을 인지 안함.
•   대부분의 회사들은 DBA의 수가 적음
•   정성,정량 Data를 세분화하고 분석하는 사람의 수가 적음.
•   온갖 변수들에 대한 함정을 잘 밟음.
•   지표 자체를 안 뽑는 경우가 대부분
•   개발사에 실서비스 DB 접근 권한이 없는 경우           사실 힘든
•   Data 통계는 뽑고 분석하는 사람 마음대로 조작 가능      것은 이것보
                                        다 훨씬 더
•   Low Data Log를 남기는 데 머신상의 한계가 존재
                                          많죠.
•   신규 유저 리텐션을 높인다고 신규가입자가 30레벨까지 키우면 퍼블리셔
    포털 캐쉬 5000원 지급하는 이벤트를 실시


            •   이벤트 기간인 3월4일 ~ 3월11일 리텐션율이 엄청 높
                게 나옴. -> 이벤트는 성공인가?
이벤트 종료 하자마자 거품은 빠짐.
아직까진 실패라고 볼 수 없음.
왜냐하면 이벤트 기간 동안 신규 가입자에서 이용자로
전환된 비율은 높았기 때문에 그 때 당시의 고객들이
계속해서 게임을 한다면 그 이벤트 자체는 성공이라고
할 수 있음.
그러나, 주차 흐름에 따른 리텐션
확인 결과 다른 기간과 별 차이가 없음.
그래도 아직까지는… 실패라 볼 수 없음
비율로만 저럴 수 있고, 상수로 보면
전환된 UID의 숫자는 더 많을 수도…
전체 UV에도 결국 변화가 없어 이상하다 싶어 결국엔 Low Data를 확인함.
퍼블리셔에게 요청해서 ‘이벤트 대상자’들의 포털 Cash 사용내역 로그를
확인해달라고 요청



                결국, 우리 게임 이벤트를 이용해서 다른
                게임에 투자하는 어뷰징이라고 판단 됨.
하나의 Data로는 그 자체의 현상밖에 판단 하지 못한다.
DATA는 분석(쪼개고, 쪼개고, 또 쪼개고)을 할수록 정확도가 높아진다.
그렇다고, Data에만 의존하는 바보가 되지는 마라.
Data 분석은 수많은 스킬 중 하나일 뿐이다.


일부 비양심적 보고자는 데이터를 자신에게 유리하게 편집해서 보고한다.
게임 자체에 대한 이해도가 없이는 Data에 대한 이해도 불가능하다.
이것은 빙산의 일각일 뿐입니다.
정성,정량 데이터 중 ‘리텐션’이라는 일각이죠.

우리는 보다 더 낳은 디자인을 위해 많은 것들을 공부할 필요가
있습니다. 개인적으로는 이러한 Data 분석과 체계확립은
우리가 가진 수 많은 스킬 중 매우 유용하게 사용할 수 있는
스킬이 되리라 믿어 의심치 않습니다.

“기획자는 아는 만큼만 기획합니다.”




                   Ps. 발표용 문서라 아쉽네요.

More Related Content

What's hot

뉴비라이터를 위한 게임라이팅 일반론
뉴비라이터를 위한 게임라이팅 일반론뉴비라이터를 위한 게임라이팅 일반론
뉴비라이터를 위한 게임라이팅 일반론
sinnoske
 
게임에서 흔히 쓰이는 최적화 전략 by 엄윤섭 @ 지스타 컨퍼런스 2013
게임에서 흔히 쓰이는 최적화 전략 by 엄윤섭 @ 지스타 컨퍼런스 2013게임에서 흔히 쓰이는 최적화 전략 by 엄윤섭 @ 지스타 컨퍼런스 2013
게임에서 흔히 쓰이는 최적화 전략 by 엄윤섭 @ 지스타 컨퍼런스 2013
영욱 오
 
윤석주, 신입 게임 프로그래머가 되는 법 - 넥슨 채용 프로세스 단계별 분석, NDC2019
윤석주, 신입 게임 프로그래머가 되는 법 - 넥슨 채용 프로세스 단계별 분석, NDC2019윤석주, 신입 게임 프로그래머가 되는 법 - 넥슨 채용 프로세스 단계별 분석, NDC2019
윤석주, 신입 게임 프로그래머가 되는 법 - 넥슨 채용 프로세스 단계별 분석, NDC2019
devCAT Studio, NEXON
 
NDC 2014 Beyond Code: <야생의 땅:듀랑고>의 좌충우돌 개발 과정 - 프로그래머가 챙겨주는 또 다른 개발자 사용 설명서
NDC 2014 Beyond Code: <야생의 땅:듀랑고>의 좌충우돌 개발 과정 - 프로그래머가 챙겨주는 또 다른 개발자 사용 설명서NDC 2014 Beyond Code: <야생의 땅:듀랑고>의 좌충우돌 개발 과정 - 프로그래머가 챙겨주는 또 다른 개발자 사용 설명서
NDC 2014 Beyond Code: <야생의 땅:듀랑고>의 좌충우돌 개발 과정 - 프로그래머가 챙겨주는 또 다른 개발자 사용 설명서
영준 박
 
게임 기획자의 생존 전략
게임 기획자의 생존 전략게임 기획자의 생존 전략
게임 기획자의 생존 전략
태성 이
 
테라로 살펴본 MMORPG의 논타겟팅 시스템
테라로 살펴본 MMORPG의 논타겟팅 시스템테라로 살펴본 MMORPG의 논타겟팅 시스템
테라로 살펴본 MMORPG의 논타겟팅 시스템
QooJuice
 
조정훈, 게임 프로그래머를 위한 클래스 설계, NDC2012
조정훈, 게임 프로그래머를 위한 클래스 설계, NDC2012조정훈, 게임 프로그래머를 위한 클래스 설계, NDC2012
조정훈, 게임 프로그래머를 위한 클래스 설계, NDC2012
devCAT Studio, NEXON
 
임태현, MMO 서버 개발 포스트 모템, NDC2012
임태현, MMO 서버 개발 포스트 모템, NDC2012임태현, MMO 서버 개발 포스트 모템, NDC2012
임태현, MMO 서버 개발 포스트 모템, NDC2012
devCAT Studio, NEXON
 

What's hot (20)

뉴비라이터를 위한 게임라이팅 일반론
뉴비라이터를 위한 게임라이팅 일반론뉴비라이터를 위한 게임라이팅 일반론
뉴비라이터를 위한 게임라이팅 일반론
 
졸업작품을 앞둔 게임 기획/프로그래밍 전공 교류회
졸업작품을 앞둔 게임 기획/프로그래밍 전공 교류회졸업작품을 앞둔 게임 기획/프로그래밍 전공 교류회
졸업작품을 앞둔 게임 기획/프로그래밍 전공 교류회
 
게임에서 흔히 쓰이는 최적화 전략 by 엄윤섭 @ 지스타 컨퍼런스 2013
게임에서 흔히 쓰이는 최적화 전략 by 엄윤섭 @ 지스타 컨퍼런스 2013게임에서 흔히 쓰이는 최적화 전략 by 엄윤섭 @ 지스타 컨퍼런스 2013
게임에서 흔히 쓰이는 최적화 전략 by 엄윤섭 @ 지스타 컨퍼런스 2013
 
윤석주, 신입 게임 프로그래머가 되는 법 - 넥슨 채용 프로세스 단계별 분석, NDC2019
윤석주, 신입 게임 프로그래머가 되는 법 - 넥슨 채용 프로세스 단계별 분석, NDC2019윤석주, 신입 게임 프로그래머가 되는 법 - 넥슨 채용 프로세스 단계별 분석, NDC2019
윤석주, 신입 게임 프로그래머가 되는 법 - 넥슨 채용 프로세스 단계별 분석, NDC2019
 
NDC 2014 Beyond Code: <야생의 땅:듀랑고>의 좌충우돌 개발 과정 - 프로그래머가 챙겨주는 또 다른 개발자 사용 설명서
NDC 2014 Beyond Code: <야생의 땅:듀랑고>의 좌충우돌 개발 과정 - 프로그래머가 챙겨주는 또 다른 개발자 사용 설명서NDC 2014 Beyond Code: <야생의 땅:듀랑고>의 좌충우돌 개발 과정 - 프로그래머가 챙겨주는 또 다른 개발자 사용 설명서
NDC 2014 Beyond Code: <야생의 땅:듀랑고>의 좌충우돌 개발 과정 - 프로그래머가 챙겨주는 또 다른 개발자 사용 설명서
 
[IGC 2016] 실전시나리오라이팅 - PD가 원하면 나는 쓴다
[IGC 2016] 실전시나리오라이팅 - PD가 원하면 나는 쓴다[IGC 2016] 실전시나리오라이팅 - PD가 원하면 나는 쓴다
[IGC 2016] 실전시나리오라이팅 - PD가 원하면 나는 쓴다
 
게임 기획자의 생존 전략
게임 기획자의 생존 전략게임 기획자의 생존 전략
게임 기획자의 생존 전략
 
GA로 게임 로그 분석하기
GA로 게임 로그 분석하기GA로 게임 로그 분석하기
GA로 게임 로그 분석하기
 
슈팅 게임에서 레벨 디자인 하기
슈팅 게임에서 레벨 디자인 하기슈팅 게임에서 레벨 디자인 하기
슈팅 게임에서 레벨 디자인 하기
 
[IGC2018] 펄어비스 김광삼 - 대면 커뮤니케이션 주도의 게임 디자인과 게임 개발법
[IGC2018] 펄어비스 김광삼 - 대면 커뮤니케이션 주도의 게임 디자인과 게임 개발법[IGC2018] 펄어비스 김광삼 - 대면 커뮤니케이션 주도의 게임 디자인과 게임 개발법
[IGC2018] 펄어비스 김광삼 - 대면 커뮤니케이션 주도의 게임 디자인과 게임 개발법
 
여기컨_스타트업 기획자의 월화수목금_이수지
여기컨_스타트업 기획자의 월화수목금_이수지여기컨_스타트업 기획자의 월화수목금_이수지
여기컨_스타트업 기획자의 월화수목금_이수지
 
테라로 살펴본 MMORPG의 논타겟팅 시스템
테라로 살펴본 MMORPG의 논타겟팅 시스템테라로 살펴본 MMORPG의 논타겟팅 시스템
테라로 살펴본 MMORPG의 논타겟팅 시스템
 
조정훈, 게임 프로그래머를 위한 클래스 설계, NDC2012
조정훈, 게임 프로그래머를 위한 클래스 설계, NDC2012조정훈, 게임 프로그래머를 위한 클래스 설계, NDC2012
조정훈, 게임 프로그래머를 위한 클래스 설계, NDC2012
 
임태현, MMO 서버 개발 포스트 모템, NDC2012
임태현, MMO 서버 개발 포스트 모템, NDC2012임태현, MMO 서버 개발 포스트 모템, NDC2012
임태현, MMO 서버 개발 포스트 모템, NDC2012
 
최소 300억은 버는 글로벌 게임 기획 : 몬스터슈퍼리그 사례를 중심으로
최소 300억은 버는 글로벌 게임 기획 : 몬스터슈퍼리그 사례를 중심으로최소 300억은 버는 글로벌 게임 기획 : 몬스터슈퍼리그 사례를 중심으로
최소 300억은 버는 글로벌 게임 기획 : 몬스터슈퍼리그 사례를 중심으로
 
블랙옵스4의 레벨 디자인
블랙옵스4의 레벨 디자인블랙옵스4의 레벨 디자인
블랙옵스4의 레벨 디자인
 
모바일 게임 최적화
모바일 게임 최적화 모바일 게임 최적화
모바일 게임 최적화
 
게임제작개론 : #4 게임 밸런싱
게임제작개론 : #4 게임 밸런싱게임제작개론 : #4 게임 밸런싱
게임제작개론 : #4 게임 밸런싱
 
[NDC 2010] 그럴듯한 랜덤 생성 컨텐츠 만들기
[NDC 2010] 그럴듯한 랜덤 생성 컨텐츠 만들기[NDC 2010] 그럴듯한 랜덤 생성 컨텐츠 만들기
[NDC 2010] 그럴듯한 랜덤 생성 컨텐츠 만들기
 
게임제작개론 : #5 플레이어에 대한 이해
게임제작개론 : #5 플레이어에 대한 이해게임제작개론 : #5 플레이어에 대한 이해
게임제작개론 : #5 플레이어에 대한 이해
 

Viewers also liked

복귀 이벤트를 해도 유저가 돌아오지 않는 이유
복귀 이벤트를 해도 유저가 돌아오지 않는 이유복귀 이벤트를 해도 유저가 돌아오지 않는 이유
복귀 이벤트를 해도 유저가 돌아오지 않는 이유
Chanman Jo
 
Cbt,fgt,obt를 통한 game data mining 기법
Cbt,fgt,obt를 통한 game data mining 기법Cbt,fgt,obt를 통한 game data mining 기법
Cbt,fgt,obt를 통한 game data mining 기법
Chanman Jo
 
실전 예제) 난이도로 인한 리텐션 올리기
실전 예제) 난이도로 인한 리텐션 올리기실전 예제) 난이도로 인한 리텐션 올리기
실전 예제) 난이도로 인한 리텐션 올리기
Chanman Jo
 
Lean 6 Sigma & Cultural Revolution
Lean 6 Sigma & Cultural RevolutionLean 6 Sigma & Cultural Revolution
Lean 6 Sigma & Cultural Revolution
SungHyuk Park
 
Penner pre-integrated skin rendering (siggraph 2011 advances in real-time r...
Penner   pre-integrated skin rendering (siggraph 2011 advances in real-time r...Penner   pre-integrated skin rendering (siggraph 2011 advances in real-time r...
Penner pre-integrated skin rendering (siggraph 2011 advances in real-time r...
JP Lee
 
삼국지 게임 컨셉제안서
삼국지 게임 컨셉제안서삼국지 게임 컨셉제안서
삼국지 게임 컨셉제안서
JP Lee
 

Viewers also liked (20)

복귀 이벤트를 해도 유저가 돌아오지 않는 이유
복귀 이벤트를 해도 유저가 돌아오지 않는 이유복귀 이벤트를 해도 유저가 돌아오지 않는 이유
복귀 이벤트를 해도 유저가 돌아오지 않는 이유
 
전투 시스템 기획(Canvas 스터디 1차)
전투 시스템 기획(Canvas 스터디 1차)전투 시스템 기획(Canvas 스터디 1차)
전투 시스템 기획(Canvas 스터디 1차)
 
Cbt,fgt,obt를 통한 game data mining 기법
Cbt,fgt,obt를 통한 game data mining 기법Cbt,fgt,obt를 통한 game data mining 기법
Cbt,fgt,obt를 통한 game data mining 기법
 
02. 게임 전투 공식
02. 게임 전투 공식02. 게임 전투 공식
02. 게임 전투 공식
 
실전 예제) 난이도로 인한 리텐션 올리기
실전 예제) 난이도로 인한 리텐션 올리기실전 예제) 난이도로 인한 리텐션 올리기
실전 예제) 난이도로 인한 리텐션 올리기
 
[GAMENEXT] 성공적인 사용자 리텐션 관리 (AD FRESCA)
[GAMENEXT] 성공적인 사용자 리텐션 관리 (AD FRESCA)[GAMENEXT] 성공적인 사용자 리텐션 관리 (AD FRESCA)
[GAMENEXT] 성공적인 사용자 리텐션 관리 (AD FRESCA)
 
모바일/온라인 게임의 매출시뮬레이션
모바일/온라인 게임의 매출시뮬레이션모바일/온라인 게임의 매출시뮬레이션
모바일/온라인 게임의 매출시뮬레이션
 
사전예약의 모든것! "예약TOP10"
사전예약의 모든것! "예약TOP10"사전예약의 모든것! "예약TOP10"
사전예약의 모든것! "예약TOP10"
 
Ytop10 proposal v1.0
Ytop10 proposal v1.0Ytop10 proposal v1.0
Ytop10 proposal v1.0
 
Lean 6 Sigma & Cultural Revolution
Lean 6 Sigma & Cultural RevolutionLean 6 Sigma & Cultural Revolution
Lean 6 Sigma & Cultural Revolution
 
Penner pre-integrated skin rendering (siggraph 2011 advances in real-time r...
Penner   pre-integrated skin rendering (siggraph 2011 advances in real-time r...Penner   pre-integrated skin rendering (siggraph 2011 advances in real-time r...
Penner pre-integrated skin rendering (siggraph 2011 advances in real-time r...
 
Gabor Filtering for Fingerprint Image Enhancement
Gabor Filtering for Fingerprint Image EnhancementGabor Filtering for Fingerprint Image Enhancement
Gabor Filtering for Fingerprint Image Enhancement
 
NDC 2015 조길현 - 모바일게임 생명연장의 꿈 : 쿠키런 2년 게임 운영 분투기
NDC 2015 조길현 - 모바일게임 생명연장의 꿈 : 쿠키런 2년 게임 운영 분투기NDC 2015 조길현 - 모바일게임 생명연장의 꿈 : 쿠키런 2년 게임 운영 분투기
NDC 2015 조길현 - 모바일게임 생명연장의 꿈 : 쿠키런 2년 게임 운영 분투기
 
[NDC 2011] 게임 개발자를 위한 데이터분석의 도입
[NDC 2011] 게임 개발자를 위한 데이터분석의 도입[NDC 2011] 게임 개발자를 위한 데이터분석의 도입
[NDC 2011] 게임 개발자를 위한 데이터분석의 도입
 
안정적인 서비스 운영 2014.03
안정적인 서비스 운영   2014.03안정적인 서비스 운영   2014.03
안정적인 서비스 운영 2014.03
 
[우리가 데이터를 쓰는 법] 좋다는 건 알겠는데 좀 써보고 싶소. 데이터! - 넘버웍스 하용호 대표
[우리가 데이터를 쓰는 법] 좋다는 건 알겠는데 좀 써보고 싶소. 데이터! - 넘버웍스 하용호 대표[우리가 데이터를 쓰는 법] 좋다는 건 알겠는데 좀 써보고 싶소. 데이터! - 넘버웍스 하용호 대표
[우리가 데이터를 쓰는 법] 좋다는 건 알겠는데 좀 써보고 싶소. 데이터! - 넘버웍스 하용호 대표
 
모바일 게임, 시장과 산업의 이해 Shock & Awe : What’s Next Now?
모바일 게임, 시장과 산업의 이해 Shock & Awe : What’s Next Now?모바일 게임, 시장과 산업의 이해 Shock & Awe : What’s Next Now?
모바일 게임, 시장과 산업의 이해 Shock & Awe : What’s Next Now?
 
Appsasia 모바일게임 시장조사 7월호- 글로벌 게임시장 트렌드
Appsasia 모바일게임 시장조사  7월호- 글로벌 게임시장 트렌드Appsasia 모바일게임 시장조사  7월호- 글로벌 게임시장 트렌드
Appsasia 모바일게임 시장조사 7월호- 글로벌 게임시장 트렌드
 
삼국지 게임 컨셉제안서
삼국지 게임 컨셉제안서삼국지 게임 컨셉제안서
삼국지 게임 컨셉제안서
 
AWS Summit Seoul 2015 - 국내 사례로 본 클라우드 운영 최적화 (이주완-메가존)
AWS Summit Seoul 2015 -  국내 사례로 본 클라우드 운영 최적화  (이주완-메가존)AWS Summit Seoul 2015 -  국내 사례로 본 클라우드 운영 최적화  (이주완-메가존)
AWS Summit Seoul 2015 - 국내 사례로 본 클라우드 운영 최적화 (이주완-메가존)
 

Similar to 리텐션의 산출과 활용

탐사분석을통한작업장탐지
탐사분석을통한작업장탐지탐사분석을통한작업장탐지
탐사분석을통한작업장탐지
Eun-Jo Lee
 
게임제작개론 9
게임제작개론 9게임제작개론 9
게임제작개론 9
Seokmin No
 
뉴미디어프로젝트(E biz 손정원)
뉴미디어프로젝트(E biz 손정원)뉴미디어프로젝트(E biz 손정원)
뉴미디어프로젝트(E biz 손정원)
ShonJungWon
 
노기태, 김대우, 모바일 게임 데이터에 입각한 머신러닝 예측 분석 도입 및 삽질 후기, NDC2017
노기태, 김대우, 모바일 게임 데이터에 입각한 머신러닝 예측 분석 도입 및 삽질 후기, NDC2017노기태, 김대우, 모바일 게임 데이터에 입각한 머신러닝 예측 분석 도입 및 삽질 후기, NDC2017
노기태, 김대우, 모바일 게임 데이터에 입각한 머신러닝 예측 분석 도입 및 삽질 후기, NDC2017
devCAT Studio, NEXON
 
Paradise service deign
Paradise service deignParadise service deign
Paradise service deign
mutantlee
 

Similar to 리텐션의 산출과 활용 (20)

게임제작개론 : #9 라이브 서비스
게임제작개론 : #9 라이브 서비스게임제작개론 : #9 라이브 서비스
게임제작개론 : #9 라이브 서비스
 
탐사분석을통한작업장탐지
탐사분석을통한작업장탐지탐사분석을통한작업장탐지
탐사분석을통한작업장탐지
 
게임제작개론 9
게임제작개론 9게임제작개론 9
게임제작개론 9
 
뉴미디어프로젝트(E biz 손정원)
뉴미디어프로젝트(E biz 손정원)뉴미디어프로젝트(E biz 손정원)
뉴미디어프로젝트(E biz 손정원)
 
노기태, 김대우, 모바일 게임 데이터에 입각한 머신러닝 예측 분석 도입 및 삽질 후기, NDC2017
노기태, 김대우, 모바일 게임 데이터에 입각한 머신러닝 예측 분석 도입 및 삽질 후기, NDC2017노기태, 김대우, 모바일 게임 데이터에 입각한 머신러닝 예측 분석 도입 및 삽질 후기, NDC2017
노기태, 김대우, 모바일 게임 데이터에 입각한 머신러닝 예측 분석 도입 및 삽질 후기, NDC2017
 
Log Design Case Study
Log Design Case StudyLog Design Case Study
Log Design Case Study
 
로그 기깔나게 잘 디자인하는 법
로그 기깔나게 잘 디자인하는 법로그 기깔나게 잘 디자인하는 법
로그 기깔나게 잘 디자인하는 법
 
실전 스타트업 데이터분석: 소셜데이팅 이음은 이렇게 한다
실전 스타트업 데이터분석: 소셜데이팅 이음은 이렇게 한다실전 스타트업 데이터분석: 소셜데이팅 이음은 이렇게 한다
실전 스타트업 데이터분석: 소셜데이팅 이음은 이렇게 한다
 
최웅규
최웅규최웅규
최웅규
 
게임 BM 이야기
게임 BM 이야기게임 BM 이야기
게임 BM 이야기
 
[우리가 데이터를 쓰는 법] 온라인 서비스 개선을 위한 데이터 활용법 - 마이크로소프트 김진영 데이터과학자
[우리가 데이터를 쓰는 법] 온라인 서비스 개선을 위한 데이터 활용법 - 마이크로소프트 김진영 데이터과학자[우리가 데이터를 쓰는 법] 온라인 서비스 개선을 위한 데이터 활용법 - 마이크로소프트 김진영 데이터과학자
[우리가 데이터를 쓰는 법] 온라인 서비스 개선을 위한 데이터 활용법 - 마이크로소프트 김진영 데이터과학자
 
온라인 서비스 개선을 데이터 활용법 - 김진영 (How We Use Data)
온라인 서비스 개선을 데이터 활용법  - 김진영 (How We Use Data)온라인 서비스 개선을 데이터 활용법  - 김진영 (How We Use Data)
온라인 서비스 개선을 데이터 활용법 - 김진영 (How We Use Data)
 
Blackbox 기획안
Blackbox 기획안Blackbox 기획안
Blackbox 기획안
 
이원, 온라인 게임 프로젝트 개발 결산 - 마비노기 개발 완수 보고서, NDC2011
이원, 온라인 게임 프로젝트 개발 결산 - 마비노기 개발 완수 보고서, NDC2011이원, 온라인 게임 프로젝트 개발 결산 - 마비노기 개발 완수 보고서, NDC2011
이원, 온라인 게임 프로젝트 개발 결산 - 마비노기 개발 완수 보고서, NDC2011
 
스타트업의 전략적 사고
스타트업의 전략적 사고스타트업의 전략적 사고
스타트업의 전략적 사고
 
[TapjoyX5Rocks App Discovery Seminar] Session 6 - 5Rocks 이창수 대표
[TapjoyX5Rocks App Discovery Seminar] Session 6 - 5Rocks 이창수 대표[TapjoyX5Rocks App Discovery Seminar] Session 6 - 5Rocks 이창수 대표
[TapjoyX5Rocks App Discovery Seminar] Session 6 - 5Rocks 이창수 대표
 
NDC 2016 김정주 - 기계학습을 활용한 게임어뷰징 검출
NDC 2016 김정주 - 기계학습을 활용한 게임어뷰징 검출 NDC 2016 김정주 - 기계학습을 활용한 게임어뷰징 검출
NDC 2016 김정주 - 기계학습을 활용한 게임어뷰징 검출
 
애자일 스크럼과 JIRA
애자일 스크럼과 JIRA 애자일 스크럼과 JIRA
애자일 스크럼과 JIRA
 
Paradise service deign
Paradise service deignParadise service deign
Paradise service deign
 
사용자분석 @코더스하이세미나
사용자분석 @코더스하이세미나사용자분석 @코더스하이세미나
사용자분석 @코더스하이세미나
 

리텐션의 산출과 활용

  • 2. 지난번에서는… • 리텐션이 왜 중요한가에 대한 설명 • 리텐션 산출 시 주의사항 • 리텐션의 산출방법 기간 / 조건 필터 • 리텐션 활용법 에 대해 간략하게 알아보았습니다. 지난 번은 실제 게임에 적용시키는 과정과 방법 등을 간소화 했었는데 이번엔 조금 더 상세하게 ‘리텐션의 산출과 활용’에 대해 들어가보겠습니다.
  • 3.
  • 4. 기간 필터 • 지난 번 기간 필터 방식 중 우리는 ‘주 단위 필터’를 적용하겠습니다. • 주 단위로 산출하는 이유는 ‘고객’의 범위를 대한민국으로 잡았기 때문 인데요. • 대한민국의 국민들의 패턴은 대부분 ‘주 단위’로 흘러가기 때문입니다.
  • 5. 기간 필터 • 라이브 서비스 경험이 있는 사람이라면 아래의 그래프를 많이 보셨을 겁니다. • 그리고 그래프들은 대부분 AU,UV,APPUR 등이 되겠지요. • 이러한 양상을 띄는 이유는 우리가 만들고 있는 ‘게임’을 이용하는 고객들 의 생활 패턴이 대부분 주 단위 주기로 반복되고 있기 때문입니다. • 물론 ‘타겟층’ 범위에 따라 다소 차이는 있을 수 있습니다. 월 화 수 목 금 토 일
  • 6. 조건 필터 • 지금 예제로 잡고 있는 것은 MMOPRG라는 장르입니다. • MMORPG라는 장르를 구성하는 공통적 특징을 정리하자면 디자인마다 차 이는 있지만 대부분 다음의 공통 요소를 가지고 있습니다.
  • 7. LEVEL Level 사용자 Spend Time
  • 9. 정리하자면 • MMORPG의 디자인은 Level을 기준으로 Contents를 배열한 씬의 집합 • 이용자의 Spend Time예 따라 이용자는 Level이라는 기준을 얻게 되며 그 기 준점에서 디자이너가 구축한 흐름 속에서 Interest라는 것이 변화하는 형태 • 이 조건이 부합한다는 전제하에 리텐션 조건을 필터 이 PT를 보시는 분들 중 감이 좋으신 분들은 벌써부터 제가 무엇 때문에 이런 설명을 하고 있는지 이미 눈치 채셨을 것입니다.
  • 10. 결국 리텐션은 Game Data Data를 마이닝하는 과정에서 가장 중요한 것은 대상의 기간과 조건 대상을 집단으로 구성하기 위한 공통분모 찾기 기간 : 주단위 (고객의 생활패턴) 조건 : Level (고객이 겪고 있는 서비스 구간)
  • 11.
  • 12. 가상의 리텐션 Data 리텐션이 낮은 구간 1~5, 6~10, 26~30 : 초반 구간, 최고레벨 구간 이 두 지역의 리텐션이 낮음 -> 이탈율이 높다는 이야기
  • 13. DB의 용량 관계상 Low Data는 게임 플랫폼, 장르에 따라 매우 큰 격차가 존재 • CBT, FGT, OBT 등 각종 Test를 통해 Low Data를 사전에 정리 필요 • 가상 시뮬레이션이기 때문에 사전 Data 정리 작업이 끝났다고 가정
  • 14. ▣ 정성 데이터를 이용한 가설 : 게시판, 리뷰, 고객센터 등에 접수되는 고객의 글을 통한 유추 Ex) 만렙인데 할게 없어요 징징 ▣ 기획상의 가설 : 3레벨에 만나는 보스 몬스터가 너무 강력해서 유저들이 장벽을 넘지 못하고 이탈 : 4레벨에 퀘스트 아이템 드랍율이 너무 낮아서 지쳐서 유저들이 이탈 : 5레벨에 퀘스트가 끊겨서 유저가 어디로 가야 할지를 몰라서 이탈 : 게임 자체에 흥미를 느끼지 못해 조금 플레이 하다가 이탈
  • 15. 가설 : 유저들이 3레벨에 만나는 보스 몬스터한테 하도 많이 죽어서 결국 이탈한다. 불특정 표본 집단의 Low Data 확인 대상의 Death Low Data 확인 이탈자 중 불특정 표본 집단 구성 최소 10명 정도 이상을 확인해보는 것이 바람직
  • 16. 가설을 검증하도록 Low Data Mining 진행 • 이탈자 중 마지막 죽음이 ID:415, ‘지킬하이드’인 비율 확인 • 결과 : 50%의 비율로 지킬하이드에 죽고 난 후 게임을 이탈함
  • 17. 수정 방안 : 지킬하이드 공격력, HP 50% 하락 다 해결됐어!
  • 18.
  • 19. 전체 중 이탈자 비율은 70%, 그 중 50%인 전체의 15%가 지킬하이드로 인한 이탈이라고 판단을 내려 지킬하이드를 하향패치 했다. • But, 반대로 이야기하면 85%는 현재의 지킬하이드를 만족한다는 이야기 장벽 무찔러주겠어! 포기할래~ 85% 15%
  • 20. 수정 방안 : 지킬하이드로 인해 이탈하는 유저들에게 Buff Item 지급 덤벼보시지? 15%
  • 21. 리텐션이 낮은 고객들을 파악해라. • 그 고객들의 문제를 확인해라. • 대응을 할 땐 고객들에게 맞춤 대응하라.
  • 22. 대부분의 사람들이 리텐션의 중요성을 인지 안함. • 대부분의 회사들은 DBA의 수가 적음 • 정성,정량 Data를 세분화하고 분석하는 사람의 수가 적음. • 온갖 변수들에 대한 함정을 잘 밟음. • 지표 자체를 안 뽑는 경우가 대부분 • 개발사에 실서비스 DB 접근 권한이 없는 경우 사실 힘든 • Data 통계는 뽑고 분석하는 사람 마음대로 조작 가능 것은 이것보 다 훨씬 더 • Low Data Log를 남기는 데 머신상의 한계가 존재 많죠.
  • 23.
  • 24. 신규 유저 리텐션을 높인다고 신규가입자가 30레벨까지 키우면 퍼블리셔 포털 캐쉬 5000원 지급하는 이벤트를 실시 • 이벤트 기간인 3월4일 ~ 3월11일 리텐션율이 엄청 높 게 나옴. -> 이벤트는 성공인가?
  • 25. 이벤트 종료 하자마자 거품은 빠짐. 아직까진 실패라고 볼 수 없음. 왜냐하면 이벤트 기간 동안 신규 가입자에서 이용자로 전환된 비율은 높았기 때문에 그 때 당시의 고객들이 계속해서 게임을 한다면 그 이벤트 자체는 성공이라고 할 수 있음.
  • 26. 그러나, 주차 흐름에 따른 리텐션 확인 결과 다른 기간과 별 차이가 없음. 그래도 아직까지는… 실패라 볼 수 없음 비율로만 저럴 수 있고, 상수로 보면 전환된 UID의 숫자는 더 많을 수도…
  • 27. 전체 UV에도 결국 변화가 없어 이상하다 싶어 결국엔 Low Data를 확인함. 퍼블리셔에게 요청해서 ‘이벤트 대상자’들의 포털 Cash 사용내역 로그를 확인해달라고 요청 결국, 우리 게임 이벤트를 이용해서 다른 게임에 투자하는 어뷰징이라고 판단 됨.
  • 28. 하나의 Data로는 그 자체의 현상밖에 판단 하지 못한다. DATA는 분석(쪼개고, 쪼개고, 또 쪼개고)을 할수록 정확도가 높아진다. 그렇다고, Data에만 의존하는 바보가 되지는 마라. Data 분석은 수많은 스킬 중 하나일 뿐이다. 일부 비양심적 보고자는 데이터를 자신에게 유리하게 편집해서 보고한다. 게임 자체에 대한 이해도가 없이는 Data에 대한 이해도 불가능하다.
  • 29. 이것은 빙산의 일각일 뿐입니다. 정성,정량 데이터 중 ‘리텐션’이라는 일각이죠. 우리는 보다 더 낳은 디자인을 위해 많은 것들을 공부할 필요가 있습니다. 개인적으로는 이러한 Data 분석과 체계확립은 우리가 가진 수 많은 스킬 중 매우 유용하게 사용할 수 있는 스킬이 되리라 믿어 의심치 않습니다. “기획자는 아는 만큼만 기획합니다.” Ps. 발표용 문서라 아쉽네요.