Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Similar to Hivemall meetup vol2 oisix
Similar to Hivemall meetup vol2 oisix (20)
Hivemall meetup vol2 oisix
- 1. #219229093 #095095095 #174006002 #171171171 Hivemall を使って、 解約 を 減らせた そう な話 2015/10/21 オイシックス株式会社 1 2015年年10⽉月20⽇日 Oisix システム部 普川 泰如 第⼆二回 Hivemall Meetup
- 2. 今日お話しすること 2015/10/21 オイシックス株式会社 2 • ⾃自⼰己紹介 • オイシックスについて • 定期会員の解約予想 • 今回やったこと • 実例例、Hivemallのコードみせちゃいます • 機械学習導⼊入までの道のり
- 3. 自己紹介 2015/10/21 オイシックス株式会社 3 普川 泰如(ふかわ たいすけ) オイシックス株式会社 システム本部 システム部 • イクボスアワード特別奨励賞受賞。昨⽇日授賞式⾏行行ってきました。 • 普段はECサイト系システム開発 • 機械学習は完全に素⼈人
- 6. 発注 収穫 納品 配送ご来店 ご注⽂文 お受取 ビジネスシステム お客様 ⽣生産者さんオイシックス サ ブ ス ク リ プ シ ン 型 （ 定 期 購 ⼊入 ） おいしっくす くらぶ おいとく （オートシップ） 都度度単品から購⼊入 産地直送サービス
- 10. 退会者予測の概要 2015/10/21 オイシックス株式会社 10 過去1ヶ⽉月間のデータをもとに 未来1ヶ⽉月間に解約するであろう顧客リストを作成 現時点で、おおよそ30% (適合率率率ベース) の精度度で予測可能 １ヶ⽉月間のデータ 今 １ヶ⽉月間で解約する⼈人 過去 未来
- 12. 解約予測ができるとわかること 2015/10/21 オイシックス株式会社 12 1. 未来1ヶ⽉月で退会確率率率の⾼高い顧客IDリスト 2. 解約となる顧客の振る舞い 3. 解約とならない顧客の振舞い
- 13. どうやって解約者数減につなげるのか 2015/10/21 オイシックス株式会社 13 -‐‑‒ ポイント付与 -‐‑‒ キャンペーン実施 -‐‑‒ ケアコール 顧客IDリスト 解約、⾮非解約への 振る舞い -‐‑‒ WebのUI変更更 -‐‑‒ サービス改善 -‐‑‒ 成功体験への誘導 直接的施策 間接的施策
- 14. ここまでで、出てきた成果 2015/10/21 オイシックス株式会社 14 途中経過だが、解約予測リストへのポイント付与で 解約率率率が半減している実績あり 直接的施策（解約者リストにアタック） 間接的施策（解約者理理解促進） 解約者の振舞い おそらく解約につながりそうな事柄が⽩白⿊黒ついた ⾮非解約者の振舞い 機械学習でなければ、わからなかった振舞いが明らかに！ キャンペーン終了了直後 督促連絡後 サイト訪問⽇日 雑貨や嗜好品購⼊入
- 16. 機械学習の種類 2015/10/21 オイシックス株式会社 16 解約するであろう顧客予測… ロジスティック回帰 教師あり学習 (Supervised Learning) 分類モデル
- 18. 機械学習用テーブルの概念図 2015/10/21 オイシックス株式会社 18 年年齢 購⼊入単価 サイト 訪問回数 会員種別A …… 顧客A 54 50000 4 1 顧客B 34 40000 3 顧客C 44 300000 2 1 顧客D 45 0 0 1データ 1⾏行行として列列に要素を並べる。 数値以外の要素は0,1のデータに整形する。 (会員種別が３つの場合は３つ別々の項⽬目でそれぞれ０,１で表現する)
- 19. 正規化(スケーリング) オイシックス株式会社 19 数値の絶対値を揃えるため実施。 Hivemallでは⽤用意された関数をつかえばOK select � id, t1.feature, � zscore(t1.value, t2.mean, t2.stddev) as score� -- rescale(t1.value, t2.min, t2.max) as score� from � quantative t1 JOIN� quantative_stats t2 ON (t1.feature = t2.feature) � where� t1.value is not null�
- 20. 学習モデル作成 2015/10/21 オイシックス株式会社 20 select � feature,� avg(weight) as weight� from � (select � adadelta(features, kaiyaku) as (feature, weight)� from � train_x3� ) t � group by feature� ロジスティック回帰⽤用の関数をつかうだけ！
- 21. モデル作成結果はテーブルに格納します 2015/10/21 オイシックス株式会社 21 Feature Weight Vip_̲Flg#T -‐‑‒18.5 point -‐‑‒12.3 Cancel_̲cnt 14.5 PV_̲PC 10.3
- 22. 解約リスト作成 モデル☓データから解約確率をだす 2015/10/21 オイシックス株式会社 22 S E LE C T � t .k o k y ak u _ i d,� si g mo i d( S U M ( m.w e i g h t * t .val u e ) ) AS k a i y a k u _ pr o b ,� C AS E � W HE N si g mo i d( S UM(m.w e i g h t * t .val u e ) ) > = 0 .5 THE N 1� E L S E 0 � E N D AS pre di c t e d� FR O M� ml _ o i si x _ re g u l ar_ cu st o me r_ can ce l _ t e st 0 3 _ e x pl o de d_fuk aw a1 t � L E FT O U TE R J O I N adade l t a_ mo de l _ fu k aw a1 m� O N ( t .fe at u re = m.fe at u re ) � GR O UP BY � t .k o k y ak u _ i d� Sigmoid関数で解約率率率に変換 確率率率50%以上＝解約者としている
- 24. 導入までの道のり 2015/10/21 オイシックス株式会社 24 • 企画 • 対象選定（何に機械学習が使えるのか） • パイロットテスト • チューニングと仮運⽤用 • チューニングして精度度をあげる • 実際に施策をして効果を確認する • 本実装 ←いまココ！ • 運⽤用
- 26. パイロットテスト 2015/10/21 オイシックス株式会社 26 • 机上の限界 • マジで有意義な成果が出るのか？ • コスト投下すべきか？ まずは、試してみるのが⼿手っ取り早い Treasure Data × Hivemall → ハードル低
- 27. Pandas + Jupiter 最強! 2015/10/21 オイシックス株式会社 27 • 機械学習の⼀一連の流流れをコメント付きで１ファ イルにまとめられる • 繰り返し実⾏行行できて、チューニング向き • そのままPythonのプログラムになる • 他の⼈人への共有もHTMLのエクスポートで楽々
- 29. チューニングのススメ方 2015/10/21 オイシックス株式会社 29 チューニング ＝ 対象データの因果関係を 明らかにしていく⾏行行為 – 要 素 を 増 や す – 切切 り ⼝口 を 変 え る – ノ イ ズ デ ー タ を 外 す 例例： ログイン回数データ →曜⽇日別ログイン回数としたら精度度UP
- 30. 機械学習のスケジュール管理 2015/10/21 オイシックス株式会社 30 チューニングは期間的な⾒見見積もりが難しい、 ある程度度の試⾏行行錯誤は必須 1. 仮運⽤用でもはじめるとわかること結構ある • 計画段階で、チューニングにかけるコストと期間を決めて、精度度が⼗十 分でなくても仮運⽤用をはじめた⽅方が良良さそう。 2. 分析⽤用のデータを作っておくと⽴立立ち上がり早い
- 32. 精度目標の話 2015/10/21 オイシックス株式会社 32 適合率率率 →解約予測した⼈人が、実際どれだけやめるか。 60％（30/50） 再現率率率 → 実際解約した⼈人のうち、何⼈人を予想できたか 30%（30/100） 100 50 1000⼈人（⺟母集団） 実解約者 30 解約予想者 それぞれでチューニング⽬目標 を設定する必要がある。
- 33. チーム体制について 2015/10/21 オイシックス株式会社 33 早い段階でのデータ分析者と業務担当者との 協⼒力力体制は必須 – どういうデータが関係ありそうかの知⾒見見が深い – 機械学習を施策に落落とすまでがスムーズ – ただし過度度な期待はさせない
- 34. より効果に直結する予測とは 2015/10/21 オイシックス株式会社 34 数字に現れない質の良良い予測、悪い予測がある – 引き⽌止めやすい退会者と、引き⽌止められない退会者 – 今回はデータセットから外した データセットから対象外にする 抽出された結果データを直接⾒見見るのは⼤大事
- 35. 今後の予定 本実装と運用 2015/10/21 オイシックス株式会社 35 1. 精度度アップ 2. ⾃自動化 第⼀一フェーズ 解約リスト作成 3. ⾃自動化 第⼆二フェーズ 引き⽌止め施策オートメーション化
- 37. まとめ 2015/10/21 オイシックス株式会社 37 • 導⼊入ハードルが低い！ • Hivemallを使うと統計の専⾨門知識識なしに機械学習が導⼊入 • すぐやれます。僕らでもやれました。 • 業務側との協⼒力力体制構築 • やっぱり業務知っている⼈人は、良良いこと⾔言ってくれる！ • ただし過度度な期待はさせない • 精度度アップより効果アップ ・予測をあてるより、効果が上がることが⼤大事