Yahoo! JAPAN Tech Conference 2018 D-7 セッションのスライドです。

1. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Yahoo!ショッピングの
サービスデータ活用事例
ヤフー株式会社 ショッピングカンパニー
プロダクション2本部 データ・CRM技術部 技術1
藤木 貴之

2. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
はじめに…
ServiceGrowthに、データ活用は必要不可欠
PLAN
計画
Do
実行
Check
評価
Action
改善
効果をデータで
定量的にはかる
データを用いた
施策展開
データによる
課題発見、仮説立て

3. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
今日お話すること
Yahoo!ショッピングのServiceGrowthを支える
データPFとデータ活用事例の紹介

4. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
アジェンダ
1. 自己紹介
2. Yahoo!ショッピングについて
3. Yahoo!ショッピングにおけるデータ利活用事例紹介
1. データPFについて
2. データドリブンへのアプローチ
4. 今後の展望

5. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
アジェンダ
1. 自己紹介
2. Yahoo!ショッピングについて
3. Yahoo!ショッピングにおけるデータ利活用事例紹介
1. データPFについて
2. データドリブンへのアプローチ
4. 今後の展望

6. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
自己紹介
名前：藤木 貴之
(ふじき たかゆき)
2013年新卒でヤフーに入社
ショッピングカンパニーに配属され、現在Yahoo!ショッピングのデータPFリーダー
 ストア様向けの統計ツール開発・運用
 社内向け可視化ツール開発・運用
 BIツール導入
 データPF刷新・構築

7. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
アジェンダ
1. 自己紹介
2. Yahoo!ショッピングについて
3. Yahoo!ショッピングにおけるデータ利活用事例紹介
1. データPFについて
2. データドリブンへのアプローチ
4. 今後の展望

8. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Yahoo!ショッピング
Yahoo! JAPANが運営する
オンラインショッピングモール
年間流通総額：4788億円
※ 2016年度、ショッピング事業単体
出店ストア数：約60万店舗
商品数：約2.9億商品
※ 2017年度第2四半期決算発表の「事業指標 推移表」より

9. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
アジェンダ
1. 自己紹介
2. Yahoo!ショッピングについて
3. Yahoo!ショッピングにおけるデータ利活用事例紹介
1. データPFについて
2. データドリブンへのアプローチ
4. 今後の展望

10. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
全社のデータPF
10
Hadoop Teradata
2800
Teradata
6690
S3互換
ストレージ
4100 nodes
120 PB
1.7 PB
250億
ファイル

11. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Yahoo!ショッピングのデータPF
11
Hadoop Teradata
2800
Teradata
6690
S3互換
ストレージ
ログなどの大容量
データ処理基板
システムOLAP ユーザー分析
データストア
4100 nodes
120 PB
専用領域
約300TB 1.7 PB
250億
ファイル
専用領域
約110TB 専用領域

12. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Yahoo!ショッピングのデータPF
12
Hadoop Teradata
2800
Teradata
6690
ショッピングEDW
S3互換
ストレージ
ログなどの大容量
データ処理基板
システムOLAP ユーザー分析
データストア
4100 nodes
120 PB
1.7 PB
250億
ファイル
専用領域
約110TB
専用領域
約300TB
専用領域

13. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Yahoo!ショッピングのデータPF
13
Hadoop Teradata
2800
Teradata
6690
ショッピングEDW
S3互換
ストレージ
ログなどの大容量
データ処理基板
システムOLAP ユーザー分析
データストア
4100 nodes
120 PB
1.7 PB
250億
ファイル
専用領域
約110TB
専用領域
約300TB
専用領域
Yahoo!ショッピングに必要なデー
タを
集約、一元管理（ETL）

14. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
アジェンダ
1. 自己紹介
2. Yahoo!ショッピングについて
3. Yahoo!ショッピングにおけるデータ利活用事例紹介
1. データPFについて
2. データドリブンへのアプローチ
4. 今後の展望

15. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Yahoo!ショッピングのデータドリブンへのアプローチ
ServiceGrowth
データ・ドリブン

16. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Yahoo!ショッピングのデータドリブンへのアプローチ
ServiceGrowth
意思決定をデータで
・サービスのコンディションを知れる
・施策の効果測定がすぐできる(A/Bテスト)
・改善のためのファクトが発見できる
データ分析環境
データ・ドリブン

17. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Yahoo!ショッピングのデータドリブンへのアプローチ
ServiceGrowth
意思決定をデータで
・サービスのコンディションを知れる
・施策の効果測定がすぐできる(A/Bテスト)
・改善のためのファクトが発見できる
サービス提供をデータで
・欲しいデータを簡単に引ける
→ユーザー属性（パーソナライズ）
→注文
→商品
…And more
データ利活用環境
データ分析環境
データ・ドリブン

18. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Yahoo!ショッピングのデータドリブンへのアプローチ
ServiceGrowth
意思決定をデータで
・サービスのコンディションを知れる
・施策の効果測定がすぐできる(A/Bテスト)
・改善のためのファクトが発見できる
サービス提供をデータで
・欲しいデータを簡単に引ける
→ユーザー属性（パーソナライズ）
→注文
→商品
…And more
データ利活用環境
データ分析環境
データ・ドリブン

19. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
データ分析環境概要
MicroStrategy/TableauなどのBIを元に
ショッピングEDWをフル活用した
ROLAPな分析環境を提供
ショッピングEDW
Engineer
Analyst
Marketter
Sales

20. BI
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
以前(数年前)までの分析環境構成
Raw
Mart
Mart
Mart
Mart
Mart
Engineer
Analyst
Marketter
Sales

21. BI
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
以前(数年前)までの分析環境構成
Raw
Mart
Mart
Mart
Mart
Mart
Engineer
Analyst
Marketter
Sales
～独立型Mart～
1つ1つの分析要件に対してMartを作成していく
1レポート毎のレイテンシは低いが…
・同じ定義なのに、Mart間の数字が合わない
・バグが発生すると修正範囲が甚大
・煩雑なデータフローになり、拡張性が低い

22. BI
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
現在の分析環境
現在のデータフロー
Raw
ファクト
ディメンション
Engineer
Analyst
Marketter
Sales
ファクト
ファクト
ディメンション
ディメンション
……
And more!!
サービスMart
Teradata

23. BI
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
現在の分析環境
現在のデータフロー
Raw
ファクト
ディメンション
Engineer
Analyst
Marketter
Sales
ファクト
ファクト
ディメンション
ディメンション
……
And more!!
サービスMart
Teradata
・スタースキーマ化
・多次元モデル化
・MDM化
・サロゲート化

24. BI
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
現在の分析環境
現在のデータフロー
Raw
ファクト
ディメンション
Engineer
Analyst
Marketter
Sales
ファクト
ファクト
ディメンション
ディメンション
……
And more!!
サービスMart
Teradata
・スタースキーマ化
・多次元モデル化
・MDM化
・サロゲート化
必要に応じた
Mart作成

25. BI
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
現在の分析環境
現在のデータフロー
Raw
ファクト
ディメンション
Engineer
Analyst
Marketter
Sales
ファクト
ファクト
ディメンション
ディメンション
……
And more!!
サービスMart
Teradata
・スタースキーマ化
・多次元モデル化
・MDM化
・サロゲート化
必要に応じた
Mart作成
BIと組み合わせて
ユーザーが分析時に
インタラクティブに
見たいデータの
レポーティングが
できる環境を提供

26. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
様々な分析環境を提供（MicroStrategy）
スライシング
ユーザーがセルフでインタラクティブに
アドホック分析が可能
ドリルダウン

27. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
様々な分析環境を提供（MicroStrategy）
導線分析
テ
ス
ト
で
効
果
検
証
AB
分
析
KPI

28. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
データPFを中心とした改善プロセス
仮説
データ分析
KPI分析
ABテスト効果測定
意思決定
リリース
EDW

29. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Yahoo!ショッピングのデータドリブンへのアプローチ
ServiceGrowth
意思決定をデータで
・サービスのコンディションを知れる
・施策の効果測定がすぐできる(A/Bテスト)
・改善のためのファクトが発見できる
サービス提供をデータで
・欲しいデータを簡単に引ける
→ユーザー属性（パーソナライズ）
→注文
→商品
…And more
データ利活用環境
データ分析環境
データ・ドリブン

30. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
ショッピングEDW（データPF）を利用したサービス提供
チャネル
ショッピングEDW
Yahoo!ショッピング
CRMシステム
Web
メール
AppPush
…

31. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
ショッピングEDW（データPF）を利用したサービス提供
チャネル
ショッピングEDW
Yahoo!ショッピング
CRMシステム
Web
メール
AppPush
…

32. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
ユーザーのプロファイル情報を作成
デモグラフィック
ビヘイビア
サイコグラフィック
ショッピングEDW

33. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
ショッピングEDW（データPF）を利用したサービス提供
チャネル
ショッピングEDW
Yahoo!ショッピング
CRMシステム
Web
メール
AppPush
…

34. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
ショッピングEDW（データPF）を利用したサービス提供
…
Webモジュールにて
ターゲティングされたユーザーに
クーポン情報表示

35. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
ショッピングEDW（データPF）を利用したサービス提供
チャネル
ショッピングEDW
Yahoo!ショッピング
CRMシステム
Web
メール
AppPush
…

36. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
ユーザーの購買予測確率を作成
回帰分析を用いたモデルを構築
ショッピングEDW
食品カテゴリの購買確率：95.23…％
家電カテゴリの購買確率：22.13…％
…
……
花カテゴリの購買確率：39.53…％
ペット用品カテゴリの購買確率：80.94…％
…
コスメカテゴリの購買確率：76.25…％
コンタクトレンズカテゴリの購買確率：93.15…％
…
米の購買確率：30.54…％
水カテゴリの購買確率：76.13…％
…
モデルを使って
予測確率を計算
様々なカテゴリ毎に
ユーザー単位で購買確率を作成

37. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
ユーザーの購買予測確率を作成
回帰分析を用いたモデルを構築
ショッピングEDW
食品カテゴリの購買確率：95.23…％
家電カテゴリの購買確率：22.13…％
…
……
花カテゴリの購買確率：39.53…％
ペット用品カテゴリの購買確率：80.94…％
…
コスメカテゴリの購買確率：76.25…％
コンタクトレンズカテゴリの購買確率：93.15…％
…
米の購買確率：30.54…％
水カテゴリの購買確率：76.13…％
…
モデルを使って
予測確率を計算
様々なカテゴリ毎に
ユーザー単位で購買確率を作成
ターゲティングにて利用
従来の人の手による手動の
セグメントと比較し、
CVRが2倍以上
経由流通が4倍以上に！

38. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
データPFの整備が非常に重要
DataPreparation
&Janitor-Work
DataAnalysis
&Using

39. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
アジェンダ
1. 自己紹介
2. Yahoo!ショッピングについて
3. Yahoo!ショッピングにおけるデータ利活用事例紹介
1. Yahoo!ショッピングのデータPF
2. Yahoo!ショッピングのデータドリブンへのアプローチ
4. 今後の展望

40. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
今後の展望
■データPF
■データ利活用

41. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
今後の展望
■データPF
ユーザープロファイルの更なる強化（Teradata Aster）
データ鮮度の向上、ストリーム化（Kafka/Storm）
ショッピングEDWのデータをシームレスに活用できる環境整備（Presto）
■データ利活用

42. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
今後の展望
■データPF
ユーザープロファイルの更なる強化（Teradata Aster）
データ鮮度の向上、ストリーム化（Kafka/Storm）
ショッピングEDWのデータをシームレスに活用できる環境整備（Presto）
■データ利活用
作成したユーザープロファイルを用いたパーソナライズ強化
MAに向けた取り組み
マルチビックデータ活用！（メディア×EC）

43. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.