SlideShare a Scribd company logo
1 of 57
Download to read offline
リクルートライフスタイルが
考える、万人に使ってもらえ
る分析基盤の作り方
PLAZMA Data Platform Day
#tdtech
2018/05/22
山田 雄
■山田 雄(ヤマダ ユウ)
株式会社 リクルートライフスタイル
ネットビジネス本部
データプラットフォームT
Twitter:@nii_yan
GitHub:https://github.com/yu-yamada
・以前はメールマーケティング用基盤の作成からデータ分析まで関わる
現在はリクルートライフスタイルの共通分析基盤の開発、運用全般を担当
ビックデータ、Ruby、お祭り、ビール、カップ焼きそばが好き。
自己紹介
会社紹介
データ分析基盤を作ってると
こういうことありませんか??
このサービスのデータも分析基盤に
連携して
ごめんなさい、今リソース不
足なんで、1ヶ月後に!
リアルタイムデータも分析できるよ
うにして欲しいんだけど!
ごめんなさい、検証から始め
ないとだから2ヶ月待って!
ちょっとどんなデータ入ってるか見
てみよう
select * from 巨大table limit 10;
パーティション指定しないとlimitつ
けてもフルスキャン走るんできちん
とパーティション指定して下さい!
いっちょcross joinでデータ取りま
すか!
結果何億件のデータが返ってくると思ってるの??
本当にこれ見る?Joinしてからデータ削るんじゃなくて、データ削って
からjoinしてくれる?
これのせいで、中間データでdisk食いつぶして他の処理落ちたんだけ
ど!!こいつのアカウントXXXしてぇ~
機械学習で結果出せて、表彰された
〜!賞金もゲット!
基盤があったからこそ出来た事なの
に、こっちは評価されない・・・
分析者(ユーザ)と
基盤運用者は衝突しがち
• データ分析基盤は使ってもらってなんぼ
• たくさん分析してもらって事業成果を上げてもらう
• たくさん分析してもらうには
 基盤を提供し続ける
 パフォーマンスを上げる
 データ品質を上げる
 新しいデータ連携の追加
 データ鮮度を保つ&上げる
データ分析基盤で提供したい価値
データを使ったビジネスの3大要素
きちんとみんなが使ってくれる基盤にす
るには、どうしたらよいだろう??
1.ユーザの
声を集める
(collect)
2.内容を精
査する
(confirm)
3.価値を創
造する
(create)
4.効果を検
証する
(check)
5.継続する
(continue)カスタマーセントリックで基盤を作る
1.ユーザの
声を集める
(collect)
2.内容を精
査する
(confirm)
3.価値を創
造する
(create)
4.効果を検
証する
(check)
5.継続する
(continue)
2.内容を精
査する
(confirm)
3.価値を創
造する
(create)
4.効果を検
証する
(check)
5.継続する
(continue)
1.ユーザの
声を集める
(collect)
人がシステムに合わせるのではなく、
システムが人に合わせる
なぜユーザーファーストにするのか
使ってくれる人がいないと分析基盤は継続しないから!
• とにかくユーザが使い易い基盤にする
• ユーザの声を常に聞ける環境を整える
• 攻めの基盤を作るのは信頼残高を築いてから!!
リクルートライフスタイルで取り組んでいること
• 問い合わせ用にslackのchannelを開設
• ユーザアンケートを行う
• 基盤を使う立場になる(マーケターに兼務で入る
など
• データを使うチームと同じグループになる
• 毎月メルマガ発行をする
• 社内散歩をする
などなどを行いユーザと仲良くする!
機械的に取れるユーザの声も集める
• どのテーブルがどのユーザ使われているか
• どのクエリが負荷が高いか
• どのユーザがどれぐらいクエリを投げているか
• ユーザクエリの平均レスポンスタイム
• 社内snsなどでの基盤に対する声
1.ユーザの
声を集める
(collect)
3.価値を創
造する
(create)
4.効果を検
証する
(check)
5.継続する
(continue)
2.内容を精
査する
(confirm)
ユーザの表面的な言動だけを捉えず、そ
の背後にあるユーザ自身も気づいていな
い本音(インサイト)を探り当てる。
精査の方法
• 対応時間でレベル分けをする
• すぐに対応できるものと、対応に時間がかかる
ものを織り交ぜて対応する
(きちんと対応している姿勢を見せるため)
• なんで、ユーザがその声をあげたのかwhyを考える
• 表面的な対応を繰り返さないため
2.内容を精
査する
(confirm)
1.ユーザの
声を集める
(collect)
4.効果を検
証する
(check)
5.継続する
(continue)
3.価値を創
造する
(create)
リクルートライフスタイルが考える、万人に使ってもらえる分析基盤の作り方
なぜ売上を上げないといけないか
売上を上げないと予算がつかないから!
• 分析基盤はとにかくお金がかかる
• 予算はほぼ毎年純増(データ量に相関する場合が多い
• 売上が上がれば予算がつき、より良い基盤が作れる
• さらに売上が上がるバッチを走らせられる
• ROIは計算しなくて良い
• インフラってそんなもんだと思います
• この基盤があるおかげでこんだけ売上の上がるバッチが
走ってるんだよ〜ぐらいで
運用コストを下げる
なぜ運用コストを下げたいのか
運用は人を幸せにしないから!
• キャパシティ管理をしなくていいように
• ビックデータ基盤で将来のデータ量予測はほぼ不可能
• 障害が起きた際に単純に再実行できるデータパイプ
ラインを作る
• 冪等性を担保する
• クラウドに任せるところは任せる
• 魔改造しない
• SLAを緩くする
分析の敷居をとにかく下げる
• ユーザが分析したい時にすでにデータはある状態に
• ユーザの使いやすいIFを用意
• 定期的にユーザ教育を実施
• いつでも見られるように動画コンテンツも用意
するなど
• どこにどんなデータがあるか一元的に管理
使いやすいIF例(chat bot)
bot
S3
redshift
Slackにつぶやくことによって、S3のデータをredshiftへloadしてくれるbotを用意
メタ情報を一元的に管理
3.価値を創
造する
(create)
2.内容を精
査する
(confirm)
1.ユーザの
声を集める
(collect)
5.継続する
(continue)
4.効果を検
証する
(check)
KPIを設計する
• ユーザアカウント数
• クエリの数
• 平均レスポンス時間
• テーブル数
• 障害数
• botの使用回数
これらの数字を毎週チーム全員で確認
4.効果を検
証する
(check)
3.価値を創
造する
(create)
2.内容を精
査する
(confirm)
1.ユーザの
声を集める
(collect)
5.継続する
(continue)
継続をするためには進化が出来る基盤に
しておく必要がある
DataLake構成
なぜDataLake構成にしておくのか
進化を続けられる基盤になれる
• 新しいDWHがどんどん出てきている
• 用途によって使いたいDWHは違う
• スケールアウト出来る分析基盤に対応
• サイズ制限からの解放
データレイクにしておくことによって、新しいエン
ジンや新しいニーズが出てきた際も柔軟に対応出来
る、進化を続ける基盤となれる
DataLakeの三段構成
Raw Normalized Mart
非構造データ
Rawデータ
TSVやParquetなど、
構造化されたデータ
使い易いようにマー
ト加工されたデータ
透明性のある湖に
常に透明性を持った基盤にしておく
データを情報に変えてより多くの
ユーザに動機と機会を提供する
1.ユーザの
声を集める
(collect)
2.内容を精
査する
(confirm)
3.価値を創
造する
(create)
4.効果を検
証する
(check)
5.継続する
(continue)一時的で終わらないサイクルを
リクルートライフスタイルの分析基盤
リクルートライフスタイルが持つデータ
HPB HPG
JLN
事業データ
CSV
外部データ
S3
Redshift
Redshift (mirror)
BigQuery
Cloud Storage
アクセスログ
アプリログ Treasure Data
ORACLE
Exadata
リクルートライフスタイルのデータ分析基盤
入力 出力処理
データ利活用の3大要素
HPB HPG
JLN
事業データ
CSV
外部データ
S3
Redshift
Redshift (mirror)
BigQuery
Cloud Storage
アクセスログ
アプリログ Treasure Data
ORACLE
Exadata
入力 出力処理
リクルートライフスタイルのデータ分析基盤
BigQuery
Cloud Storage
アプリログ Treasure Data
ExaData
CSV
外部データ
S3
Redshift
Redshift (mirror)
アクセスログ
ORACLE
Exadata
事業データ
HPB HPG
JLN
BigQuery
Cloud Storage
アプリログ Treasure Data
Redshift
ORACLE
Exadata
CSV
外部データ
S3
Redshift
Redshift (mirror)
アクセスログ
事業データ
HPB HPG
JLN
Redshift Spectrumの活用
S3
DB1
DB3
DB2
AWS Glue
lambda
Redshift
S3
Redshift
Redshift
TSV Parquet
ファイルサイズ大
ファイルサイズ小
S3のObjectを直接参照出来るSpectrumを使用するこ
とで、クラスタサイズの圧縮を行い、用途毎にクラス
タを立てることで、ユーザの利便性を上げる
Redshift
Redshift (mirror)
アプリログ Treasure Data
BigQuery
ORACLE
Exadata
CSV
外部データ
S3
アクセスログ
事業データ
HPB HPG
JLN
BigQuery
Cloud Storage
BigQueryへのロード
Redshift
Redshift (mirror)
TreasureData
ORACLE
Exadata
CSV
外部データ
S3
アクセスログ
事業データ
HPB HPG
JLN
BigQuery
Cloud Storage
アプリログ Treasure Data
TreasureData ETL
Treasure Data
Redshift
BigQuery
外部サービスとの連携用にもTreasureDataを使用
行動ログデータや事業データの
レコード総数
約4,500億件
ユーザアカウント数
1,200
クエリ数
20,000/day
テーブル数(データマートも含む)
約4,000
利用状況
カスタマーセントリックで
透明性のある基盤を
継続して提供しましょう
一緒にデータ基盤作ってくれる人募集中!!!

More Related Content

What's hot

データ基盤に関わる問い合わせ対応を仕組みで解決する
データ基盤に関わる問い合わせ対応を仕組みで解決するデータ基盤に関わる問い合わせ対応を仕組みで解決する
データ基盤に関わる問い合わせ対応を仕組みで解決する株式会社MonotaRO Tech Team
 
比較サイトの検索改善(SPA から SSR に変換)
比較サイトの検索改善(SPA から SSR に変換)比較サイトの検索改善(SPA から SSR に変換)
比較サイトの検索改善(SPA から SSR に変換)gree_tech
 
プロが解説!Hinemosによる運用管理テクニック!
プロが解説!Hinemosによる運用管理テクニック!プロが解説!Hinemosによる運用管理テクニック!
プロが解説!Hinemosによる運用管理テクニック!hinemos_atomitech
 
これからはじめるインフラエンジニア
これからはじめるインフラエンジニアこれからはじめるインフラエンジニア
これからはじめるインフラエンジニア外道 父
 
NTTデータ流Infrastructure as Code~ 大規模プロジェクトを通して考え抜いた基盤自動化の新たな姿~(NTTデータ テクノロジーカンフ...
NTTデータ流Infrastructure as Code~ 大規模プロジェクトを通して考え抜いた基盤自動化の新たな姿~(NTTデータ テクノロジーカンフ...NTTデータ流Infrastructure as Code~ 大規模プロジェクトを通して考え抜いた基盤自動化の新たな姿~(NTTデータ テクノロジーカンフ...
NTTデータ流Infrastructure as Code~ 大規模プロジェクトを通して考え抜いた基盤自動化の新たな姿~(NTTデータ テクノロジーカンフ...NTT DATA Technology & Innovation
 
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)NTT DATA Technology & Innovation
 
AWSで動画共有サイトを作成して全社に公開
AWSで動画共有サイトを作成して全社に公開AWSで動画共有サイトを作成して全社に公開
AWSで動画共有サイトを作成して全社に公開ToruKubota4
 
組織の問題も解決するアーキテクチャ BackendsForFrontends
組織の問題も解決するアーキテクチャ BackendsForFrontends組織の問題も解決するアーキテクチャ BackendsForFrontends
組織の問題も解決するアーキテクチャ BackendsForFrontendsPIXTA Inc.
 
オープンソースNW監視ツールのご紹介
オープンソースNW監視ツールのご紹介オープンソースNW監視ツールのご紹介
オープンソースNW監視ツールのご紹介OSSラボ株式会社
 
MySQL・PostgreSQLだけで作る高速あいまい全文検索システム
MySQL・PostgreSQLだけで作る高速あいまい全文検索システムMySQL・PostgreSQLだけで作る高速あいまい全文検索システム
MySQL・PostgreSQLだけで作る高速あいまい全文検索システムKouhei Sutou
 
MQTTとAMQPと.NET
MQTTとAMQPと.NETMQTTとAMQPと.NET
MQTTとAMQPと.NETterurou
 
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望Yahoo!デベロッパーネットワーク
 
SQLおじさん(自称)がBigQueryのStandard SQLを使ってみた
SQLおじさん(自称)がBigQueryのStandard SQLを使ってみたSQLおじさん(自称)がBigQueryのStandard SQLを使ってみた
SQLおじさん(自称)がBigQueryのStandard SQLを使ってみたKumano Ryo
 
ログ解析基盤におけるストリーム処理パイプラインについて
ログ解析基盤におけるストリーム処理パイプラインについてログ解析基盤におけるストリーム処理パイプラインについて
ログ解析基盤におけるストリーム処理パイプラインについてcyberagent
 
Zabbixのパフォーマンスチューニング & インストール時の注意点
Zabbixのパフォーマンスチューニング & インストール時の注意点Zabbixのパフォーマンスチューニング & インストール時の注意点
Zabbixのパフォーマンスチューニング & インストール時の注意点Kodai Terashima
 
リクルートライフスタイル流!分析基盤との賢い付き合い方
リクルートライフスタイル流!分析基盤との賢い付き合い方リクルートライフスタイル流!分析基盤との賢い付き合い方
リクルートライフスタイル流!分析基盤との賢い付き合い方Recruit Lifestyle Co., Ltd.
 
DNS移転失敗体験談
DNS移転失敗体験談DNS移転失敗体験談
DNS移転失敗体験談oheso tori
 

What's hot (20)

データ基盤に関わる問い合わせ対応を仕組みで解決する
データ基盤に関わる問い合わせ対応を仕組みで解決するデータ基盤に関わる問い合わせ対応を仕組みで解決する
データ基盤に関わる問い合わせ対応を仕組みで解決する
 
比較サイトの検索改善(SPA から SSR に変換)
比較サイトの検索改善(SPA から SSR に変換)比較サイトの検索改善(SPA から SSR に変換)
比較サイトの検索改善(SPA から SSR に変換)
 
プロが解説!Hinemosによる運用管理テクニック!
プロが解説!Hinemosによる運用管理テクニック!プロが解説!Hinemosによる運用管理テクニック!
プロが解説!Hinemosによる運用管理テクニック!
 
これからはじめるインフラエンジニア
これからはじめるインフラエンジニアこれからはじめるインフラエンジニア
これからはじめるインフラエンジニア
 
Oss貢献超入門
Oss貢献超入門Oss貢献超入門
Oss貢献超入門
 
NTTデータ流Infrastructure as Code~ 大規模プロジェクトを通して考え抜いた基盤自動化の新たな姿~(NTTデータ テクノロジーカンフ...
NTTデータ流Infrastructure as Code~ 大規模プロジェクトを通して考え抜いた基盤自動化の新たな姿~(NTTデータ テクノロジーカンフ...NTTデータ流Infrastructure as Code~ 大規模プロジェクトを通して考え抜いた基盤自動化の新たな姿~(NTTデータ テクノロジーカンフ...
NTTデータ流Infrastructure as Code~ 大規模プロジェクトを通して考え抜いた基盤自動化の新たな姿~(NTTデータ テクノロジーカンフ...
 
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
 
AWSで動画共有サイトを作成して全社に公開
AWSで動画共有サイトを作成して全社に公開AWSで動画共有サイトを作成して全社に公開
AWSで動画共有サイトを作成して全社に公開
 
組織の問題も解決するアーキテクチャ BackendsForFrontends
組織の問題も解決するアーキテクチャ BackendsForFrontends組織の問題も解決するアーキテクチャ BackendsForFrontends
組織の問題も解決するアーキテクチャ BackendsForFrontends
 
オープンソースNW監視ツールのご紹介
オープンソースNW監視ツールのご紹介オープンソースNW監視ツールのご紹介
オープンソースNW監視ツールのご紹介
 
MySQL・PostgreSQLだけで作る高速あいまい全文検索システム
MySQL・PostgreSQLだけで作る高速あいまい全文検索システムMySQL・PostgreSQLだけで作る高速あいまい全文検索システム
MySQL・PostgreSQLだけで作る高速あいまい全文検索システム
 
MQTTとAMQPと.NET
MQTTとAMQPと.NETMQTTとAMQPと.NET
MQTTとAMQPと.NET
 
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
 
LXDのすすめ
LXDのすすめLXDのすすめ
LXDのすすめ
 
SQLおじさん(自称)がBigQueryのStandard SQLを使ってみた
SQLおじさん(自称)がBigQueryのStandard SQLを使ってみたSQLおじさん(自称)がBigQueryのStandard SQLを使ってみた
SQLおじさん(自称)がBigQueryのStandard SQLを使ってみた
 
ログ解析基盤におけるストリーム処理パイプラインについて
ログ解析基盤におけるストリーム処理パイプラインについてログ解析基盤におけるストリーム処理パイプラインについて
ログ解析基盤におけるストリーム処理パイプラインについて
 
PostgreSQL Query Cache - "pqc"
PostgreSQL Query Cache - "pqc"PostgreSQL Query Cache - "pqc"
PostgreSQL Query Cache - "pqc"
 
Zabbixのパフォーマンスチューニング & インストール時の注意点
Zabbixのパフォーマンスチューニング & インストール時の注意点Zabbixのパフォーマンスチューニング & インストール時の注意点
Zabbixのパフォーマンスチューニング & インストール時の注意点
 
リクルートライフスタイル流!分析基盤との賢い付き合い方
リクルートライフスタイル流!分析基盤との賢い付き合い方リクルートライフスタイル流!分析基盤との賢い付き合い方
リクルートライフスタイル流!分析基盤との賢い付き合い方
 
DNS移転失敗体験談
DNS移転失敗体験談DNS移転失敗体験談
DNS移転失敗体験談
 

Similar to リクルートライフスタイルが考える、万人に使ってもらえる分析基盤の作り方

オンプレ、クラウドを組み合わせて作るビックデータ基盤 データ基盤の選び方
オンプレ、クラウドを組み合わせて作るビックデータ基盤  データ基盤の選び方オンプレ、クラウドを組み合わせて作るビックデータ基盤  データ基盤の選び方
オンプレ、クラウドを組み合わせて作るビックデータ基盤 データ基盤の選び方Yu Yamada
 
Google cloudnext recap_DataAnalytics
Google cloudnext recap_DataAnalyticsGoogle cloudnext recap_DataAnalytics
Google cloudnext recap_DataAnalyticsYu Yamada
 
Step functionsとaws batchでオーケストレートするイベントドリブンな機械学習基盤
Step functionsとaws batchでオーケストレートするイベントドリブンな機械学習基盤Step functionsとaws batchでオーケストレートするイベントドリブンな機械学習基盤
Step functionsとaws batchでオーケストレートするイベントドリブンな機械学習基盤Recruit Lifestyle Co., Ltd.
 
Step functionsとaws batchでオーケストレートするイベントドリブンな機械学習基盤
Step functionsとaws batchでオーケストレートするイベントドリブンな機械学習基盤Step functionsとaws batchでオーケストレートするイベントドリブンな機械学習基盤
Step functionsとaws batchでオーケストレートするイベントドリブンな機械学習基盤Yu Yamada
 
リクルートライフスタイルの売上を支える共通分析基盤
リクルートライフスタイルの売上を支える共通分析基盤リクルートライフスタイルの売上を支える共通分析基盤
リクルートライフスタイルの売上を支える共通分析基盤Yu Yamada
 
リクルートライフスタイルの売上を支える共通分析基盤
リクルートライフスタイルの売上を支える共通分析基盤 リクルートライフスタイルの売上を支える共通分析基盤
リクルートライフスタイルの売上を支える共通分析基盤 Recruit Lifestyle Co., Ltd.
 
データファースト開発
データファースト開発データファースト開発
データファースト開発Katsunori Kanda
 
匠Methodをサポートする事業開発に役立つ書籍たちを紹介します
匠Methodをサポートする事業開発に役立つ書籍たちを紹介します匠Methodをサポートする事業開発に役立つ書籍たちを紹介します
匠Methodをサポートする事業開発に役立つ書籍たちを紹介しますHaruo Sato
 
構造化データをツールで簡単に分析
構造化データをツールで簡単に分析構造化データをツールで簡単に分析
構造化データをツールで簡単に分析Yoshitaka Seo
 
チャットボットの自然言語処理
チャットボットの自然言語処理チャットボットの自然言語処理
チャットボットの自然言語処理Yoshitaka Seo
 
Web-Gakkai Symposium 2010
Web-Gakkai Symposium 2010Web-Gakkai Symposium 2010
Web-Gakkai Symposium 2010Naoya Ito
 
ビジネスマネージャとデータ分析
ビジネスマネージャとデータ分析ビジネスマネージャとデータ分析
ビジネスマネージャとデータ分析TOSHI STATS Co.,Ltd.
 
デジタル時代の競争戦略を支える次世代データプラットフォーム
デジタル時代の競争戦略を支える次世代データプラットフォームデジタル時代の競争戦略を支える次世代データプラットフォーム
デジタル時代の競争戦略を支える次世代データプラットフォームNatsumi Yotsumoto
 
IoTゴミ箱作って運用してみた.pptx
IoTゴミ箱作って運用してみた.pptxIoTゴミ箱作って運用してみた.pptx
IoTゴミ箱作って運用してみた.pptxYasuhira Chiba
 
Jupyter だけで機械学習を実サービス展開できる基盤
Jupyter だけで機械学習を実サービス展開できる基盤Jupyter だけで機械学習を実サービス展開できる基盤
Jupyter だけで機械学習を実サービス展開できる基盤Recruit Lifestyle Co., Ltd.
 
Dataflow(python)を触った所感
Dataflow(python)を触った所感Dataflow(python)を触った所感
Dataflow(python)を触った所感Ryo Yamaoka
 
オープンデータで実現する作文測定分析のシステム構成
オープンデータで実現する作文測定分析のシステム構成オープンデータで実現する作文測定分析のシステム構成
オープンデータで実現する作文測定分析のシステム構成yamahige
 
20150905 stream analytics
20150905 stream analytics20150905 stream analytics
20150905 stream analytics一希 大田
 
(道具としての)データサイエンティストのつかい方
(道具としての)データサイエンティストのつかい方(道具としての)データサイエンティストのつかい方
(道具としての)データサイエンティストのつかい方Shohei Hido
 

Similar to リクルートライフスタイルが考える、万人に使ってもらえる分析基盤の作り方 (20)

オンプレ、クラウドを組み合わせて作るビックデータ基盤 データ基盤の選び方
オンプレ、クラウドを組み合わせて作るビックデータ基盤  データ基盤の選び方オンプレ、クラウドを組み合わせて作るビックデータ基盤  データ基盤の選び方
オンプレ、クラウドを組み合わせて作るビックデータ基盤 データ基盤の選び方
 
Google cloudnext recap_DataAnalytics
Google cloudnext recap_DataAnalyticsGoogle cloudnext recap_DataAnalytics
Google cloudnext recap_DataAnalytics
 
Step functionsとaws batchでオーケストレートするイベントドリブンな機械学習基盤
Step functionsとaws batchでオーケストレートするイベントドリブンな機械学習基盤Step functionsとaws batchでオーケストレートするイベントドリブンな機械学習基盤
Step functionsとaws batchでオーケストレートするイベントドリブンな機械学習基盤
 
Step functionsとaws batchでオーケストレートするイベントドリブンな機械学習基盤
Step functionsとaws batchでオーケストレートするイベントドリブンな機械学習基盤Step functionsとaws batchでオーケストレートするイベントドリブンな機械学習基盤
Step functionsとaws batchでオーケストレートするイベントドリブンな機械学習基盤
 
リクルートライフスタイルの売上を支える共通分析基盤
リクルートライフスタイルの売上を支える共通分析基盤リクルートライフスタイルの売上を支える共通分析基盤
リクルートライフスタイルの売上を支える共通分析基盤
 
リクルートライフスタイルの売上を支える共通分析基盤
リクルートライフスタイルの売上を支える共通分析基盤 リクルートライフスタイルの売上を支える共通分析基盤
リクルートライフスタイルの売上を支える共通分析基盤
 
データファースト開発
データファースト開発データファースト開発
データファースト開発
 
匠Methodをサポートする事業開発に役立つ書籍たちを紹介します
匠Methodをサポートする事業開発に役立つ書籍たちを紹介します匠Methodをサポートする事業開発に役立つ書籍たちを紹介します
匠Methodをサポートする事業開発に役立つ書籍たちを紹介します
 
構造化データをツールで簡単に分析
構造化データをツールで簡単に分析構造化データをツールで簡単に分析
構造化データをツールで簡単に分析
 
チャットボットの自然言語処理
チャットボットの自然言語処理チャットボットの自然言語処理
チャットボットの自然言語処理
 
Web-Gakkai Symposium 2010
Web-Gakkai Symposium 2010Web-Gakkai Symposium 2010
Web-Gakkai Symposium 2010
 
ビジネスマネージャとデータ分析
ビジネスマネージャとデータ分析ビジネスマネージャとデータ分析
ビジネスマネージャとデータ分析
 
デジタル時代の競争戦略を支える次世代データプラットフォーム
デジタル時代の競争戦略を支える次世代データプラットフォームデジタル時代の競争戦略を支える次世代データプラットフォーム
デジタル時代の競争戦略を支える次世代データプラットフォーム
 
Trat_sprint1
Trat_sprint1Trat_sprint1
Trat_sprint1
 
IoTゴミ箱作って運用してみた.pptx
IoTゴミ箱作って運用してみた.pptxIoTゴミ箱作って運用してみた.pptx
IoTゴミ箱作って運用してみた.pptx
 
Jupyter だけで機械学習を実サービス展開できる基盤
Jupyter だけで機械学習を実サービス展開できる基盤Jupyter だけで機械学習を実サービス展開できる基盤
Jupyter だけで機械学習を実サービス展開できる基盤
 
Dataflow(python)を触った所感
Dataflow(python)を触った所感Dataflow(python)を触った所感
Dataflow(python)を触った所感
 
オープンデータで実現する作文測定分析のシステム構成
オープンデータで実現する作文測定分析のシステム構成オープンデータで実現する作文測定分析のシステム構成
オープンデータで実現する作文測定分析のシステム構成
 
20150905 stream analytics
20150905 stream analytics20150905 stream analytics
20150905 stream analytics
 
(道具としての)データサイエンティストのつかい方
(道具としての)データサイエンティストのつかい方(道具としての)データサイエンティストのつかい方
(道具としての)データサイエンティストのつかい方
 

More from Yu Yamada

ここがつらいよAws batch
ここがつらいよAws batchここがつらいよAws batch
ここがつらいよAws batchYu Yamada
 
やってはいけない空振りDelete
やってはいけない空振りDeleteやってはいけない空振りDelete
やってはいけない空振りDeleteYu Yamada
 
kafkaのデータをRedshiftへ入れるパイプライン作ってみた
kafkaのデータをRedshiftへ入れるパイプライン作ってみたkafkaのデータをRedshiftへ入れるパイプライン作ってみた
kafkaのデータをRedshiftへ入れるパイプライン作ってみたYu Yamada
 
Uuidはどこまでuuidか試してみた
Uuidはどこまでuuidか試してみたUuidはどこまでuuidか試してみた
Uuidはどこまでuuidか試してみたYu Yamada
 
リクルートライフスタイルのデータを支える技術
リクルートライフスタイルのデータを支える技術リクルートライフスタイルのデータを支える技術
リクルートライフスタイルのデータを支える技術Yu Yamada
 
オンプレとクラウドのHadoopを比較して僕の思うとこ
オンプレとクラウドのHadoopを比較して僕の思うとこオンプレとクラウドのHadoopを比較して僕の思うとこ
オンプレとクラウドのHadoopを比較して僕の思うとこYu Yamada
 
僕の考える最強のビックデータエンジニア
僕の考える最強のビックデータエンジニア僕の考える最強のビックデータエンジニア
僕の考える最強のビックデータエンジニアYu Yamada
 
CDH4->5 update苦労話
CDH4->5 update苦労話CDH4->5 update苦労話
CDH4->5 update苦労話Yu Yamada
 

More from Yu Yamada (8)

ここがつらいよAws batch
ここがつらいよAws batchここがつらいよAws batch
ここがつらいよAws batch
 
やってはいけない空振りDelete
やってはいけない空振りDeleteやってはいけない空振りDelete
やってはいけない空振りDelete
 
kafkaのデータをRedshiftへ入れるパイプライン作ってみた
kafkaのデータをRedshiftへ入れるパイプライン作ってみたkafkaのデータをRedshiftへ入れるパイプライン作ってみた
kafkaのデータをRedshiftへ入れるパイプライン作ってみた
 
Uuidはどこまでuuidか試してみた
Uuidはどこまでuuidか試してみたUuidはどこまでuuidか試してみた
Uuidはどこまでuuidか試してみた
 
リクルートライフスタイルのデータを支える技術
リクルートライフスタイルのデータを支える技術リクルートライフスタイルのデータを支える技術
リクルートライフスタイルのデータを支える技術
 
オンプレとクラウドのHadoopを比較して僕の思うとこ
オンプレとクラウドのHadoopを比較して僕の思うとこオンプレとクラウドのHadoopを比較して僕の思うとこ
オンプレとクラウドのHadoopを比較して僕の思うとこ
 
僕の考える最強のビックデータエンジニア
僕の考える最強のビックデータエンジニア僕の考える最強のビックデータエンジニア
僕の考える最強のビックデータエンジニア
 
CDH4->5 update苦労話
CDH4->5 update苦労話CDH4->5 update苦労話
CDH4->5 update苦労話
 

リクルートライフスタイルが考える、万人に使ってもらえる分析基盤の作り方

Editor's Notes

  1. ユーザの
  2. ビジネス、データエンジニアリング、データサイエンスの役割の人が連携しながらビジネスを作り上げている 私がいるのは、データエンジニアリング ビジネスやデータサイエンスの人にいっぱい使ってもらう
  3. マーケティング手法 社内でいかに使ってもらえるかというのは、まさにマーケティング ユーザの声を中心に置き、戦略や戦術を決定 5つのCモデルで分析基盤の継続を行う
  4. 会社によって、ユーザのレベルは様々、ベストな環境など存在しない
  5. ユーザが使い易い基盤を作らないと、あそこ使いにくいから独自で作ろうという子になり、同じような基盤が社内でいっぱいできたりする
  6. 売り上げをあげることを考えましょう
  7. 透明性とは、正しい情報が1カ所に整理してあり、次の行動が誘発されること データはただ貯めるだけだと、誰も使わないゴミが溜まっていき、湖は沼になる
  8. 会社のキックオフでも言われた言葉 メタデータの管理を徹底し常にデータを使える状態にしておく
  9. ユーザの声を中心に置き、戦略や戦術を決定 5つのCモデルで分析基盤の継続を行う
  10. ビジネス課題を解決するためのデータを提供しています
  11. DBLinkで直接 他会社のExaと冗長性 Oracleホスティング
  12. TreasureDataに入れた後に、redshiftへ連携も行っている
  13. TreasureDataに入れた後に、redshiftへ連携も行っている
  14. 営業の人なども使っている