More Related Content
More from Recruit Lifestyle Co., Ltd. (20)
リクルートライフスタイル全サービス横断のリアルタイムログ収集・可視化・分析基盤
- 1. CET – Capture EveryThing
全サービス横断リアルタイムログ収集・可視化・分析基盤
2015/9/25
吉田 啓二
ネットビジネス本部
ディベロップメントデザインユニット
アーキテクト2グループ
0
- 2. • 2007年4月〜:Webアプリケーション開発に従事
– 前職 & 前々職
• 地方銀行向け融資/営業支援システム
• クラウドファンディングASP
– リクルートグループ入社後
• サンカク https://sankak.jp/
• ホットペッパーグルメ http://www.hotpepper.jp/
• 2015年6月〜:リクルートライフスタイル全サービ
ス横断のリアルタイムログ収集・可視化・分析基盤
の構築プロジェクト(CETプロジェクト)へ参画
1
自己紹介
- 6. CET – Capture EveryThing
5
システム構成 – ph.1. リアルタイム収集・可視化
サービス サービス
管理者等
ELB Fluentd
Elasticsearch
Kibana
BigQuery
S3
Fluentd
Fluentd
Fluentd
Fluentd
- 8. CET – Capture EveryThing
7
システム構成 – ph.2. リアルタイム集計・分析
サービス サービス
管理者等
ELB Fluentd
Elasticsearch
Kibana
BigQuery
S3
KinesisSpark,EMRDynamoDBAPIELB
Fluentd
Fluentd
Fluentd
Fluentd
- 10. CET – Capture EveryThing
9
システム構成 – ストリーム処理部分
Fluentd S3Kinesis Spark
EMR
DynamoDB API
Fluentd SES
Spark
EMR
- 11. • SparkRをEC2上で動かして分散処理してみる |
Tech Blog | リクルートライフスタイル RECRUIT
LIFESTYLEhttp://engineer.recruit-
lifestyle.co.jp/techblog/2015-08-19-sparkr/
• 第4回 [データ分析編]“制約なし”で大規模デー
タ分析基盤を構築:リクルートライフスタイルの技
術力を追え!|gihyo.jp … 技術評論社
http://gihyo.jp/dev/serial/01/recruit-
lifestyle/0004
10
(補足)関連資料