Hortonworksが提供するデータ活用方法の紹介

1 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Hortonworksが提供する
データ活⽤⽅法の紹介
ビッグデータの収集、蓄積、分析プラットフォーム
ホートンワークスジャパン
北瀬公彦

北瀬公彦
KIMIHIKO KITAsE
http://blogs.itmedia.co.jp/kkitase
@kkitase
2016年6⽉、ホートンワークスジャパンに⼊社。
ビッグデータの収集、蓄積、分析基盤製品のマーケティ
ングを担当。⼊社前、⽶Data Science Dojoが開催する
データサイエンティスト養成講座に参加するも、全く畑
の違う分野で悪戦苦闘。開き直って、初⼼者に優しい
データの利活⽤術をお伝えしようと考えている。
facebook.com/kkitase

出所：第27回産業競争⼒会議 2016.5
政府は2016年5⽉19⽇、第27回
産業競争⼒会議を開催し、名⽬
国内総⽣産（GDP）600兆円に向
けた成⻑戦略（「⽇本再興戦略
2016」）の素案を公表しました。
新たな有望成⻑市場の創出では、
IoT・ビッグデータ・AI・ロボッ
トなどによる第４次産業⾰命の
実現で2020年には30兆円の付加
価値創出を⽬指しています。
⽇本再興戦略2016 〜第４次産業⾰命の実現〜

Hortonworks® の顧客は、新たなビジネス⽬標を達成する、コストを削減することのいずれか
の理由で当社の技術を利⽤しています。
Customer Journeyは、弊社が保持する多くのユースケースを案内する事によりお客様のニー
ズに応えます。
ソーシャル
マッピング
リスク評価
テレマト
リックス
ロス
コントロー
ル
コール分析
センサー
データ
製品設計 M & A
デューデリ
ジェンス
レコメン
デーション
サイバー
セキュリ
ティ
リスク
モデリング
リスクアペ
タイト
ロスコント
ロール
Cat
モデル
調査計画
⽀払い請求
深刻度
カスタマー
サポート
センチメン
ト分析
リスク分析
広告掲載
⽀払い請求
分析
セグメン
テーション
クロス
セル
顧客維持
代理店
スコアカー
ド
不正調査
運⽤コスト
削減
メインフ
レームのオ
フロード
履歴レコー
ド
サービス
としての
データ
パブリック
データ取得
不正予防
デバイス
データ
取り込み
⾼速レポー
ティング
デジタル
保護
不正緩和
⽀払い能⼒
分析

The Data Journey
to Safe Roads

Case Study
Progressiveʼs Journey
Progressiveは、IoTデータを元に「使⽤ベース」保険商品のリスク予
測を⾏いたい
Ã Progressive Snapshotは、⾞載センサーデバイスから運転データを送信し、
使⽤ベースの保険を提供
Ã ドライバーから収集された最⼤6ヶ⽉分のデータは、規制の要件に従い、数
年間アーカイブする必要がある
Ã Progressiveの既存のシステムでは、効率的にスケールすることができない
Ã 5⽇から7⽇かけても、UBIデータの25%しか流し込むことができない
*UBI – User Based Insurance

Progressiveʼs Journey
安全なドライバへの優遇と
交通安全の向上
Ã Snapshot plug-in デバイスは運転の詳
細を収集
Ã Progressiveは、1000万マイル以上の
運転データを保存 (約1600万Km）
Ã Webアプリ経由で、顧客は⾃⾝の運転
詳細を⾒ることができ、安全向上に努め
ることが可能
Ã Snapshotとusage-based insurance
は2014年には、Progressiveに2.6 億ド
ルの貢献（約273億円）
Innovate
Renovate
Safe Roads
Claims Notes
Mining
Individual
Driving
Histories
Usage-Based
Insurance (UBI)
Web Log
Analysis
Online Ad
Placement
Sensor Data
Ingest

The Data Journey
for Cyber Security

Symantec’s Journey
Analyzing Streaming Threat Data to Increase Velocity for Time to Protection
Ã Symantec™ Global Intelligence Network は、157カ国
で、5700万以上の攻撃を検知している
Ã 1億2000万以上のデバイス、7500万ユーザーからのデー
タストリーム
Ã 旧来のプラットフォームはデータ処理に3〜4時間かかって
いた

Symantec’s Journey
Digital Security
Metadata
Capture
Threat
Predictions
Attacker
Detection
Unified
Security
Security Log
Analysis
Threat
Archive
Device Data
Ingest
Threat
Detection
Greenplum
Offload
Innovate
Renovate
Data Science Speeds
Time to Protection
Ã 驚異検出時間が4時間から2秒に
Ã 防御回数が5000倍に
Ã 10ペタバイト以上のデータを
使って機械学習した結果、驚異
予測が可能に
Ã AmbariとCloudbreakを使って
クラスターを管理

Hortonworks - 急速な成⻑拡⼤：顧客数およびパートナー
Hadoopを早くから導⼊されたお客様も
Hortonworksのディストリビューションを採⽤
1,600を超えるエコシステムパートナー
Hortonworks テクノロジーパートナー
Hortonworksについて
• 100%オープンソース
• 会社設⽴3年⽬で株式公開
• 顧客数 800社以上（*2015年 Q4）
Connected Data Platforms のリーダ
• Hortonworks Data Platform - HDP：
さまざまなデータを保存する (data at rest)
• Hortonworks DataFlow - HDF：
リアルタイムのデータを扱う（data in motion）
• Powering new modern data applications：
モダンデータアプリケーションの活性
開発 & データツール
インフラストラクチャ
オペレーションツール
RDBMSEDWMPP
データシステム
分析ツール & アプリケーション
BusinessObj
ects BI
Microsoft Analytics
Platform System

Apache Communityへの貢献
コミッターの多くがHortonworksの社員です。
Apache Hadoop プロジェクトに関わるコミッター
の約1/3はHortonworksの社員です。Apache NiFiの
⼤半を始めとする多くの重要なプロジェクトに関
わっています。
コミッターはコネクティッド・データプラット
フォームを改良し、⾰新を続けています。
Hadoopのロードマップに関わっています。
コミュニティに対し、重要なリクワイアメントを⾔
える⽴場にいます。
1,500を超えるエコシステムパートナー
Hortonworks テクノロジーパートナー
専⾨家集団：開発に深く携わるコア・メンバーにより構成
Hortonworks はApache Community
に⾮常に深く関与しています。

Hortonworks が提供するソリューション
Connected Data Platform
• HadoopはData at Rest（蓄積されたデータ）の基礎
• IoTの登場により、Data in Motion（流れているデータ）の必要性
• モダンデータアプリケーションはData in MotionとData at Restの両
⽅のデータを利⽤してお客様の価値を最⼤化
• 最適な保険料⾦の選定システム
• 故障予測サービス
• サイバーセキュリティ
• その他のインダストリーアプリなど

データの蓄積、分析プラットフォーム
Hortonworks Data Platform (HDP)
YARN: Data Operating System
クリックストリームセンサーソーシャルモバイル位置情報サーバーログ
バッチインタラクティブサーチストリーミングマシンラーニング
既存データ

runs on
ETL
RDBMS Import/Export
Distributed Storage & Processing Framework
Secure NoSQL DB
SQL on HBase
NoSQL DB
Workflow Management
SQL
Streaming Data Ingestion
Cluster System Operations
Secure Gateway
Distributed Registry
ETL
Search & Indexing
Even Faster Data Processing
Data Management
Machine Learning
Hadoop Ecosystem

Hortonworks Data Platform

© Hortonworks Inc. 2011 – 2015. All Rights Reserved
HORTONWORKS DATA PLATFORM
Hadoop
&YARN
Flume
Oozie
HDP 2.3 is Apache Hadoop; not “based on” Hadoop
Pig
Hive
Tez
Sqoop
Cloudbreak
Ambari
Slider
Kafka
Knox
Solr
Zookeeper
Spark
Falcon
Ranger
HBase
Atlas
Accumulo
Storm
Phoenix
4.10.2
DATA MGMT DATA ACCESS GOVERNANCE & INTEGRATION OPERATIONS SECURITY
HDP 2.2
Dec 2014
HDP 2.1
April 2014
HDP 2.0
Oct 2013
HDP 2.2
Dec 2014
HDP 2.1
April 2014
HDP 2.0
Oct 2013
0.12.0 0.12.0
0.12.1 0.13.0 0.4.0
1.4.4 1.4.4 3.3.23.4.5
0.4.00.5.0
0.14.0 0.14.0 3.4.6 0.5.0 0.4.00.9.30.5.2
4.0.04.7.2
1.2.1 0.60.0 0.98.4 4.2.0 1.6.1 0.6.0 1.5.21.4.5 4.1.02.0.0
1.4.0 1.5.1 4.0.0
1.3.1
1.5.1 1.4.4 3.4.5
2.2.0
2.4.0
2.6.0
2.7.1 1.4.6 1.0.0 0.6.0 0.5.02.1.00.8.2 3.4.61.5.25.2.1 0.80.0 0.5.01.7.04.4.0 0.10.0 0.6.10.7.01.2.10.15.0
HDP 2.3
Oct 2015 4.2.0
0.96.1
0.98.0 0.9.1
0.8.1
1.4.1 1.1.2
2.7.3 1.4.6 1.3.0 0.9.0 0.6.02.4.00.10.0 3.4.61.5.25.5.1 0.91.0 0.7.01.7.04.7.0 1.0.1 0.10.00.7.0
1.2.1+
2.1***
0.16.0
HDP 2.5*
2H2016
4.2.0
1.6.2+
2.0**
1.1.2
2.7.1 1.4.6 1.2.0 0.6.0 0.5.02.2.10.9.0 3.4.61.5.25.2.1 0.80.0 0.5.01.7.04.4.0 0.10.0 0.6.10.7.01.2.10.15.0
HDP 2.4
Mar 2016 4.2.01.6.0 1.1.2
Zeppelin
Ongoing Innovation in Apache
0.6.0
* HDP 2.5 – Shows current Apache branches being used. Final component version subject to change based on Apache release process.
** Spark 1.6.2+ Spark 2.0 – HDP 2.5 support installation of both Spark 1.6.2 and Spark 2.0. Spark 2.0 is Technical Preview within HDP 2.5.
*** Hive 2.1 is Technical Preview within HDP 2.5.

Ambari（クラスタ管理）

Ambari（SQLクエリ）

Hive performance
http://hortonworks.com/blog/announcing-apache-hive-2-1-25x-faster-queries-much/
LLAP: http://www.slideshare.net/techblogyahoo/hivellap

Apache Zeppelin （データサイエンティスト向けUI）

Demonstration
Hortonworks Data Platform (HDP)
1. クラスタの管理 – Ambari （クラスタ管理）, Hive（Hadoop SQLエンジン）,
Ranger （監査）
2. オーストラリア州の納税額を使ったデータ分析 – Zeppelin （データ分析ツー
ル）

Hortonworks DataFlowとHortonworks Data Platformにより、
ビックデータ基盤のエンド・ツー・エンドソリューションを提供します。
Hortonworks Data
Platform
powered by Apache Hadoop
Hortonworks Data Platform
powered by Apache Hadoop
Enrich
Contex
t
Store Data
and
Metadata
Internet
of Anything
Hortonworks DataFlow
powered by Apache NiFi
動的・鮮度が
重要な⾒識
静的・過去データ
による⾒識
Connected Data Platform
データ収集プラットフォーム

Lambda (λ) Architecture

Ingestion
Simple Event
Processing
Engine
Complex Event
Processing
Destination
Data Bus
Build
Predictive Model
From Historical
Data
Deploy
Predictive Model
For Rea-time
Insights
Perishable
Insights
Historical
Lambda (λ) Architecture

Hortonworks DataFlow

過去8年間にNSAによっ
て開発
「NSAのイノベーターは、
考えられる中で最も困難
な国家安全保障の問題の
⼀部に取り組んだ」
「商業エンタープライズ
は、これを利⽤して地理
的に
離れたサイトからの情報
フローを迅速に制御、管
理、分析し、総合的な状
況認識を⽣み出すことが
できる」
-- NSAディレクター
Linda L. Burger⽒
国家安全保障局が開発したNiFi

130以上のシステムとの連携が可能
HTTP
Syslog
Email
HTML
Image
Hash Encrypt
Extract
TailMerge
Evaluate
Duplicate Execute
Scan
GeoEnrich
Replace
ConvertSplit
Translate
HL7
FTP
UDP
XML
SFTP
Route Content
Route Context
Route Text
Control Rate
Distribute Load
AMQP

Demonstration
Hortonworks DataFlow (HDF)
1. Twitterのリアルタイム分析 - NiFi, Solar

クラウド環境での利⽤ - Azure編

クラウド環境での利⽤ - AWS編
http://hortonworks.com/blog/quickly-launch-hortonworks-data-platform-amazon-
web-services/

クラウド環境での利⽤ - OpenStack編（Rakspace）

Hortonworksが提供する付加価値
Hortonworks の専⾨知識と経験
Apache Hadoop と Apache NiFiのオリジナルアーキテクトが
在籍
Annual Subscriptions
年間サブスクリプションの提供による、状況に柔軟な対応
Apache Committers
お客様からの要望を聞き、お客様が⽬的を達成するためのロー
ドマップ作成の協⼒
Expert Consulting & Training
お客様⾃⾝が実現可能なインテリジェンスをできるだけ効率よ
く培うことの⼿助け
Hortonworks SmartSense™
機械学習をベースとした提案型クラスター環境の
⾃動アドバイスサービス
Integrated Customer Portal
豊富なナレッジベースと、1000時間を超える
WEBベースのトレーニングコンテンツ
STORAGE
STORAGE
ARCHITECT
&
DEVELOP
DEPLOY
OPERATE
Projec
t 1
Projec
t 5
Projec
t 4
Projec
t 3
Projec
t 2
Projec
t 6
EXPAND
プロアクティブなサポート
ナレッジ
ベース
Integrated Customer
Portal
オンデマン
ド
トレーニン
グ
Customer
EnvironmentAny cloud • Hybrid Environment •
Multi-tenant
Hortonworks
SmartSense
ライフサイクルのサポート

Hortonworksを始める為の５ステップ
1. Hortonworksサンドボックスを試す
hortonworks.com/sandbox
2. チュートリアルを試す
hortonworks.com/tutorials
3. Future of Data 勉強会に参加する
futureofdata.connpass.com
4. Hortonworks Community Connect (HCC)に参加する
hortonworks.com/community
5. サポートサービスを検討する
http://hortonworks.com/support

26-27 OCTOBER
TOKYO, JAPAN
http://hadoopsummit.org/tokyo
只今、早期割引チケット販売中
お問い合わせ: kkitase@hortonworks.com

Hortonworksが提供するデータ活用方法の紹介

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (9)

Similar to Hortonworksが提供するデータ活用方法の紹介

Similar to Hortonworksが提供するデータ活用方法の紹介 (11)

More from Kimihiko Kitase

More from Kimihiko Kitase (20)

Recently uploaded

Recently uploaded (7)