クラウドにおけるビッグデータ分析環境

1 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
クラウドにおける
ビッグデータ分析環境
次世代データプラットフォームのデファクトスタンダードを提供する
オープンソースソフトウェア企業の世界的リーダー
ホートンワークスジャパン株式会社
マーケティングディレクター
北瀬公彦
2017-10-27 NetApp Webinar

免責事項
このプレゼンテーションは、情報提供のみを⽬的としています。 Hortonworksは、
このプレゼンテーションでの内容に注意を払っておりますが、掲載された情報の
内容の正確性については⼀切保証しません。

Agenda
Ã Hortonworksについて
Ã ビッグデータ・アナリティクスサービスの紹介（クラウド、OSS）
Ã AWS – Hortonworks
Ã Azure – Hortonworks
Ã IBM Cloud – Hortonworks
Ã お客様紹介

Hortonworks について

Hortonworks
創⽴ 2011年 Yahoo!のApache Hadoop
オリジナルチームのメンバー24 ⼈のエンジニアが設⽴
役員 CEO: ロブ・バーデン、COO:スコット・デイビッドソン
オープンソースソフトウェアへ100%コミット
Apache Hadoop プロジェクトへの貢献世界⼀
2011年創業、マイクロソフト社 (Azure HDInsight)と提携
2014年 9⽉⽇本法⼈ホートンワークスジャパン株式会社設⽴
12⽉ NASDAQ上場(NASDAQ: HDP)
2015年創業以来最速で売上$100Mを達成
Apache NiFiのOnyara社買収し、HDFを市場投⼊
2016年 Billingが$270M越す、HDC for AWSを市場投⼊
2016年 DellEMC社と提携
2017年 6⽉主⼒製品新版HDP 2.6、HDF 3.0を市場投⼊
6⽉ IBM社と提携
9⽉新製品・サービス HCPとDPSを市場投⼊
会社概要実績
次世代データプラットフォームのデファクトスタンダードを提供する
オープンソースソフトウェア企業の世界的リーダー
Billing実績 $ 270M （前年同期⽐ +62.7%）
売上実績 $ 184.5M（前年同期⽐ +51.4%）
$ 13.1
$ 18.1 $ 20.9
$ 25.6 $ 27.6
$ 31.0 $ 32.5
$ 35.6
$ 42.1
$ 45.8
$ 9.2
$ 11.9
$ 11.3
$ 11.9
$ 13.7
$ 12.6
$ 15.1
$ 16.4
$ 13.9
$ 16.0
Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2
2015 2016
2Q17/2Q16 Revenue Growth:
42% YoY
2016年度

Ã 設⽴
– 2014年9⽉
Ã オフィス
– 東京都千代⽥区永⽥町2-11-1
⼭王パークタワー3F
Ã 社員数
– 20名弱（2017年7⽉現在）
– Apache Spark、HBaseの書籍執筆者も在籍
– ⽇本初のApache NiFi コミッタ/PMCも在籍
Ã ビジネスモデル
– サブスクリプション（サポート）
– プロフェッショナルサービス
– トレーニング
Ã パートナー（エコモデル構築中）
– 12社の販売パートナーと
拡⼤するエコシステムパートナー
Ã お客様（急拡⼤中）
– ⾦融、保険、⾃動⾞、⼩売・卸売、通信、
サービスをはじめとした先進的なお客様

ホートンワークスが、ビッグデータウェアハウスのリーダーに選出
Ã オープンソースベースのデータウェアハウスソ
リューション
Ã あらゆる種類のデータから判断・⾏動のための
情報を提供
Ã 様々なエコシステムベンダーと連携可能
Ã 低コスト、スケーラブルなアーキテクチャ
Ã オンプレミス、クラウドなどあらゆるプラット
フォームに対応
Ã 分散ストレージ、分散処理機能、データ収集、
データガバナンス、サポートといった企業で必
要とされる機能を提供
Source: Forrester: The Forrester Wave™: Big Data Warehouse, Q2 2017
詳細はこちら: https://jp.hortonworks.com/info/big-data-solution-will-help-make-big-difference/

提供する製品、サービス、ソリューション
ソリューション
データウェアハウス
最適化ソリューション
IoT・ストリーミング
分析ソリューション
データサイエンス・機械学習
サイバーセキュリティー
オンプレミス
Hortonworks Data Suite
HDFHDP
クラウド
Hortonworks Data Cloud
AWS Azure
サービス
サブスクリプション
トレーニング
プロフェッショナルサービス
コミュニティ
HCP DPS IBM

次世代データアプリケーションを⽀えるプラットフォーム
INTERNET
OF
ANYTHING
蓄積されたデータ流れているデータ
セキュリティ脅威の監視
判断・行動の
ための情報
HDFHortonworks
DataFlow
HDPHortonworks
Data Platform
HCPHortonworks
Cybersecurity
Platform
次世代データアプリケーションÃ 最適な保健料⾦の選定システム
Ã 故障予測サービス
Ã サイバーセキュリティ
Ã スマートメータ連携システム
Ã レコメンドシステム
Ã その他、インダストリーアプリケーション

クラウドとOSS
ビッグデータ・アナリティクスサービスの紹介

Category OSS AWS Azure Google IBM
ETL NiFi, Sqoop, Flume, etc Amazon Data Pipeline Azure Data Factory
Azure Data Catalog
Cloud DataPrep Data Connect
メッセージング
システム
Kafka Amazon Kinesis Azure Event Hub Cloud Pub/Sub IBM Message Hub
ビッグデータ
分散処理
Hadoop
Spark
Amazon EMR Azure HDInsight Cloud DataProc
Cloud Dataflow
BigInsights for Apache
Hadoop
リアルタイム
データ処理
Storm Amazon Kinesis Azure Stream Analytics Streaming Analytics
NoSQL MongoDB, CouchDB,
HBase, Cassandra, etc
Amazon DynamoDB Azure CosmosDB
Azure Time Series
Insights
Cloud Datastore
Cloud BigTable
IBM Cloudant
データウェアハウス Hive / Druid Amazon Redshift Azure SQL
Datawarehouse
BigQuery IBM Db2 Warehouse
on Cloud
クエリエンジン Hive, Impala, Presto Amazon Athena Azure Data Lake
Analytics
BigQuery BigInsights for Apache
Hadoop (Subscription)
BI Superset, etc Amazon QuickSight PowerBI Google Data Studio Cognossなど、
UnmanagedなBI製品を
利用
データサイエンス Zeppelin
Jupyter Notebook
Amazon Machine
Learning
Azure Machine
Learning
Cloud DataLab IBM Data Science
Experience
マシーンラーニング Amazon Machine
Learning
Azure Machine
Learning
Cloud Machine
Learning Services
IBM Watson Machine
Learning
参考: https://ilyas-it83.github.io/CloudComparer/
クラウドサービスの紹介
ビッグデータ・アナリティクス
注意:
カバーできていない他のOSS、クラウドサービスもありますが、
作成者の視点により主要サービスのみカバーしています。

ストリーム
データ転送
分散
ファイル
システム
データ
ウェアハウス
Business
Intelligence
分散処理データ
サイエンス
バルク
データ転送
アドホック
クエリー
マシン
ラーニング
DB
DB
NoSQL
Sensor
Sensor
収集蓄積処理分析⽤データ可視化・分析・機械学習ソース
ビッグデータ分析のための
データパイプライン
リアルタイム
処理

NiFi, Kafka
HDFS Hive / Druid
Superset
Hadoop /
Spark ZeppelinSqoop
Hive QL / LLAP
Storm, Spark
Streaming
Spark MLlibな
どの機械学習
ライブラリを
使用して開発
DB
DB
Sensor
Sensor
ストリームデータ転送
バルクデータ転送
ビッグデータ関連OSSの紹介
OSS ビッグデータ・アナリティクス
注意:
カバーできていない他のOSSもありますが、
Mongo DB
HBase,
Cassandra

Amazon
Kinesis
Amazon
S3
Amazon
Redshift
Amazon
QuickSight
Amazon
EMR Amazon ML
Amazon
Data Pipeline
Amazon
Athena
Amazon ML
DB
DB
Amazon
DynamoDB
Sensor
Sensor
AWS ビッグデータ・アナリティクス
注意:
カバーできていないサービスもありますが、
Amazon
Kinesis
Analytics

Google
Cloud Pub/Sub
Google
Cloud Storage
Google
Datastore
Google
Data Studio
Google
Cloud
Dataproc
Google
Cloud Datalab
Google
Cloud
DataPrep
Google
BigQuery
Google
Cloud Datalab
DB
DB
Google
BigQuery
Google
BigTable
Sensor
Sensor
Google ビッグデータ・アナリティクス
注意:
Google
Cloud
Dataflow

Azure
Event Hub
Azure
Blob / ADLS
Azure
SQL Server
Data
warehouse
Azure
PowerBI
Azure ML
Azure Data
Factory
Azure Data
Lake Analytics
Azure
Streaming
Analytics
Azure ML
DB
DB
Azure
HDInsight
Sensor
Sensor
Azure ビッグデータ・アナリティクス
注意:
Azure
CosmoDB

IBM
Message Hub
IBM
Object Storage
IBM Db2
Warehouse
on Cloud
Cognossなど、
Unmanagedな
BI製品を利用
IBM Data
Science
Experience
IBM
Data Connect
それぞれの
サービスに
付属
IBM Watson
Machine
Learning
DB
DB
IBM
Cloudant
BigInsights for
Apache
Hadoop
Sensor
Sensor
IBM ビッグデータ・アナリティクス
注意:
IBM
Streaming
Analytics

NetApp Private Storageを利⽤した
ハイブリッドなビッグデータ・アナリティクス環境
Reference: https://blog.netapp.com/blogs/top-5-reasons-to-attend-strata-data-conference
IBM Cloud
IBM Cloud
HDP on IBM Cloud
Direct Link
HDP on Azure
Analytics Engine
(beta)

AWS – Hortonworks

AWS – Hortonworks
半マネージド（PaaS）
HDC for AWS
Ã HortonworksがMarket Placeにて提供
Ã コントローラーをデプロイ後、
クラスタをプロビジョニング
Ã プロビジョニング可能なクラスタ
– EDW-ETL (Apache Hive, Spark)
– BI (Druid)
– Data Sciense (Apache Spark, Zepellin)
– EDW-ETL (Apache Hive, Spark)
– EDW-analytics (Apache Hive LLAP, Spark)
Ã AWS S3を利⽤可能
アンマネージド（IaaS）
Hortonworks on AWS
Ã EC2上に展開
Ã BYOL
Ã サーバー環境を⾃社で管理
Ã 他のソフトウェアなどを
組み合わせてクラスタを構築可能
Ã オンプレミスと同⼀の環境に
構成可能
HDC: Hortonworks Data Cloud for AWS

Product Architecture
cloud
controller
(powered by Cloudbreak)
Master
Node
Worker
Node
Worker
Node
Worker
Node
Master
Node
Worker
Node
Worker
Node
Worker
Node
Master
Node
Worker
Node
Worker
Node
Worker
Node
HDP Cluster A
HDP Cluster B
HDP Cluster C
AMI-1 AMI-2 AMI-2 AMI-2 AMI-2
AMI-2 AMI-2 AMI-2 AMI-2
Docker

AWS Marketplace: Products
cloud
controller
(powered by Cloudbreak)
Master
Node
Worker
Node
Worker
Node
Worker
Node
Master
Node
Worker
Node
Worker
Node
Worker
Node
Master
Node
Worker
Node
Worker
Node
Worker
Node
HDP Cluster A
HDP Cluster B
HDP Cluster C
AMI-1 AMI-2 AMI-2 AMI-2 AMI-2
“HDP Services”
“Controller Service”

Launch the Cloud Controller
Launch Cloud Controller
(using CloudFormation)
BASIC:
- New EC2 Instance
- New Security Group
- Embedded database
- New VPC, Subnet
ADVANCED:
- New EC2 Instance
- New Security Group
- Existing RDS database
- Existing VPC, Subnet

Prescriptive, On-Demand, Ephemeral Workloads
Choice of
platforms
Early access
Latest
innovations

EASE OF USE: Manage all of your ephemeral
workloads from a convenient and easy to use
dashboard.

EASE OF USE: Choose from a set of pre-tuned and pre-
configured cluster types.

EASE OF USE: Prescriptive customization points
enable the operator to further tune the infrastructure
and cluster as required.

REDUCED OPERATIONAL EFFORT: Simplified choice of
cluster topologies enable automatic cluster repair,
reducing the burden on the operator.

CONTROL COSTS: Opportunistically leverage Spot and
Reserved Instances to control costs.

INTEGRATED NETWORK SECURITY: A built-in
Protected Gateway, along with advanced network
options, minimizes the network access points.

REDUCED OPERATIONAL EFFORT: Auto-scaling
enables the cluster to dynamically adjust to the
workload without operator input.

REDUCED OPERATIONAL EFFORT: An integrated and
powerful Command Line Interface (CLI) enables
automating cluster creation and management.

REDUCED OPERATIONAL EFFORT: Simplified cluster
controls and easy access to cluster resources.

SHARED METASTORE SERVICE: Reusable shared
metadata services provide consistent schema across
and in-between ephemeral workloads.

Azure – Hortonworks

Azure - Hortonworks
マネージド（PaaS）
Azure HDInsight
Ã HDPベースに開発
Ã R Serverとの連携
– Hadoop (Hive), HBase, Storm, Spark, Kafka,
Interactive Hive (LLAP), and R Server (with
R Studio, R 9.1).
Ã Azure Data Lakeや、
Azure Storageと連携可能
Hortonworks on Azure
Ã Azure VM上に展開
Ã BYOL
構成可能

Hortonworksから
⽀援を受けた場合は…

IBM Cloud - Hortonworks

IBM Cloud – Hortonworks
マネージド（PaaS）
IBM Analytics Engine (beta)
Ã HDPベースに開発
Ã Data Science Experienceとの連携
– Hadoop + Spark, Spark
Ã Object Storageの利⽤（S3, Swift)
Hortonworks on IBM Cloud
Ã 仮想・物理サーバーの利⽤
Ã BYOL
構成可能
Reference:
https://www.youtube.com/watch?v=kGkPmCY8nQw
https://www.ibm.com/blogs/bluemix/2017/09/ibm-analytics-engine-beta-goes-live/
2017-10-27: ベータステータス

お客様紹介

システム統合プロジェクトに伴うデータ分析基盤の刷新
Hadoopの活⽤で住環境の「安⼼・安全・快適」を⽬指す
Ã 5社システムの統合
Ã 基幹システムと情報システムの連携
Ã 住宅IoTデータへの対応
導⼊背景
Ã 低コストで⼤容量システムを構築
Ã ITガバナンスの管理実⾏
Ã 情報分析データ活⽤の検証
導⼊効果
システムアーキテクチャ
２つのシステム組み合わせ、双⽅の利点を活かすことで、⼤容量データを
効率的かつ安価に処理できる基盤を構築
HDP: 統計分析・機械学習などの⾼度な分析を拡張性が⾼く、低コストに実現
SAP HANA：超⾼速処理で業績管理を実現

u 稼働中のトラックのリアルタイムな情報を、お客様のPC端末でチェックできるサービス
u トラックから送られる⾞両情報を、三菱ふそうカスタマーアシスタンスセンターが受信し、お客様はインターネッ
ト上のトラックコネクト専⽤ページにアクセスするだけで、現在位置や運⾏状況を把握することが可能
出典: http://car.watch.impress.co.jp/docs/news/1059805.html
三菱ふそうトラック・バス株式会社様
⾞両センサーデータを活⽤し⾼付加価値サービスの実現
Azure HDInsightを利⽤したテレマティクス基盤
三菱ふそうトラック・バス株式会社でのシステムアーキテクチャー

Microsoft Office 365 MyAnalytics
参考:
https://www.slideshare.net/DataStax/webinar-microsoft-office-365-enhancing-customer-experience-at-global-scale-with-datastax-and-azure

統合データレイクの構築にHortonworksを採⽤
⽇産⾃動⾞株式会社様
Data Sources Big Data Platform Data Analytics
Platform
Data Integration
Platform
ESB
MLlib
Data Sources
Data Mgmt.
Platform
Data Integration
Platform
Data Sources for Analytics
Data Analytics
Platform
Hortonworks Data Platform
LLAP
Data Mart
AMQP
ETL
Ã ⾛⾏データを⻑期保管するための
インフラが必要
Ã サイロ化している社内データの統合
Ã さまざまなデータをクロスファンクショナル
に活⽤するためのプラットフォームが必要
導⼊背景
サイロ化されたデータをデータレイクに統合
導⼊効果
Ã 社内のあらゆるデータを蓄積できる
データレイクの構築を実現
Ã さまざまなデータ活⽤に対するニーズが向上
Ã IoT データ分析や、
グローバルデータレイクの構想

1 . .
4 .
4 .
. . E C
1 1/ . .
44 .
お問い合わせ先
TEL：03-6205-3284
住所: 東京都千代⽥区永⽥町2-11-1 ⼭王パークタワー3F
info-jp@hortonworks.com
http://jp.hortonworks.com

クラウドにおけるビッグデータ分析環境

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to クラウドにおけるビッグデータ分析環境

Similar to クラウドにおけるビッグデータ分析環境 (20)

More from Kimihiko Kitase

More from Kimihiko Kitase (20)

クラウドにおけるビッグデータ分析環境