Apache SparkのデータストアとしてOracle Cloud Infrastructure オブジェクトストレージサービスを使った場合のメリットや構成についての概説資料

1. Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
オブジェクトストレージとApache Sparkでつくる
分析基盤
2019年1月16日
日本オラクル株式会社
IaaSソリューション部
園田憲一

2. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. |
Modern Data Lake
2
Object
Storage
On-premise
Oracle Cloud
Infrastructure

3. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. |
アーキテクチャ
3
Compute
Block/NVMe
データ
処理層
データ
蓄積層
Hadoopクラスタ
Object Storage
分離
Compute Compute Compute
Sparkクラスタ
データ
処理層
データ
蓄積層
蜜結合モデル
データ処理部(Compute)とデータ蓄積部
(Block/NVMe)のセット複数台から構成
Compute Compute
疎結合モデル
データ処理部(Compute)とデータ蓄積部(オブ
ジェクトストレージ)がそれぞれ独立した構成
+ オブジェクトストレージ
セット セット セット

4. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. |
ソフトウェアスタック
4
Compute
Block/NVMe
データ
処理層
データ
蓄積層
Hadoopクラスタ
Object Storage
分離
Compute Compute Compute
Sparkクラスタ
データ
処理層
データ
処理層
蜜結合モデル
データ処理部(MapReduce)とデータ蓄積層
HDFSはセットで稼働
Compute Compute
疎結合モデル
データ処理層(Spark)とデータ蓄積部(オブジェク
トストレージ)がそれぞれ独立して稼働
+ オブジェクトストレージ
MapReduce
HDFS
Spark

5. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | 5
オブジェクトストレージ ＋ Sparkのメリット
①オブジェクトストレージ+ Spark
Hadoopより 運用、管理が柔軟
②Spark
MapReduceより高速
③Object Storage
HDFSより低コスト
Object Storage

6. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. |
⚫ データ処理層と蓄積層を個別にスケールアップ・ス
ケールアウトできない
⚫ データ蓄積層の容量計画、容量監視が必要、容量不
足時は拡張作業が必要
⚫ 全てのインスタンスを常に起動しておく必要がある(分
析処理をしない時もデータ蓄積のため)
⚫ データ処理層と蓄積層を個別にスケールアップ・ス
ケールアウト可能
⚫ データ蓄積層の容量計画、容量監視は不要(Object
Storageはoracleが運用管理)
⚫ 分析が不要な時はComputeを停止し課金をセーブ
運用、管理面のメリット(1)
6
Compute
Block/NVMe
Compute
Block/NVMe
Compute
Block/NVMe Compute
Block/NVMe
Computeとスト
レージをセット
で拡張する必要
がある
Object
Storage
スケールアウト
Computeとスト
レージは個別
にスケール、
メンテナンス
①オブジェクトストレージ+ Spark
Hadoopより 運用、管理が柔軟

7. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. |
⚫ 複数のクラスタ間でのデータ共有ができない
⚫ データレプリケーションの運用が必要、倍のデータ
を運用
⚫ 運用コスト、サービス利用コストの増大
⚫ 複数のクラスタ間でデータ共有が可能
⚫ 余分なデータを持つことなく、オブジェクトストレージ
上のデータを共有
⚫ データレイクの統合も可能なアーキテクチャ
運用、管理面のメリット(2)
7
Compute
Block/NVMe
Compute
Block/NVMe
Compute
Block/NVMe
Object
Storage
Compute
Block/NVMe
Compute
Block/NVMe
Compute
Block/NVMe
データをレプリケーションが必要
部署Aのクラスタ 部署Bのクラスタ 部署Aのクラスタ 部署Bのクラスタ
オブジェクトストレージを共有
①オブジェクトストレージ+ Spark
Hadoopより 運用、管理が柔軟

8. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. |
• ジョブ間のデータの受け渡しの度にHDFSへのIO
が発生
• 全体の処理時間のうち大部分をIO処理が占める
ことになる
MapReduceの課題
8
HDFS(Disk)
ジョブ1 ジョブ2 ジョブ3
データ データ
IO IO IO IO
ジョブが多段に構成されている場合
ジョブ1
ジョブ2
HDFS(Disk)
データ
ジョブ3
• 何度も利用するデータを効率的に扱う仕組みが
ないため都度データの読み出しの待ち時間が必
要となる
複数のジョブで何度も同じデータを利用する場合
IO
IO
IO
②Spark
MapReduceより高速

9. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. |
メモリメモリ
SparkはMapReduceよりも高速
9
ジョブ ジョブ ジョブ
データ データ
高速
IO
ジョブが多段に構成されている場合
ジョブ
ジョブ
データ
ジョブ
複数のジョブで何度も同じデータを利用する場合
• 各処理で利用するデータをメモリに蓄積しメモリ内でデータ処理することで
IO待ち時間を削減
• 必要に応じてブロックストレージやオブジェクトストレージに書き出すことで
データを永続化
高速
IO
高速
IO
高速
IO
高速
IO
高速
IO
高速
IO
②Spark
MapReduceより高速

10. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. |
• Object Storage Service
– Block Volumeと比較し、約39%のコスト
ダウン
• Archive Storage Service
– Object Storage Serviceと比較し、約90%
のコストダウン
– Object Storageと併用し、頻繁に利用し
ないデータはArchive Storageに
• 例) Object Storage 10TB + Archive Storage
50TB
オブジェクトストレージは安価
10
¥ 5.10
¥ 3.06
¥ 0.312
Block
Volume
Object
Storage
Archive
Storage
約39%
コストダウン
約90%
コストダウン
最新の価格情報
https://cloud.oracle.com/ja_JP/storage/pricing
OCIの各Storage Serviceの価格(1GB, 1か月あたり)
③Object Storage
HDFSより低コスト

11. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. |
• Spark
– Clientノード
• Sparkアプリケーションの実行をMasterノードに要求
• Workerノードで起動されるタスク処理プロセスのス
ペック(CPUコア数、メモリ量)、プロセス数を指定して
要求する
– Masterノード
• Workerノードの空リソース量と要求されたスペックを
考慮し、Workerノードにタスク処理実行プロセスの
起動を要求
– Spark Workerノード
• 実行プロセスを起動し、要求されたタスクを処理
• YARN(クラスタ管理ソフトウェア)
– Client/ResourceManager/NodeManager
• クラスタ全体の計算リソースの管理基盤
Sparkクラスタの構成例と役割分担
11
Spark Client
Yarn Client
Spark
Worker02
Spark Worker01
Yarn NodeManager
Spark Master
Yarn ResourceManager
Spark
Worker04
Spark
Worker03
②処理要求
③処理の割り振り
④実行プロセスが処理を実行
必要に応じてデータの読み込み・書き出し
Sparkクラスタ
オブジェクトストレージ
①Sparkアプリ実行

12. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. |
• Sparkアプリケーション
– 業務アプリ
– Scala/Java/Pythonベースの開発
• core-site.xmlファイル
– Sparkの構成情報が記載される設定ファイル
– オブジェクトストレージのアクセス情報(エンド
ポイント)、接続認証のための設定
• HDFS Connector
– オラクルが提供するSpark拡張用のJavaクラス
ライブラリ
– Sparkからオブジェクトストレー上のデータに透
過的にアクセスするためのライブラリ
– 業務アプリ開発者はデータストアの構成を意
識する必要がない
構成要素から見る仕組み
12
Spark Client
Yarn Client
Spark
Worker02
Spark Worker01
Yarn NodeManager
Spark Master
Yarn ResourceManager
Spark
Worker04
Spark
Worker03
Sparkアプリケーション
core-site.xml
HDFS Connector
core-site.xml core-site.xml core-site.xml core-site.xml core-site.xml
Sparkクラスタ
オブジェクトストレージ

13. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. |
HDFS Connectorを使ったSpark処理の実行例
13
Spark Client
Yarn Client
Spark
Worker02
Spark Worker01
NodeManager
Spark Master
ResourceManager
Spark
Worker04
Spark
Worker03
Sparkクラスタ
メモリ
csvファイル
生成されたデータ(DataFrame)
# $SPARK_HOME/bin/spark-shell --jars $HOME/oci-hdfs/lib/oci-hdfs-full-2.7.2.0.jar
……………………
……………………
Using Scala version 2.11.8 (OpenJDK 64-Bit Server VM, Java 1.8.0_191)
Type in expressions to have them evaluated.
Type :help for more information.
scala>
scala>sc.textFile("oci://test_bucket@gse0001425/movies.csv").show
1,Toy Story (1995),Adventure|Animation|Children|Comedy|Fantasy
2,Jumanji (1995),Adventure|Children|Fantasy
3,Grumpier Old Men (1995),Comedy|Romance
4,Waiting to Exhale (1995),Comedy|Drama|Romance
5,Father of the Bride Part II (1995),Comedy
………………….
………………….
spark-shellの起動
例)オブジェクトストレージ上のcsvファイルからDataFrameを生成し、
標準出力に表示するscalaプログラムを実行
HDFS Connectorのクラスライブラリのjar
ファイルを指定
オブジェクトストレージ上のファイルを指定
oci://<バケット名>@<テナント名>/<オブジェクト名>
①Spark-shellの起動、処理の実行
②CSVファイルが読み込まれメモリ上
にDataFrameが生成される
③データ変換処理を行い結果を返す

14. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. |
① データをオブジェクトストレージへ
アップロードする
② オブジェクトストレージ上のデー
タをSparkクラスタのメモリ上に読
み込む(DataFrameの生成)
③ 読み込まれたデータをSpark SQL
で変換する
④ 変換されたデータをオブジェクト
ストレージに永続化する
デモの概要
14
movies.csv
movies.csv
オブジェクトストレージ
(データレイク)
データ
メモリ
データ
ラップトップ
(データ発生元)
spark設定済
Computeインスタンス
(分析基盤、バッチオフロード基盤)
③データ変換の操作
(ETL、機械学習、アドホック分析)
④データの永続化
movies2.csv
①データアップロード
②データ読み込み

15. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. |
• Sparkに同梱されてい
る簡易のクラスタ管
理システム
• 1ノードで構成可能
• テスト用途に利用
15
Sparkで利用できるクラスタ管理ツール
Spark
Standalone
• Hadoopでよく利用さ
れるクラスタ管理シス
テム
• HDFSを利用する場合、
データローカリティが
考慮されIOが効率化
される
• 処理に割り当てる
CPUコア数の配分を
動的に変えるなどき
め細かい制御が可能
• Spark 2.3からネイティ
ブサポート
• OCI OKEでSparkを利
用可能
Apache Spark on Kubernetes:
Maximizing Big Data
Performance on Container
Engine for Kubernetes

16. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. |
• コンピュータのメモリから異なる（リ
モートの）コンピュータのメモリへ CPU
を介さず直接データ転送を行う通信
技術
• データ転送時のOS処理(TCP/IPの処
理)が不要になり、CPUを効率的に利
用することができる
• コンテキストスイッチを行うことなく他
の処理と並列にデータ転送を実行す
ることができる
• OCI HPCインスタンスで利用可能
– BM.HPC2.36 : 36 OCPU / 384 GB mem /
6.7 TB NVMe / 25 Gbps x1, 100Gbps x1
RDMA(Remote Direct Memory Access)
16
Ethernet NIC
or
Infiniband HCA
sockets
TCP/IP
driver
User Application
data data
copy
copy
copy
TCP/IP通信とRDMA通信の処理フローの違い
Ethernet NIC
or
Infiniband HCA
sockets
TCP/IP
driver
User Application
datadata
copy
copy
copy
LAN
DMA DMA
RDMA通信フロー
通常のTCP/IP通信

17. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. |
出典
• Oracle Blog
– What Is Object Storage?
– 抄訳版：オブジェクトストレージ それはデータレイクの新しい選択肢
• Beginning Apache Spark 2: With Resilient Distributed Datasets,
Spark SQL, Structured Streaming and Spark Machine Learning
library
• Apache Spark入門 動かして学ぶ最新並列分散処理フレーム
ワーク (NEXT ONE)
17