Spark+AI Summit Europe 2019 セッションハイライト （Spark Meetup Tokyo #2 講演資料､2019/11/19） NTTデータ システム技術本部 萩原 悠二/Yuji Hagiwara 酒井 遼平/Ryohei Sakai

1. © 2019 NTT DATA Corporation
2019年 11月 19日
株式会社NTTデータ 技術革新統括本部
システム技術本部 生産技術部 インテグレーション技術センタ
Spark+AI Summit Europe 2019 セッションハイライト

2. © 2019 NTT DATA Corporation 2
はじめに
• 本資料は、Spark+AI Summit Europe 2019で行われたプレゼンテーションの一部を
ピックアップして、ダイジェストで紹介するものである。
• 本資料の内容は、必ずしも当社の見解を表すものではない。
• 本資料の掲載された社名、商品名は各社の商標または登録商標である。

3. © 2019 NTT DATA Corporation 3
アジェンダ
1. Spark+AI Summit Europe 2019について
2. 個別セッション紹介
1. 萩原パート
2. 酒井パート

4. © 2019 NTT DATA Corporation 4
Spark+AI Summit Europe 2019
日時： 2019年10月15日(火) – 2019年10月17日(木)
場所： RAI Amsterdam Convention Centre, Amsterdam, Netherland.
参加人数：2,300人超（公式発表）
https://databricks.com/sparkaisummit/europe/sponsorsより引用

5. © 2019 NTT DATA Corporation 5
Spark+AI Summit Europe 2019 雑感
• 盛況
• 昼食会場は席が足りていない状況
• 日本からの参加者は少ない印象
• ヨーロッパ開催なだけあり、周辺国からの参加が多かった
セッションタイトルから生成したWordCloud

6. © 2019 NTT DATA Corporation 6
萩原パート

7. © 2019 NTT DATA Corporation 7
自己紹介
氏名：萩原 悠二（はぎわら ゆうじ）
所属：NTTデータ 技術革新統括本部 システム技術本部 生産技術部
業務内容：
• Hadoop/Spark等を用いた商用案件の設計・検証支援
• 機械学習を活用するビッグデータ基盤の研究開発
• 各種OSSのサポート提供
• 外部発表、記事執筆など

8. © 2019 NTT DATA Corporation 8
Keynote: Simplifying Model Management with MLflow
Matei Zaharia (Databricks), Corey Zumar (Databricks)
https://databricks.com/session_eu19/1-simplifying-model-management-with-mlflow
MLflowの最新動向と
新機能についてご紹介

9. © 2019 NTT DATA Corporation 9
MLflowについて
• MLflowは”An Open Source ML Platform”である。
• Tracking, Projects, Modelsの3つのコンポーネントで構成
• MLflowについての詳細はYamamuroさん(@maropu)のMeetup#1発表(※1)を参照
※1: https://www.slideshare.net/maropu0804/mlflow
今回のKeynoteのポイント
• ここ6カ月の機能アップデート
• Autologging in Tensorflow & Keras
• DataFrame Search API
• Kubernetes, HDFS & Seldon integration
• MLflow Model Registryの発表
• MLflowの新たなコンポーネントの一つ Tracking
学習条件等を
記録する。
Projects
機械学習コードを再
現可能にパッケージす
る
Models
学習モデルの
フォーマット
画像はhttps://mlflow.org/より引用

10. © 2019 NTT DATA Corporation 10
Autologging in Tensorflow & Keras
• MLflow Trackingに関する新機能
• TensorflowやKerasで一般的に必要となるであろうParameters, Metricsを自動でトラッキングする。
NNのパラメータ
（隠れ層のユニット数、学
習率）をログに残す
NNのメトリクス
（損失関数の値）をログ
に残す
モデルの構造に合わせて、
ParameterとMetricを自動で拾って
ログに残す
画像は“Keynote: Simplifying Model Management with MLflow”の発表より引用

11. © 2019 NTT DATA Corporation 11
MLflow Model Registry - モデル管理の課題
大人数で様々なモデルを管理するとき、、、
発生する課題：
• どのモデルを使えばいいのか？
• どうやってモデルが作られたのか？
• どうやって各モデルのドキュメント
を追跡する？
• どうやってモデルをレビューする？
画像は“Keynote: Simplifying Model Management with MLflow”の発表より引用

12. © 2019 NTT DATA Corporation 12
MLflow Model Registryとは
• モデルに対して名前やコメント、タグをつけてバージョン管理できるレジストリ。
• 各モデルのステージ（開発用、ステージング用、本番用、アーカイブ済）の状態遷移、その履歴も管理する。
• モデルに関わる人々のワークフローを定義し、実現する。
ワークフロー
1. モデル開発者がモデルを登録する。
2. レビュアによるレビューや、CI/CDに
よるテストを通じてモデルを承認する。
3. モデルを利用する
1. ユーザ
2. ジョブ
3. サービング
画像は“Keynote: Simplifying Model Management with MLflow”の発表より引用

13. © 2019 NTT DATA Corporation 13
MLflow Model Registryデモ
画像は“Keynote: Simplifying Model Management with MLflow”の発表より引用
モデルの説明を
記述できる
モデルはMLflow Trackingと紐づく
モデルのステージを変更
（デモではNone →
Production）
モデルの名前と
バージョンを特定
モデルの名前とステージ
を指定してロードできる
ステージの
変更履歴が記録される
従来はモデルのファイル
パスで指定していたが、

14. © 2019 NTT DATA Corporation 14
おまけ
10/30にMLflow1.4リリース！
Model Registry(Beta)がリリースに
含まれるようになった。
https://mlflow.org/news/2019/10/30/1.4.0-release/index.htmlより引用

15. © 2019 NTT DATA Corporation 15
Machine Learning at Scale with MLflow and Apache Spark
Chongguang Liu (Société Générale)
https://databricks.com/session_eu19/machine-learning-at-scale-with-mlflow-and-apache-spark
プロダクションで機械学習を使うときの
「ハマったところ」「対応方法」をご紹介

16. © 2019 NTT DATA Corporation 16
Société Généraleにおけるデータ活用
Société Générale : フランスのメガバンク
• プロダクション環境のデータレイクにおいて、80以上のデータパイプライン
• 200人以上のデータサイエンティスト
• 新商品の開発、顧客体験の改善、効率化にデータを活かす
• マネーロンダリング防止や不正検知など

17. © 2019 NTT DATA Corporation 17
データやモデルのやり取りの問題点
ステークホルダたち
• ビジネスサイド
• データサイエンティスト
• データエンジニア
ステークホルダ間のやりとり
1. ビジネスサイドからデータサイエンティストへデータを渡す
• プロトタイピングのために、データを手でコピーしていた
• データの品質がわからない
2. データサイエンティストからデータエンジニアへプロトタイプの機械学習コードを渡す
• 商用環境向けにプログラミング言語の書き換えが必要になった
• プログラムを書き換えたことにより、出力結果が同じになるのかがわからない
3. データエンジニアからデータサイエンティストへ商用環境向け機械学習コードを渡す
• 自動化されておらず、コードを手動でデプロイしなければならなかった
• データの違い（データサイエンティストが使ったデータ vs プロダクションデータ）があり
4. データサイエンティストからビジネスサイドへ学習済みモデルを渡す
• 最適でないプレディクション
• モデルアップデート頻度の低下

18. © 2019 NTT DATA Corporation 18
取り組んできたこと(1/7)
1. データローカリティ
2. アプリケーションの信頼性
3. 様々なPythonパッケージ
4. モデル管理
5. トラッキングサーバの信頼性
6. モデルサービング

19. © 2019 NTT DATA Corporation 19
取り組んできたこと(2/7)
1. データローカリティ
2. アプリケーションの信頼性
3. 様々なPythonパッケージ
4. モデル管理
5. トラッキングサーバの信頼性
6. モデルサービング
画像は“Machine Learning at Scale with MLflow and Apache Spark”の発表より引用
HDFSによるデータレイクにデータを集中させる。
データサイエンティストはデータレイクのデータを
利用する。（データの違いの解消）
銀行のデータの規制が厳しいため、クラウドへの
アップロードがむずかしい。
学習と予測をデータレイク内で実行する。

20. © 2019 NTT DATA Corporation 20
取り組んできたこと(3/7)
1. データローカリティ
2. アプリケーションの信頼性
3. 様々なPythonパッケージ
4. モデル管理
5. トラッキングサーバの信頼性
6. モデルサービング
プロダクションフェーズ
• YARNによるリソースマネジメントで分散処理
• PythonのスタンドアロンアプリやPySparkアプリを実行
• ジョブスケジューリングにOozieを使用
プロトタイプフェーズ
• データサイエンティストたちで1台の高性能なマシンを共有
• 処理時間の保証は無し
• プロトタイプフェーズとプロダクションフェー
ズそれぞれで、求められる特性に合わせ
て異なる開発手法・実行環境を用いる。

21. © 2019 NTT DATA Corporation 21
取り組んできたこと(4/7)
1. データローカリティ
2. アプリケーションの信頼性
3. 様々なPythonパッケージ
4. モデル管理
5. トラッキングサーバの信頼性
6. モデルサービング
画像は“Machine Learning at Scale with MLflow and Apache Spark”の発表より引用
• Hadoopが最新じゃないのでDocker
は使ってない
• 各チームで好みのPythonライブラリ・
バージョンがあるので、すべてを満たすの
が困難
• 環境を含めて、HDFSへ格納する。自
動で。
MLflow Projects
形式でgitへ格納
conda.yamlから
Conda環境を作成し、
Nexusへ登録
Ansibleで
デプロイ

22. © 2019 NTT DATA Corporation 22
取り組んできたこと(5/7)
1. データローカリティ
2. アプリケーションの信頼性
3. 様々なPythonパッケージ
4. モデル管理
5. トラッキングサーバの信頼性
6. モデルサービング
画像は“Machine Learning at Scale with MLflow and Apache Spark”の発表より引用
• 週次や日次でモデルを作っている。
• データサイエンティストは、それらを簡単
に比較したり、数週間前のものを見つけ
たい。
• データエンジニアはモデルをHDFSにまと
め、推論時にロードできるようにしたい。
使っているMLflow
バージョンが古く
HDFS未対応だった
pickle等はデカいの
で別途HDFSへ保存
MLflowでモデルの
メタデータを管理

23. © 2019 NTT DATA Corporation 23
取り組んできたこと(6/7)
1. データローカリティ
2. アプリケーションの信頼性
3. 様々なPythonパッケージ
4. モデル管理
5. トラッキングサーバの信頼性
6. モデルサービング
画像は“Machine Learning at Scale with MLflow and Apache Spark”の発表より引用
DBを
共有
MLflow Tracking Serverを
2つ動かして冗長化

24. © 2019 NTT DATA Corporation 24
取り組んできたこと(7/7)
1. データローカリティ
2. アプリケーションの信頼性
3. 様々なPythonパッケージ
4. モデル管理
5. トラッキングサーバの信頼性
6. モデルサービング
画像は“Machine Learning at Scale with MLflow and Apache Spark”の発表より引用
ストリームでの
推論
REST APIに
よる推論
データは全て内部に完結可能
セキュリティ的にうれしい
Knoxでリクエ
ストをプロキシ

25. © 2019 NTT DATA Corporation 25
具体例
インターネットから得られるニュースの解析（コンプライアンス部門で使用）
ユーザからのフィー
ドバック収集
画像は“Machine Learning at Scale with MLflow and Apache Spark”の発表より引用
フィードバックを
用いて再学習
グリッドサーチ
MLflowのメトリクスをもとに
最善のモデルを選択
• 手動でモデルを
デプロイ
• 更新が大変

26. © 2019 NTT DATA Corporation 26
酒井パート

27. © 2019 NTT DATA Corporation 27
自己紹介
氏名：酒井 遼平（さかい りょうへい）
所属：NTTデータ 技術革新統括本部 システム技術本部 生産技術部
業務内容：
• Hadoop/Spark等を用いた商用案件の設計・検証支援
• ストリームデータ処理に関するビッグデータ基盤の研究開発
• 各種OSSのサポート提供

28. © 2019 NTT DATA Corporation 28
Keynote: New Developments in the Open Source Ecosystem:
Apache Spark 3.0, Delta Lake, and Koalas
Michael Armbrust(Databricks), Brooke Wenig (Databricks), Burak
Yavuz (Databricks)
https://databricks.com/session_eu19/new-developments-in-the-open-source-ecosystem-
apache-spark-3-0-delta-lake-and-koalas

29. © 2019 NTT DATA Corporation 29
New Developments in the Open Source Ecosystem
今回のKeynoteのポイント
Sparkエコシステムに関する最近の取り組みについて紹介
• Apache Spark 3.0
• Spark SQLのパフォーマンス改善ポイント
• Delta Lake
• SparkでACIDトランザクションを実現
• コミュニティ急成長中
• Linux Foundationがプロジェクトをホスト
• Koalas
• Koalasとは

30. © 2019 NTT DATA Corporation 30
New Developments in the Open Source Ecosystem
今回のKeynoteのポイント
Sparkエコシステムに関する最近の取り組みについて紹介
• Apache Spark 3.0
• Spark SQLのパフォーマンス改善ポイント
• Delta Lake
• SparkでACIDトランザクションを実現
• コミュニティ急成長中
• Linux Foundationがプロジェクトをホスト
• Koalas
• Koalasとは

31. © 2019 NTT DATA Corporation 31
Apache Spark 3.0 – Spark SQLのパフォーマンス改善ポイント (1/3)
クエリ実行段階で必ずしも最適化に必要な統計情報を持ち合わせていない
-> Adaptive Query Execution
実行中にデータを見てからクエリプランを変更
*画像は以下より引用
https://databricks.com/session_eu19/new-developments-in-the-open-source-ecosystem-apache-spark-3-0-delta-lake-and-koalas

32. © 2019 NTT DATA Corporation 32
Apache Spark 3.0 – Spark SQLのパフォーマンス改善ポイント (2/3)
Dynamic partition pruning
ディメンションテーブルに対するフィルタ条件をもとにして巨大なファクトテーブルをフィルタ
*画像は以下より引用
https://databricks.com/session_eu19/new-developments-in-the-open-source-ecosystem-apache-spark-3-0-delta-lake-and-koalas

33. © 2019 NTT DATA Corporation 33
Apache Spark 3.0 – Spark SQLのパフォーマンス改善ポイント (3/3)
Spark 3.0 preview （2019/11/06）
https://spark.apache.org/news/spark-3.0.0-preview.html

34. © 2019 NTT DATA Corporation 34
Delta Lake – Spark on ACID (1/4)
Delta Lake
• ACID transaction on Spark
• Scalable metadata handling
• Steraming and batch unification
• Schema enforcement
• Time travel
• Upserts, deletes

35. © 2019 NTT DATA Corporation 35
Delta Lake – Spark on ACID (2/4)
これまでのアーキテクチャのつらいポイント
*画像は以下より引用
https://databricks.com/session_eu19/new-developments-in-the-open-source-ecosystem-apache-spark-3-0-delta-lake-and-koalas

36. © 2019 NTT DATA Corporation 36
Delta Lake – Spark on ACID (3/4)
これまでのアーキテクチャのつらいポイント
*画像は以下より引用
https://databricks.com/session_eu19/new-developments-in-the-open-source-ecosystem-apache-spark-3-0-delta-lake-and-koalas

37. © 2019 NTT DATA Corporation 37
Delta Lake – Spark on ACID (4/4)
DELTA LAKE Architecture
*画像は以下より引用
https://databricks.com/session_eu19/new-developments-in-the-open-source-ecosystem-apache-spark-3-0-delta-lake-and-koalas

38. © 2019 NTT DATA Corporation 38
Delta Lake – コミュニティ
• 2018年4月にOSS化して以来、成長を続けている
• 2019年9月
• 20,000DL, 4,000以上の組織で使用されている
• 単月で2 exabytesがDelta Lakeで読み書きされている
• Sparkを超えた使われ方
• HiveやPrestoがDelta Lakeをサポートする動きが出ている
• Delta LakeプロジェクトをLinux Foundationへ移管
*画像は以下より引用
https://databricks.com/session_eu19/new-developments-in-the-open-source-ecosystem-apache-spark-3-0-delta-lake-and-koalas

39. © 2019 NTT DATA Corporation 39
Koalas – Koalasとは
• Koalas : pandas API on Apache Spark
• pandasと同じコードでSparkを動かす
• モチベーション
• データサイエンティストは自身のラップトップ上でコーディング
• より大量データでトレーニングしたい、分散処理環境で動かしたい
• 分散処理環境で動かすためにコードを書き換えたくない(pandas->PySpark)
import pandas as pd
df = pd.DataFrame({'x':[1,2],'y':[3,4],'z':[5,6]})
# Rename columns
df.columns = [‘x’, ‘y’, ‘z1’]
# Do some operations in place
df[‘x2’] = df.x * df.x
import databricks.koalas as ks
df = ks.DataFrame({'x':[1,2],'y':[3,4],'z':[5,6]})
# Rename columns
df.columns = [‘x’, ‘y’, ‘z1’]
# Do some operations in place
df[‘x2’] = df.x * df.x
Pandas: Koalas:
*プログラムコードは以下より引用
https://databricks.com/blog/2019/04/24/koalas-easy-transition-from-pandas-to-apache-spark.html

40. © 2019 NTT DATA Corporation 40
Koalas – 活用が進むKoalas
• 10,000+ Downloads per day
• 204,452 Downloads this Sept.
• ~100% Month-over-month download growth
• 21 Bi-weekly release
• ユースケース
• Hyperloop One
• PandasからSparkへの移行が負担
• 1%以下のコード書き換えで10倍超の高速化
*画像は以下より引用
https://databricks.com/session_eu19/new-developments-in-the-open-source-ecosystem-apache-spark-3-0-delta-lake-and-koalas

41. © 2019 NTT DATA Corporation 41
Downscaling: The Achilles heel of Autoscaling Apache Spark
Clusters
Prakhar Jain (Qubole)Venkata Krishnan Sowrirajan (Qubole)
https://databricks.com/session_eu19/downscaling-the-achilles-heel-of-autoscaling-apache-spark-
clusters

42. © 2019 NTT DATA Corporation 42
Downscaling: The Achilles heel of Autoscaling Apache Spark Clusters(1/5)
なぜクラウドでオートスケーリングが重要か？
• クラウドはノードの増減が柔軟
• 必要な時にノードを立ち上げ
• 用が済んだら捨てる
• 使った分だけ課金
• クラスタのオートスケーリングはこの性質を利用
• 必要になったらクラスタにノードを追加
• クラスタのリソース使用率が下がったらノードを除外
• データはオブジェクトストアに保存

43. © 2019 NTT DATA Corporation 43
Downscaling: The Achilles heel of Autoscaling Apache Spark Clusters(2/5)
Sparkクラスタにおけるノードの役割
• コンピュート
• 各ノード上にexecutorが立ち上がり、処理を実行
• 一時データの保管
• shuffle/cacheなどの一時的なデータの保管
Upscale easy, downscale difficult
• Upscaling
• 負荷が高まったら単純にノードを追加すればよい
• Downscaling
ノードの除外にあたって、以下の確認が必要
• 実行中のコンテナが存在しないこと
• shuffle/cacheデータがディスク上に存在しないこと

44. © 2019 NTT DATA Corporation 44
Downscaling: The Achilles heel of Autoscaling Apache Spark Clusters(2/5)
Sparkクラスタにおけるノードの役割
• コンピュート
• 各ノード上にexecutorが立ち上がり、処理を実行
• 一時データの保管
• shuffle/cacheなどの一時的なデータの保管
Upscale easy, downscale difficult
• Upscaling
• 負荷が高まったら単純にノードを追加すればよい
• Downscaling
ノードの除外にあたって、以下の確認が必要
• 実行中のコンテナが存在しないこと
• shuffle/cacheデータがディスク上に存在しないこと
Executorのフラグメンテーション
既存のリソースアロケーションロジックでは、空
いているノードが優先的に使われ、
「空のノード＝downscale可能なノード」が
発生しづらい。
課題①
一時データの保持
後々利用されるshuffleデータを保持してい
る限り、当該Executorを削除できない
課題②

45. © 2019 NTT DATA Corporation 45
Downscaling: The Achilles heel of Autoscaling Apache Spark Clusters(3/5)
課題①Executorのフラグメンテーションへの対処(packing of executors)
リソース使用状況ごとにノードを3種に分類。分類ごとにジョブ割り当ての優先度を設定。
*画像は以下より引用
https://www.slideshare.net/databricks/downscaling-the-achilles-heel-of-autoscaling-apache-spark-clusters

46. © 2019 NTT DATA Corporation 46
Downscaling: The Achilles heel of Autoscaling Apache Spark Clusters(4/5)
課題②一時データの保持に対する対処
の前に…、
shuffleファイルに関する前提
• shuffleファイルは各executorのローカルストレージ上に存在。
• executorはファイルの保持だけでなく、後続のreduceタスクに対してファイルをサーブする役割も担う。
• executorのロス＝shuffleファイルのロス”
“External” Shuffle Service(ESS)
• shuffleファイルを”外部”に置く
• 1ノードに1ESSが存在。executorプロセスとは独立してshuffleファイルの管理を担当。
• 外部とは、executorの外部であって、マシンの外部ではない
• したがってexecutorの増減は可能だが、マシンの増減は不可
シャッフルファイルはいつ消える？
• アプリケーション終了時にESSによって消される。
アプリケーションの終了を待たなければノード
を減らせない

47. © 2019 NTT DATA Corporation 47
Downscaling: The Achilles heel of Autoscaling Apache Spark Clusters(5/5)
課題②一時データの保持に対する対処
Shuffle Cleanup
• TTLベースでshuffleファイルを削除
• [SPARK-4287]Add TTL-based cleanup in external shuffle service
コンピュートとストレージ分離
• 真に柔軟性を活かすためには、分離が必要
• Shuffleデータをどこか他の場所に置けないか？
→クラスタ上の各ノードにNFSをマウント(NFSに読み書きできるようshuffle managerを変更)

48. © 2019 NTT DATA Corporation