9. Router-Based Federation (RBF)
9
Router
– クライアントのリクエストを
受け取り適切なNameNode
にルーティング
State Store
– マウント情報を中央管理
クライアントは何も気にせずに
大きなHDFSとして参照すること
ができる
Cluster A
R
DNDN DN
NN
State Store
Cluster B
R
DNDN DN
NN
①
②
③
④
無断引用・転載禁止Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
A
B
C
/
data
log tmp
12. 目次
Router-Based Federation (RBF)
Hadoop {Submarine} Project
HadoopのJava9+対応
12無断引用・転載禁止Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
13. Hadoop {Submarine} Project とは
Tensorflowプログラムを特別な変更を加せずにそのままYARNの上で
動かすことを目標にしたプロジェクト
名前の由来
– Submarine is the only vehicle that can take humans to deep places.
潜水艦は人間を深い場所に連れて行くことができる唯一の乗り物
13無断引用・転載禁止Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
14. {Submarine} に至るまでのYARNの進化
14
2.9
•Docker on YARN: YARNコンテナとしてDockerコンテナが利用可能に
3.1
•YARN Service framework: 長時間のアプリケーション実行をサポート
•GPU on YARN
3.2
•Hadoop {Submarine} Project
•上記のYARNの新機能を利用
無断引用・転載禁止Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
15. Hadoop {Submarine} projectの特徴
Tensorflowの分散処理を簡単な設定で実行可能
HDFSや他のストレージに簡単にアクセスできる
任意のDockerイメージを実行できる(Docker on YARN)
– 任意のバージョンのTensorflow、Pythonが使える
リソースにアイソレーションしたGPUを指定可能(GPU on YARN)
モデル提供のサービスを起動可能(YARN Service)
TensorBoardを起動可能(YARN Service)
15無断引用・転載禁止Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.