AIにおけるコンテナ＆コンテナ・オーケストレーションで使うストレージ〜コンテナでStorageってどうなってる？〜

1. AIにおけるコンテナ＆
コンテナ・オーケストレーションで使うストレージ
〜コンテナでStorageってどうなってる？〜
株式会社スタイルズ
矢野 哲朗
2019年11月14日
商用利用改変可、CCライセンス変更不可

2. 今回のお話
1
AIでコンテナ
＆
コンテナでストレージ

3. 今回のお話
2
AIでコンテナ
＆
コンテナでストレージ

4. 図にするとこういう風になります
3
コンテナ AI
GPU ストレージ
ここまではOK

5. 図にするとこういう風になります
4
コンテナ AI
GPU ストレージ
AIにおけるコンテナはこの領域

6. 図にするとこういう風になります
5
コンテナ AI
GPU ストレージ
実は、ここが問題
コンテナ・オーケストレーションで使うストレージはこの領域

7. そんな時コンテナ業界に出てきていたのが
6
クーバネーティスと読みます
サイバネティクスと語源が一緒だそうです
なんてのもありましたが、
デファクトは取れませんでした

8. それに目を付けた人たちが
7
KubernetesをAIでも
使いたいニーズが広がる
※注：DeepLearning
※注

9. しかし、
8
ここにも問題が

10. その問題とは
9
データを保存する場所
問題

11. そもそも、コンテナとは
10
コンテナは単なるプロセスなので、
揮発性がある(=データ領域は基本ない)
＆
Kubernetesは多数ホストで動かすので
データ保存が苦手だった

12. コンテナ≠仮想マシン
11
コンテナにはストレージは入ってない(注:ストレージぽいものがあるだけ)
IT業界で働く者の基礎知識となるクラウドネイティブ とは？ - Qiita
https://qiita.com/MahoTakara/items/7c6c89cbddfd4a8f7b44

13. つまり、
12
Kubernetesでは
コンテナが終了すると
データも消える
仕様です

14. コンテナ内にデータをダウンロードできないの
13
 コンテナ内の領域にデータをダウンロードして演算すればいいのでは？
コンテナ
読み込み
演算 結果
保存

15. しかし、ここにも問題が
14
コンテナのローカル領域はOverlayFS
つまり遅い
Dockerイメージの理解とコンテナのライフサイクル
https://www.slideshare.net/zembutsu/docker-images-containers-and-lifecycle

16. とすると
15
Kubernetesで
永続領域(ストレージ)を
取り扱う必要が出てきました

17. KubernetesにCSI(※)が追加された
16
 Kubernetesから外部ストレージを管理するインターフェース(規格)としてCSI
(※Container Storage Interface)が規定されました(2018/12)
入門、Kubernetes Persistent Volume - Speaker Deck
https://speakerdeck.com/ysakashita/ru-men-kubernetes-persistent-volume

18. A社ストレージ
CSIとは？
17
 コンテナ(正確にはPod)から外部ストレージを切り出してマウントできるようにするプラグインの規格
 この規格に沿ったプロビジョナーと言われるストレージを管理するプラグインを書けば、外部のストレー
ジをPodにマウントすることができるようになる
コンテナ
(=Pod)
コンテナからは
ローカル領域として使用
実際は
ストレージを利用
プロトコルは、
iSCSIやNFS等
A
社
プ
ロ
ビ
ジ
ョ
ナ
ー

19. CSIとは？
18
 コンテナ(正確にはPod)から外部ストレージを切り出してマウントできるようにするプラグインの規格
 この規格に沿ったプロビジョナーと言われるストレージを管理するプラグインを書けば、外部のストレー
ジをPodにマウントすることができるようになる
コンテナ
(=Pod)
コンテナから
領域として使用
B社ストレージ
B社
プ
ロ
ビ
ジ
ョ
ナ
ー
様々なストレージに
接続することが可能に

20. これが使えるようになると
19
 コンテナ内の領域にデータをダウンロードして演算が可能になりました
 コンテナ領域を外部のストレージに用意することをプロビジョニングといいます。
コンテナ
読み込み
演算 結果
保存 ストレージ
書き込み
プロビジョニング

21. JupyterNotebookでデータを読み込む方法
20
JupyterNotebookでデータを読み込む方法
Notebook内でS3からダウンロード
KubernetesのコンテナでNFS領域をマウント

22. Kubernetesでストレージを利用する方法
Volumeを直接指定してContainerにマウントする
Volumeの要件を指定して、満たすものを自動的にマウ
ントする(Persistent Volumeを利用)
Volumeの要件を指定して、満たすストレージを動的に
プロビジョニングしてマウントする(Storage Classを利用)
21
以下の3種類

23. Volume
 コンテナにマウント可能なボリュームを定義する情報
 ストレージの実態をポイントする
22
Volume（たとえばNFSのストレージ）
ストレージの実態
マウント
Pod
Kubernetes標準のストレージ機能をおさらいしよう-SpeakerDeck
https://speakerdeck.com/hhiroshell/kubernetesbiao-zhun-falsesutoreziji-neng-woosaraisiyou

24. PersistentVolume(PV)/PersistentVolumeClaim(PVC)
 PVでストレージの実態をポイントする
 PVCで必要なディスクの要件（容量／書き込み権限の有無など）を指定しておき、それをVolumeから参照
する
 PVCの要件を満たすPVが自動的に選択され、使用される
Volume PVC PV
23
Pod
Kubernetes標準のストレージ機能をおさらいしよう-SpeakerDeck
https://speakerdeck.com/hhiroshell/kubernetesbiao-zhun-falsesutoreziji-neng-woosaraisiyou

25. StorageClassを使ったPVCの動的プロビジョニング
 PVCでPVの代わりにStorageClassを指定
 上記PVCをKubernetes内に作ると、StorageClassで設定されたProvisionerがストレージをプロビジョニン
グし、それが利用される
 StorageClassでは、ディスク速度やサービスレベル等のパラメータを指定
Volume PVC PV （例）
24
Pod
SC SP
ProvisionerStorageClass
Kubernetes標準のストレージ機能をおさらいしよう-SpeakerDeck
https://speakerdeck.com/hhiroshell/kubernetesbiao-zhun-falsesutoreziji-neng-woosaraisiyou

26. NetAppさんのストレージのプロビジョナー
25
NetAppさんのKubernetes接続ストレージは以下の2つ
 SolidFire
 FAS
上記に接続できるプロビジョナー
 Trident
資料公開中
https://www.stylez.co.jp/news/report_production-ready-k8s/

27. DELL/EMCさんのプロビジョナー
26
DELL/EMCさんのKubernetes接続ストレージは以下の2つ
 VxFlex OS
上記に接続できるプロビジョナー
 CSI Driver for Dell EMC VxFlexOS
https://github.com/dell/csi-vxflexos

28. IBMさんのストレージのプロビジョナー
27
IBMさんのKubernetes接続ストレージ
 IBM block storage
 IBM Spectrum Scale
上記に接続できるプロビジョナー
 ubiquity-k8s-provisioner

29. まとめ
28
Kubernetesでストレージを管理するプロ
ビジョニングというのがある
各社ストレージが接続できるようになった

30. 29
ご清聴
ありがとうございました
スタイルズはRancherの
国内正式パートナーです
株式会社スタイルズ
〒101-0052 東京都千代田区神田小川町1−2 風雲堂ビル 6F
http://stylez.co.jp
http://Nextcloud.stylez.co.jp
Rancher/kubernetesにご興味がありましたら、お声がけください