エヌビディアが加速するディープラーニング～進化するニューラルネットワークとその開発方法について～
•
42 likes•21,993 views
NVIDIA Deep Learning Institute 2016年4月27日のNVIDIA Deep Learning Day 2016 Springの資料です。 エヌビディア合同会社 プラットフォームビジネス本部 ディープラーニングソリューションアーキテクト 兼 CUDA エンジニア 村上 真奈 [概要] ディープラーニングは近年、画像認識の分野で、その高い認識精度から大変注目を集めている技術です。音声認識や自動運転など画像認識の分野以外への応用が進んでおり大変期待されています。本セッションは、日々新しい構造のモデルが提案され進化しているディープラーニングの概要とGPUが必要とされている理由について簡単に説明します。 その後に、実際にディープラーニングの開発のイメージを持って戴けるように、いくつかの代表的なディープラーニングのフレームワークを使い、デモしながら各フレームワークの特徴を解説します。ディープラーニングの最新の状況が知りたい、実際の開発の際にどのフレームワークを使うべきか知りたい、開発を始める前に開発のイメージを持ちたいという方に最適です。
Recommended
More Related Content
What's hot
What's hot (20)
Similar to エヌビディアが加速するディープラーニング～進化するニューラルネットワークとその開発方法について～
Similar to エヌビディアが加速するディープラーニング～進化するニューラルネットワークとその開発方法について～ (20)
More from NVIDIA Japan
More from NVIDIA Japan (20)
Recently uploaded
Recently uploaded (7)
エヌビディアが加速するディープラーニング～進化するニューラルネットワークとその開発方法について～
- 1. エヌビディア ディープラーニングソリューションアーキテクト 兼 CUDAエンジニア 村上 真奈 エヌビディアが加速するディープラーニング ～進化するニューラルネットワークとその開発方法について～
- 2. 2 AGENDA ディープラーニングの最新動向 なぜGPUがディープラーニングに向いているか ディープラーニングSDK / NVIDIA DIGITS ディープラーニング・フレームワーク / ディープラーニングの基礎 http://www.slideshare.net/NVIDIAJapan/ss-61344653
- 7. 7 ILSVRC top-5 error on Image Net 人間よりも早く正確な認識 ILSVRC15
- 9. 9NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE. Baidu Deep Speech 2 英語と中国語(北京語)の音声認識 シンプルにエンドツーエンドのディープラーニングを用いて英語から中国語への変換を行う 人間より高い認識精度 エラー率(Deep Speech 2) 3.7% エラー率(人間へのテスト) 4% http://svail.github.io/mandarin/ http://arxiv.org/abs/1512.02595 英語と中国語のディープラーニングを用いたエンドツーエンド音声認識
- 11. 11 ディープラーニングを用いた画像合成 CNNを用いたテクスチャ合成と変換 NVIDIA Research、 Timo Aila 他
- 12. 14 ディープラーニングの事例 画像ノイズ除去および高解像度化 Eigen , ICCV 2010 Dong et al, ECCV 2014
- 16. 19 ディープラーニングを加速する3つの要因 “The GPU is the workhorse of modern A.I.” ビッグデータ GPUDNN
- 17. 20 典型的なネットワーク例 多量なトレーニングデータと多数の行列演算 目的 顔認識 トレーニングデータ 1,000万～1億イメージ ネットワークアーキテクチャ 10 層 10 億パラメータ ラーニングアルゴリズム 30 エクサフロップスの計算量 GPU を利用して30日
- 18. 21 木 猫 犬 機械学習ソフトウェア “亀” フォワード プロパゲーション “亀” から “犬” へ 計算の重み付けを更新 バックワード プロパゲーション 学習済みモデル “猫” 反復 トレーニング 推論
- 20. 23 DLトレーニングシステム Caffe Theano Torch GPUs Chainer DLフレームワーク DLアプリケーション Tensor Flow CNTK cuBLAS, cuDNN, cuSPARSE
- 23. 26 ディープラーニングSDK
- 24. 27 GPU による性能向上 CNN における学習時間 バッチサイズ 学習時間（CPU) 学習時間(GPU) GPU／CPU比 64画像 64s 7.5s 8.5X 128画像 124s 14.5s 8.5X 256画像 257s 28.5s 9.0X デュアル 10 コア Ivy Bridge CPU 1 Tesla K40 GPU CPU： Intel MKL BLAS ライブリを活用 GPU： CUDA行列ライブラリ（cuBLAS）を使用 ILSVRC12でSupervisionが使用したモデル 7層 5層の畳み込みと2層の全結合 ReLU、プーリング、ドロップアウト、正規化 Caffeを使用 20反復のトレーニング時間
- 25. 28 GPU による性能向上(inference) Xeon E5-2698 と Tesla M40 NVIDIA Whitepaper “GPU based deep learning inference: A performance and power analysis.”より
- 27. 30 ディープラーニング cuDNN 数学ライブラリ cuBLAS cuSPARSE マルチGPU NCCL cuFFT NVIDIA ディープラーニング SDK GPUで高速化されたディープラーニングの為の開発ツールおよびライブラリ
- 28. 31 NVIDIA cuDNN GPU上でディープニューラルネットワークの計算を 高速に行う為のプリミティブ群 ディープニューラルネットワークの学習の高いパ フォーマンスを発揮 Caffe、 CNTK、 Tensorflow、 Theano、 Torch、Chainerなどディープラーニングフレー ムワークを高速化 バージョンアップ毎にパフォーマンスが向上 “NVIDIAはcuDNNのリリースの度により多くの操作 ができるような機能拡張をおこなっており、同時 に計算速度も向上させている” —UC バークレー、 Caffe リードデベロッパー、 Evan Shelhamer developer.nvidia.com/cudnn AlexNet training throughput based on 20 iterations, CPU: 1x E5-2680v3 12 Core 2.5GHz. 0.0x 2.0x 4.0x 6.0x 8.0x 10.0x 12.0x 2014 2015 2016 K40 (cuDNN v1) M40 (cuDNN v3) Pascal (cuDNN v5)
- 29. 32 cuDNN 5 のアップデート Torch上でLSTM リカレントニューラルネットワークの 計算を6倍高速化 パフォーマンスの向上: • VGG、GoogleNet、ResNetsのような3x3 畳み込み 層を持つネットワークの高速化 • 3次元畳み込み • Pascal世代のGPUの為のFP16ルーティンの追加 Pascal世代GPU, リカレントニューラルネットワーク, パフォーマンスの向上 Performance relative to torch-rnn (https://github.com/jcjohnson/torch-rnn) DeepSpeech2: http://arxiv.org/abs/1512.02595 Char-rnn: https://github.com/karpathy/char-rnn 5.9x char-rnn RNN レイヤーの速度向上 2.8x DeepSpeech 2 RNNレイヤーの速度向上
- 30. 33 cuDNN Algorithms • 多種多様なアルゴリズムを提供。cuDNNが自動で最適なアル ゴリズムを決定 • CUDNN_CONVOLUTION_FWD_ALGO_IMPLICIT_GEMM • CUDNN_CONVOLUTION_FWD_ALGO_IMPLICIT_PRECOMP_GEMM • CUDNN_CONVOLUTION_FWD_ALGO_GEMM • CUDNN_CONVOLUTION_FWD_ALGO_DIRECT • CUDNN_CONVOLUTION_FWD_ALGO_FFT • CUDNN_CONVOLUTION_FWD_ALGO_FFT_TILING • CUDNN_CONVOLUTION_FWD_ALGO_WINOGRAD
- 32. 36 密行列演算ライブラリ: cuBLAS FP16(半精度浮動小数点)ストレージ FP32と比べて, 2倍のデータをGPUメモリに搭載可能, メモリバンド幅 要求が半分 cublasSgemmEx() FP16データ入出力対応の行列積 (演算はFP32) 符号部 (1 bit) 指数部 (5 bit) 仮数部 (10 bit)
- 33. 37 cuSPARSE: 疎行列演算ライブラリ 自然言語処理向け機能拡張 密行列 x 疎ベクトル cusparse<T>gemvi() y = α ∗ op(A) ∗ x + β ∗ y - 2 - - 1 y1 y2 y3 α + β y1 y2 y3 A11 A21 A31 A12 A22 A32 A13 A23 A33 A14 A24 A34 A15 A25 A35 密行列密ベクトル 疎ベクトル (例) テキスト内の単語の出現頻度 NVIDIA cuSPARSE
- 34. 38 NCCL(NVIDIA Collective Collection Library) マルチGPU集合通信ライブラリ • 最新リリースはv1.2.1 • https://github.com/NVIDIA/nccl all-gather, reduce, broadcast など標準的な集合通信の処理をバンド幅が出るように最適化 シングルプロセスおよびマルチプロセスで使用する事が可能 ディープラーニング SDK
- 35. 39 NCCL(NVIDIA Collective Collection Library) NCCLの集合通信処理
- 36. 40 NCCL パフォーマンス Bandwidth at different problem sizes (4 Maxwell GPUs) All-Gather All-Reduce Reduce-Scatter Broadcast
- 37. 41 DIGITS
- 38. 42 DIGITS WebベースのディープラーニングGPUトレーニングシステム ディープラーニング SDK ユーザー インターフェース レイヤーの 可視化 学習モデルの 作成 データセット の作成 学習過程の 可視化 DIGITS(UI/Server) ディープラーニングの学習・テストを 簡単に行う為のUI 別マシンからDIGITSを操作する為の サーバ機能 Chainer GPUGPU HW クラウドGPUクラスタマルチGPU Theano Torch Caffe cuDNN, cuBLAS CUDA 学習 NVCaffe cuDNN, cuBLAS CUDA NVCaffe BVLC/caffe(本家)からフォーク 最新のCUDAライブラリを使用 エヌビディアGPUに最適化
- 39. 43 NVIDIA DIGITS GPUで高速化されたディープラーニングトレーニング・システム Test Image 学習過程の可視化モデルの作成学習データの作成 モデルのテスト http://developer.nvidia.com/digits
- 44. 48 ディープラーニング・フレームワーク Caffe Torch7 Theano TensorFlow Chainer インターフェース C++/Python/Matlab Lua/C Python C/C++/Python Python cuDNN 5 5 5 5 5 ライセンス BSD-2 BSD BSD Apache 2.0 MIT マルチGPU (1ノード) ○ ○ ○ ○ モデルの柔軟性 △ ◎ ◎ ○ ◎ CNN ○ ○ ○ ○ ○ RNN ○ #2033 ○ ○ ○ ○ RBM × ○ ○ ○ ○ 備考 高速 Caffe Model Zoo 多数のアルゴリズムを サポート 自動微分 自動微分 TensorBoard Define by Run CuPy
- 45. 49 ディープラーニングの基礎
- 46. 50 NVIDIA ディープラーニング学習コース ディープラーニングの為の自習型のクラス。ハンズオンラボ、講義資料、講義の録画を公開。 ハンズオンラボは日本語で受講可能 https://developer.nvidia.com/deep-learning-courses 1. ディープラーニング入門 2. 画像分類の為のDIGITS入門 3. Caffe入門 4. Theano入門 5. Torch入門 NVIDIA ディープラーニング・インスティチュート
- 50. 54 ディープラーニングとは?
- 51. 55 人工ニューロン 神経回路網をモデル化 スタンフォード大学cs231講義ノートより 神経回路網 w1 w2 w3 x1 x2 x3 y y=F(w1x1+w2x2+w3x3) F(x)=max(0,x) 人工ニューロン
- 53. 57 ディープラーニングの恩恵 ロバスト性 特徴量の設計を行う必要がない。 – 特徴は自動的に獲得される学習用データのバラつきの影響を 押さえ込みながら、自動的に学習していく 一般性 同じニューラルネットワークのアプローチを多くの異なるアプリケーションやデータに適用する事が出来る スケーラブル より多くのデータで大規模並列化を行う事でパフォーマンスが向上する
- 54. 58 従来型の機械学習を用いた認識 人間が設計した特徴量を使用 Speaker ID, speech transcription, … Rowデータ 特徴抽出 結果分類・検出 SVM, shallow neural net, … HMM, shallow neural net, … Clustering, HMM, LDA, LSA … Topic classification, machine translation, sentiment analysis…
- 56. 60 Caffe
- 57. 61 Caffe 飛行機、自動車、鳥、猫、鹿、犬、蛙、馬、船、トラックの 10 個の分類 32 × 32 ピクセルの 6 万枚のカラー画像から成るデータセット CIFAR10 を用いた学習
- 58. 62 Caffe layer { name: "conv1" type: "Convolution" bottom: "data" top: "conv1" param { lr_mult: 1 } param { lr_mult: 2 } convolution_param { num_output: 32 pad: 2 kernel_size: 5 stride: 1 } } ネットワーク定義ファイル(例) 使用するネットワークの定義を行う レイヤーの数や、各レイヤーのタイプ レイヤータイプ毎のパラメータなどを記述
- 59. 63 Caffe # トレーニングとテストに使用するネットワークの定義 net: "examples/cifar10/cifar10_quick_train_test.prototxt" # テストイテレーション数 test_iter: 100 # 500トレーニングイテレーション毎にテスト test_interval: 500 # 学習率・モーメンタム base_lr: 0.001 momentum: 0.9 weight_decay: 0.004 # 学習率のポリシー lr_policy: "fixed" # 100 イテレーション毎に表示 display: 100 # イテレーション最大数 max_iter: 4000 ソルバー定義ファイル(例) トレーニングの際に使用するパラメーターのリスト DNNトレーニングアルゴリズムに渡される
- 60. 64 Caffe 以下のコマンドで学習を開始 ./build/tools/caffe train --solver=examples/cifar10/cifar10_quick_solver.prototxt 学習の実行 Caffeコマンド 学習時は”train”を指定 ソルバー定義
- 61. 65 Theano
- 63. 67 Theano Optimization complete. Best validation score of 98.397436 % obtained at iteration 6630, with test performance 98.387420 % MNISTを用いた学習:実行結果 可視化すると1万回反復してトレーニングしている間に 重みが変化している事が分かる 最終的に分類精度は98%を超える
- 64. 68 Torch7
- 66. 70 Torch7 Michelle, another defining place meant on the only time from the United States is a few years we're continued here to live up to balance on Ukraing; from Iraq. Let me took off in, loans and the people of Hawaii will justify just like a two. One of what reform can’t act as we can. Part of all the rights of somebody as so they described another accomplishine between 15- year believe. So the quiet Republican orgence of broadband new majuri with our head, a leader American had train and making ' 実行結果:Style=obama
- 67. 71 Torch7 CPU_DEBUG + this_cpu->expect->state = PM_SUSPEND_MAX); } static inline void torture_ops_trace_trace_clock(struct ring_buffer_event *event) { u64 rw = (struct cgroup_subsys_state *css && !LOCK_RMODED & fail); return ret; } static void perf_string_print(struct timespec __user *, bin_niveltist Clock_vidch, struct pid_namespace *ns, unsigned int idx) { unsigned long flags = a; if (handler_nid) return NULL; if (atomic_dec_and_test(&jiffies)) put_futex_key := when allocate_st 実行結果:Style=linux
- 68. 72 NVIDIA ディープラーニング学習コース ディープラーニング・インスティチュートで今後公開予定のコース 1. TensorFlow入門 2. CNTK入門 3. Chainer入門 4. DIGITS中級講座 NVIDIA ディープラーニング・インスティチュート
- 69. 73 参考 • ディープラーニング学習コース • https://developer.nvidia.com/deep-learning-courses (学習コース/講義資料・録画) • https://nvidia.qwiklab.com/lab_catalogue (ハンズオンラボ) • Caffe • http://caffe.berkeleyvision.org/ (公式) • Torch • http://torch.ch/ (公式) • Theano • http://deeplearning.net/software/theano/ (公式) • TensorFlow • http://tensorflow.org/ (公式) • Chainer • https://github.com/pfnet/chainer (公式) • https://github.com/hido/chainer-handson (Jupyter Notebook) • CNTK • https://cntk.codeplex.com/ (公式) ディープラーニング・フレームワーク関連サイト
- 70. Thank you!