2018/6/26 deep learning Neural Network Console hands-on
•Download as PPTX, PDF•
3 likes•4,833 views
This is a slide we have showed neural network console hands-on in 26th of June.
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 2018/6/26 deep learning Neural Network Console hands-on
Similar to 2018/6/26 deep learning Neural Network Console hands-on (20)
2018/6/26 deep learning Neural Network Console hands-on
- 1. ソニーネットワークコミュニケーションズ株式会社 / ソニー株式会社 シニアマシンラーニングリサーチャー 小林 由幸 Neural Network Console ハンズオン
- 2. 2 自己紹介 小林 由幸 1999年にソニーに入社、2003年より機械学習 技術の研究開発を始め、音楽解析技術「12音 解析」のコアアルゴリズム、認識技術の自動 生成技術「ELFE」などを開発。近年は 「Neural Network Console」を中心にディー プラーニング関連の技術・ソフトウェア開発 を進める一方、機械学習普及促進や新しいア プリケーションの発掘にも注力。 こばやし よしゆき
- 3. 3 目次 • Deep Learningの基礎知識とNeural Network Console • Neural Network Consoleチュートリアルとハンズオン • セットアップ • サンプルプロジェクトの実行 • 分類問題（画像入力） • 分類分類（画像以外） • ニューラルネットワーク設計の基礎まとめ • 作成した認識機の製品・サービス等への組み込み • 構造自動探索 • GPUを用いた学習 • まとめ
- 4. 4 Deep Learningの基礎知識とNeural Network Console
- 5. 5 Deep Learningとは 脳の学習機能をコンピュータでシミュレーションするニューラルネットワークを用いた技術 神経細胞 人工ニューロン x1 x2 x3 … y 𝑦 = 𝑓 𝑤𝑖x𝑖 + b ニューラルネットワーク （1960～1990頃） Deep Learning (2006～) 0 1 入力層 中間層 出力層 … … … 1～2層の中間層 … … … … … … … 入力層 出力層 3層～1000以上の中間層 数十Ｍ規模のニューロン数 大規模なニューラルネットワークの 学習が可能になり、大幅に性能向上
- 6. 6 認識機を作成するために必要な作業（画像認識機における例） … … … … … … … 画像認識機 （Neural Network） Input：画像 Output：画像認識結果 「2」 1. データセットを用意する 入力と、期待する出力のペアを多数用意 2. ニューラルネットワークの構造を 設計する （サンプルを利用可能） 3. 用意したデータセットで、設計した ニューラルネットワークを学習する 基本的にはこの3ステップで画像認識機を作成することができる … 「0」 … 「1」 … 「2」 … 「3」 … 「4」 … 「5」 … 「6」 … 「7」 … 「8」 … 「9」
- 7. 7 Feed Forward Neural Networkの構成例 28×28 8×8×16 4×4×16 24×24×6 12×12×6 入力 出力 1 x 28 x 28 6 x 24 x 24 16 x 12 x 12 16 x 8 x 8 16 x 4 x 4 120 convolution maxpooling tanh convolution maxpooling tanh affine tanh 16 x 12 x 12 16 x 4 x 4 affine softmax 120 10 10 120 10 Convolutional Neural Network Convolution 6種の5x5フィルタを 畳み込み Convolution 16種の6x5x5フィルタを 畳み込み 2↓ MaxPooling + tanh Affine +tanh Affine +softmax 2↓ Maxpooling (sub sampling) + tanh ニューラルネットワークは乗加算計算を主とする関数の組み合わせで表現できる
- 9. 9 -1.5 -1 -0.5 0 0.5 1 1.5 -6 -4 -2 0 2 4 6 Output Input Tanh （活性化関数） 入力値を-1～1の範囲に収める MaxPooling （プーリング層） 8 x 8 4 x 4 Input Output 隣接ピクセルで最大値を取り、 ダウンサンプリング
- 10. 10 学習データを用いたWの更新方法 ニューラルネットワークでは、乱数で初期化したパラメータWをミニバッチ勾配降下法 （Mini-Batch Gradient Descent）で最適化するのが一般的 入力x 出力y 0 1 2 3 4 5 6 7 8 9 … … … … 1. 学習データからミニバッチ（256個程度のデータ）を取得 2. 用意したデータを用いてForward計算を行い、現在のパラ メータWによる出力yとロス（最小化したい値）Eを求める 3. Backward計算を（ロスEの逆伝播）行い、パラメータWの 勾配ΔWを求める 4. Updateを行う（求めた勾配ΔWを元にWを更新） 2. Forward （入力から出力を計算） ロスE 3. Backward （パラメータの勾配を計算） パラメータW パラメータの勾配ΔW w E δE δW Forward→Backward→Updateを繰り返し、パラメータWを最適化していく 𝑊𝑡+1 ← 𝑊𝑡-𝜂Δ𝑊𝑡 0 1 2 3 4 5 6 7 8 9 正解
- 11. 11 入出力次第で無限に広がるDeep Learningの応用 Deep Learning応用開発人材の育成と、活用の促進が求められる …入力 出力 実現する機能 入力 出力 画像認識 画像 カテゴリ 文章の自動仕分け 文章 文章カテゴリ 音声認識 音声 文字列 機械翻訳 英単語列 日単語列 人工無能（チャット） 入力発話の単語列 期待応答の単語列 センサ異常検知 センサ信号 異常度 ロボット制御 ロボットのセンサ ロボットのアクチュエーター … 実現する機能
- 12. 12 Neural Network Console 商用クオリティのDeep Learning応用技術（画像認識機等）開発のための統合開発環境 コーディングレスで効率の良いDeep Learningの研究開発を実現 クラウド版（CPU 10時間まで無償）Windows版（無償） dl.sony.com インストールするだけ、もしくはサインアップするだけで本格的なDeep Learning開発が可能 成果物はオープンソースのNeural Network Librariesを用いて製品、サービス等への組み込みが可能
- 13. 13 Neural Network Console チュートリアル セットアップ
- 14. 14 セットアップ：Windows版 1. zipファイルをダウンロード 2. 適当なフォルダに解凍 ダウンロードしたzipファイルを解凍するだけで基本的なセットアップは完了 日本語マニュアル Neural Network Consoleアプリ ※Neural Network Consoleは2バイト文字に対応していないため、漢字等の含まれないフォルダへの解凍が必要 ※Visual Studio 2015の再頒布パッケージがインストールされていない場合はインストール ※NVIDIAのGPUを用いる場合、GPUドライバを最新のものにアップデート
- 15. 15 セットアップ：Cloud版 新規アカウントを作成し、ログインするだけで利用の準備が完了 1. アカウントを作成 2. 作成したアカウントでログイン
- 16. 16 Neural Network Console チュートリアル サンプルプロジェクトの実行
- 19. 19 画像認識用ネットワーク（1層 Logistic Regression）を確認する ←1（モノクロ）×28（Height）×28（Width）の画像入力 ←全結合層 入力（1,28,28）→出力（1） ←Sigmoid関数によるアクティベーション ←ロス関数(1) ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ … ○ Input 1x28x28 Affine ○ 全結合 ○ OutputSigmoid 4(=0) or 9(=1) 1層のネットワークで4と9の数字を見分ける課題 28 28 EDITタブにて、下記の1層ニューラルネットワークが入力されていることを確認
- 22. 22 Neural Network Console チュートリアル 分類問題（画像入力）
- 24. 24 データセットの準備（画像分類問題） 入力xには画像ファイル名を指定 出力yには正解のカテゴリのIndexを記述 1行目 ＝ヘッダ 変数名[__次元Index][:ラベル名] 2行目以降 ＝データ 値 or ファイル名 xとy、2つの変数 ヘッダ データ (2行目以降)Neural Network 入力 x 画像 出力 y カテゴリ Neural Network Consoleに対応したデータセットファイルは簡単なスクリプトで作成可能 画像認識機学習用データセットの例 Neural Network Console所定のCSVファイルフォーマットでデータセットを準備 ※Neural Network Consoleは2バイト文字に対応していないため、 CSVファイル内やファイル名に漢字等を含まないようにする
- 26. 26 データセットのアップロード（Cloud版の場合） 1. ダッシュボードからUpload Datasetを選択 2. アップローダをダウンロード （Windows / MacOS） 3. アップローダを用いてデータセット CSVファイルとデータをアップロード Upload Datasetで表示されるトークンをアップローダに Pasteし、アップロードするデータセットCSVを指定して Startボタンを押すことでアップロードを開始
- 29. 29 画像認識用ネットワーク（1層 Logistic Regression）を設計する ←1（モノクロ）×28（Height）×28（Width）の画像入力 ←全結合層 入力（1,28,28）→出力（1） ←Sigmoid関数によるアクティベーション ←ロス関数(1) ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ … ○ Input 1x28x28 Affine ○ 全結合 ○ OutputSigmoid 4(=0) or 9(=1) 1層のネットワークで4と9の数字を見分ける課題 28 28 EDITタブにて関数ブロックを組み合わせ、1層ニューラルネットワークを設計 ドラッグ＆ドロップ操作で、視覚的にニューラルネットワークを設計
- 31. 31 画像認識用ネットワーク（2層 Multi Layer Perceptron）を設計 IOカテゴリより、Input Basicカテゴリより、Affine Activationカテゴリより、Tanh Basicカテゴリより、 Affine Activationカテゴリより、 Sigmoid Lossカテゴリより、BinaryCrossEntropy を追加
- 33. 33 1層のLogistic Regression～4層のCNNまで 1層（Logistic Regression） 2層（Multilayer perceptron） Convolutional Neural Networks(CNN) Input：データ入力 → Convolution → ReLU → MaxPooling → Affine → ReLU → Affine → Softmax → Categorical Crossentropy 繰り返し 配置 最後の 仕上げ (分類問題時)
- 34. 34 Neural Network Console チュートリアル 分類問題（画像以外）
- 35. 35 データセットの準備（ベクトルデータ） 例） Iris Flower Dataset あやめのがく、花びらの長さ、幅からあやめの種類(3種類)を認識 以下のようなフォーマットのデータセットCSVを用意 がく、花びらの長さ、幅 あやめの種類 0: Iris setosa 1: Iris versicolor 2: Iris virginica 入力ベクトル x 目的変数 y
- 36. 36 Iris Flower Datasetを用いた学習 • 新規プロジェクトを作成 • Projectから+ New Projectを選択 • DATASETタブにて、iris_flower_dataset を読み込み • 学習用、評価用それぞれにtraining_delo, validation_deloを読み込む • Windows版の場合、neural_network_consolesamplessample_datasetiris_flower_datasetにあるCSVファイル を開く • EDITタブにて、以下のようなネットワークを構築 • 学習、評価の実行→Affine層+活性化関数を足して多層化 ←要素数4（ x__0～x__3 ）のベクトル入力 Sizeプロパティを4に変更 ←全結合層 3ニューロン（0～2であるyに対応）を出力 OutShapeプロパティを3に変更 ←Softmax関数により、入力値を合計が1となる確率値にする ←ロス関数(1)
- 39. 39 Neural Network Console チュートリアル ニューラルネットワーク設計の基礎まとめ
- 40. 40 ニューラルネットワーク設計の基礎 • 入力ニューロンの数を入力データの次元数、出力ニューロンの数を出力データの 次元数に設定 • 画像分類問題の場合の例 • 入力ニューロン数：色数×高さ×幅 • 28x28ピクセルのモノクロ画像を入力する場合、(1, 28, 28)の配列となる • 出力ニューロン数：画像カテゴリ数 • 画像を10カテゴリに分類する場合、10とする 入力ニューロン数 ＝入力データの次元数 出力ニューロン数 ＝出力データの次元数28 28 X:0,Y:0 X:1,Y:0 X:2,Y:0 X:3,Y:0 X:4,Y:0 X:5,Y:0 X:26,Y:27 X:27,Y:27 784 10 0 1 2 3 4 5 6 7 8 9 … … … …
- 41. 41 ニューラルネットワーク設計の基礎 1層を構成する基本構造 • Convolution層 畳み込み 出力を平均0、分散1に正規化 活性化関数 ダウンサンプリング（必要に応じて） 全結合 平均0、分散1に正規化 活性化関数 • Affine（全結合）層 • これらの構造を複数つなぎ合わせることで、多層ネットワークを構成するのが基本 • 活性化関数は他のものを使ってもよい
- 45. 45 Neural Network Console チュートリアル 作成した認識機の製品・サービス等への組み込み
- 46. 46 作成した認識機を利用する方法は3通り • Neural Network LibrariesのCLI（Python利用）からの実行 簡単だが低速 • Neural Network Libraries Pythonコードからの実行 比較的容易かつ高速 • Neural Network Libraries C++からの実行 コンパクトに製品搭載する際に • https://github.com/sony/nnabla/tree/master/examples/cpp/mnist_runtime python "(path of Neural Network Console)/libs/nnabla/python/src/nnabla/utils/cli/cli.py" forward -c Network definition file included in the training result folder (net.nntxt) -p Parameter file included in the training result folder (parameters.h5) -d Dataset CSV file of input data -o Inference result output folder 1. Neural Network Console上で推論に用いるネットワークを右クリックして、Export、Python Code （NNabla）を選択→ネットワークの定義コードがクリップボードにコピーされる 2. 学習結果のparamters.h5を、load_parametersコマンドで読み込み import nnabla as nn nn.load_parameters('./parameters.h5') 3. 2によりパラメータが読み込まれた状態で、1でExportされたネットワークを実行（forward）
- 47. 47 Neural Network Console チュートリアル 構造自動探索
- 48. 48 構造自動探索機能 • ネットワーク構造の変更→評価 を自動で繰り返すことにより、 優れたネットワーク構造を自動 探索する機能 • 精度とフットプリントの同時最 適化が可能 • ユーザは、最適化の結果の得ら れる複数の解の中から、所望の 演算量と精度を持つネットワー ク構造を選択できる ネットワーク構造のチューニングにおける最後の追い込み作業を大幅に効率化 フットプリントも同時最適化するため、HWリソースの限られた組み込み用途にも有効 ※ グラフの縦軸は誤差、横軸は演算量（log）、各点はそれぞれ異なるニューラルネットワークの構造を示す ※ 動画は最適化済み結果を早送りしたもの
- 49. 49 構造自動探索を試す • 02_binary_cnnサンプルプロジェクトを開く • 構造自動探索を有効にする • CONFIGタブ、Global Configにて Structure SearchのEnableをチェック • Multiply AddのMaxを500,000に設定 （ネットワークの乗加算回数の上限値） • 学習を実行 • 学習が終わると、ネットワークの一部を変更した新しいネットワークの学習がスタートする • 学習は停止操作を行うまで繰り返される（Cloud版の場合2時間が経過するか、100回繰り返すと自動停止）
- 51. 51 Neural Network Console チュートリアル GPUを用いた学習
- 53. 53 Cloud版では豊富なGPUリソースが利用可能 • ニューラルネットワークの学習には膨大な演算が必要 • 必要な演算量は主に扱うデータの量とニューラルネットワークの 構造に依存 • GPU、マルチGPUを用いると、学習完了までの時間を 大幅に短縮できる • ネットワークにもよるが、10倍～数百倍高速に学習できる • 同じ開発期間でより多くの試行錯誤を行うことが可能に • 環境のセットアップ、メンテナンス作業不要で豊富な GPUリソースを利用可能 • 開発者はDeep Learningの開発作業に集中できる 最先端研究者と同等の環境（1ジョブあたり8GPU×無制限の並列利用）をGUI環境から利用可能
- 54. 54 シングルGPUにおける学習時の動作 Fwd/Bwd 1 iteration GPU Fwd/Bwd Fwd/Bwd Fwd/Bwd… Time １ epoch Num data / Batch size Fwd/Bwd Update 1 epochの間にデータセットのデータ数÷Batch Size回以下の動作を行う • CONFIGタブ、Global ConfigのBatch Sizeで指定した数のデータをデータセットから取得 • 取得したデータを用いてニューラルネットワークのパラメータの勾配を計算 （Forward/Backward） • 求めた勾配を用いてニューラルネットワークのパラメータを更新（Update）
- 55. 55 マルチGPU時における学習時の動作 Fwd/BwdGPU 1 Fwd/Bwd Fwd/Bwd… Time 1 epoch Num data / (Batch size * Num GPU) Fwd/BwdGPU 2 Fwd/Bwd Fwd/Bwd… Fwd/BwdGPU 3 Fwd/Bwd Fwd/Bwd… Fwd/BwdGPU n Fwd/Bwd Fwd/Bwd… … UpdateSync1 iteration Forward/Backward計算と Update計算の間に以下の 処理が入る • 求めた勾配を全ての GPU間で平均（Sync）
- 56. 56 マルチGPU学習とシングルGPU学習の関係 Fwd/Bwd 256×4 data GPU＝Fwd/Bwd 256 data / GPU GPU 1 Fwd/BwdGPU 2 Fwd/BwdGPU 3 Fwd/BwdGPU 4 Multi-GPU Single-GPU シングルGPU時と同じ結果を得るには、 Learning RateをGPU数倍する 例）シングルGPU時Learning Rate 0.1のプロジェクトを 4GPUで学習するには、Learning Rateを4倍の0.4とする マルチGPUを用いた学習は、シングルGPUにおけるBatch SizeをGPU数倍した学習に相当
- 57. 57 マルチGPUの使いどころ マルチGPU学習が適さないケース 学習に要する時間が極めて短い • 1 Iterationの演算に要する時間が極端に短い場 合（10ms以下など）、マルチGPUの場合GPU 間の通信に要する時間等、その他のオーバー ヘッドが支配的に 1つのデータのサイズが小さい 1つの関数の処理にかかる時間が短い • 各レイヤーのForward、Backward演算に要す る時間が極めて短い（0.1ms以下など）ような ネットワークではGPUによる高速化効果が得 られづらいことがある マルチGPU学習が適したケース 学習に要する時間が長い • シングルGPUでは1度の学習に数日～数週間を 要するケース • 4GPU、8GPUの利用により最大4倍、8倍に学 習時間を短縮可能 演算量に対するパラメータサイズが小 さいネットワーク • 画面右下に表示されるCostMultiplyAdd（演算 量）に対してCostParameter（パラメータサイ ズ）が小さいネットワークほど効率よく複数の GPUを利用できる プロジェクトの特性に合わせて効果的にマルチGPUの活用を
- 58. 58 まとめ
- 61. 61 まとめ Neural Network Consoleを用いた開発の流れ プロジェクトの作成→データの読み込み→ネットワーク設計→学習→評価 様々なデータの扱い データセットCSVファイルを介して、画像、音声、ベクトル、テキストなど、様々なデータを 扱うことができる ニューラルネットワーク設計の基礎 Convolution層、Affine層の繰り返し構造が基本 解きたい課題（2値分類、分類、回帰等）に合わせて最終層とロス関数を設定 作成したモデルの製品・サービス等への組み込み Python（CLI）、Python（NNabla API）、C++の3通りから選択できる Neural Network Consoleで快適なDeep Learningライフを