ぼくの実装した最弱のディープラーニング
•Download as PPTX, PDF•
37 likes•36,108 views
最近流行のディープラーニングを実装して画像認識しようとしたけどなかなかうまく学習してくれない話をしようと思ったのだけど、どうやらうまくいき始めたようです。
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
More from なおき きしだ
More from なおき きしだ (20)
ぼくの実装した最弱のディープラーニング
- 2. 機械学習
- 4. 機械学習とは • 多数のデータからパラメータを学習する • いろいろ判定に使う • あんまりファンタジーじゃない
- 7. 活性化関数 • 入力に、なにか掛けて足すだけでは線形にし かならない • 非線形な活性化関数を入れる – シグモイド関数 – ReLU(正規化線形関数) • 計算が速い！
- 11. ディープラーニングによる画像識別
- 12. ディープラーニング • 階層の深いニューラルネット • 最近、人工知能っていわれてるのは、ほぼこれ • いままでできなかったわけ – コンピュータが遅かった • GPUで速い計算 – データがなかった • インターネッツ！ – データあさり放題 • クラウドソーシング！ – ImageNetの1400万の画像はクラウドソーシングでタグ付けして るらしい
- 13. 参考文献 • 「深層学習」 – 広い範囲が解説してある – http://www.amazon.co.jp/dp/4061529021 • AlexNet論文 – パラメータなどが詳しく説明して ある http://www.cs.toronto.edu/~fritz/absps/imagenet.pdf
- 14. 畳み込みニューラルネット • 畳み込み層やプーリング層といった、特徴的 なレイヤーを持つニューラルネット • 画像識別に向いている • AlexNetで有名に – 2012年のILSRVCで2位に大差をつけて優勝
- 18. AlexNetの構造 • C->P->N->C->P->N->C->C->C->P->F->F->F – C:畳み込み層 • 96/256/384/384/256 – P:プーリング層 – N:正規化層 – F:全結合 • 4096/4096/1000 • いま動いてるやつ – C->P->N->C->P->N->F->F • C:48/96 • F:1024/256
- 19. 学習の工夫
- 24. ドロップアウト • 複数の機械学習の結果を平均させるとい い結果になる。 • 複数の機械学習器を用意するのは面倒 • ニューラルネットの ユニットを確率的に 省く – 構造の違う ニューラルネット！
- 25. doubleではなくfloatを使う • 学習に精度はあまり関係ない – 「誤差の減り方は殆ど同じであり、数値に高い精 度は必要ない」 http://news.mynavi.jp/articles/2015/04/08/gtc2015_google/ • 速くなった！ – float 95枚/分 – double 75枚/分
- 26. ぼくの機械学習が学習してくれなかっ たわけ • フィルタの初期値が大きすぎた – フィルタは標準偏差0.01、平均0のガウスノイズに – バイアスは0か1 • 青イルカ本に書いてない工夫 – 局所正規化 • となりのフィルタ出力と平均化させる – 重み減衰を取り入れる • aparapiのバグ！ – これはひどい
- 27. GPU対応
- 28. GPUつよい！ • GPU – ちょうたくさんコアがある – 同じ処理を行う – 行列計算に向いてる • GTX 970 – 1664コア！ – 衝動買い！
- 29. aparapi – A PARalell API – Javaで書いたコードを実行時にOpenCLのコードに 自動変換してくれる。 – JavaでGPUコードが書ける！ – Mac Book Proでもいける！(Intel Iris Pro)
- 30. 記述 • Kernelを継承 • runを実装 – getGlobalId()でインデックスを取る • executeを呼び出し – 引数で与えた回数 runが呼び出される @Override public void run() { int fxy = getGlobalId(); float d = result[fxy] >= 0 ? delta[fxy] : 0; tempBiasDelta[fxy] = learningRate * d; } execute(outputChannels * outputWidth * outputHeight);
- 31. 効果 • AlexNetの学習 • 自宅 (Core i7 4コア+GTX 970) – CPU 15枚/分 – GPU 95枚/分 • このMac(Core i7 4コア+Intel Iris Pro) – CPU 12枚/分 – GPU 16枚/分 • ImageNetのサンプル1400万枚が100日で学習で きる！ – CPUなら640日！
- 32. バグがある・・・ • 三項演算子のカッコが反映されない – (修正してプルリクなげてます) • CPUとの結果と比較するテストを用意したほうが いい – けど、丸めの違いを考慮するの面倒 void proc(int fxy) { float d = (result[fxy] >= 0 ? 1 : 0) * delta[fxy]; tempBiasDelta[fxy] = learningRate * d; } void kishida_cnn_kernels_ConvolutionBackwordBiasKernel__proc(This *this, int fxy){ float d = (float)(this->result[fxy]>=0.0f)?1:0 * this->delta[fxy]; this->tempBiasDelta[fxy] = this->learningRate * d; return; }
- 33. 〆
- 34. 課題 • ミニバッチ内のサンプルが偏らないようにす る • 学習結果の保存・読み込み – (9/5-6の土日に実装した) • 学習結果を使った判定 – いまはドロップアウトしたまま