ディープラーニングの車載応用に向けて

2. 私の経歴 2005年 2005-07年 2008年米国メリーランド大学にて博士号取得（物理）米国の国立研究所にてポスドクデンソーアイティーラボラトリ入社車載カメラを使った自動車の走行安全に関する研究開発に従事 ~現在 CNNによる歩行者検知＆身長・距離・体向き推定の研究 NVIDIA Tegra K1使用 Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. 2/72

7. 2012年10月、画像分類のコンペでこれまでの常識をくつがえすある結果が報告された … baseball volleyball bee ox printer … 例）baseballの画像確度与えられた画像を適切な項目（クラス）に分類すること ※項目の種類は既知アルゴリズム Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. 7/72

8. 2012年10月、画像分類のコンペでこれまでの常識をくつがえすある結果が報告された … baseball volleyball bee ox printer … 例）baseballの画像確度与えられた画像を適切な項目（クラス）に分類すること ※項目の種類は既知アルゴリズム正解！ Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. 8/72

9. 2012年10月、画像分類のコンペでこれまでの常識をくつがえすある結果が報告された ImageNet Large Scale Visual Recognition Challenge (ILSVRC) Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. http://image-net.org/challenges/LSVRC/2012/index 128万枚の訓練画像と正解クラスを学習学習フェーズテストフェーズ 10万枚の評価画像の分類性能を評価 baseball printer ox ?? ?? アルゴアルゴ 9/72

10. 2012年10月、画像分類のコンペでこれまでの常識をくつがえすある結果が報告されたあらかじめ決められた手順でピクセルをベクトル化し線形分類 Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. … 特徴抽出（輝度勾配の方向ヒストグラムなど） ~10万次元~100次元統計処理線形分類特徴量 3 2 1 … baseball volleyball bee ox printer … 確度 10/72

11. 2012年10月、画像分類のコンペでこれまでの常識をくつがえすある結果が報告されたエラー率はだいたい25％程度だった (top-5 guess) Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. http://image-net.org/challenges/LSVRC/2010/results http://image-net.org/challenges/LSVRC/2011/results 2010 NEC-UIUC 2011 Xerox 28.2% 25.8% エラー率 11/72

12. 2012年10月、画像分類のコンペでこれまでの常識をくつがえすある結果が報告されたいきなり10％近くエラーを下げたチームが現れた！！ Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. http://image-net.org/challenges/LSVRC/2012/results 2010 NEC-UIUC 2011 Xerox 28.2% 25.8% エラー率 2012 U. Toronto 16.4% 12/72

13. 2012年10月、画像分類のコンペでこれまでの常識をくつがえすある結果が報告された U of Torontoチームの手法：Deep Convolutional Neural Network Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. 入力（画像）出力（クラス確度）５つの畳み込み層と３つの全結合層 →とにかく深い A. Krizhevsky, et al., “ImageNet Classification with Deep Convolutional Neural Networks”, NIPS2012. 13/72

14. 2012年10月、画像分類のコンペでこれまでの常識をくつがえすある結果が報告された専門家にとって何が一番衝撃的だったのか？ Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. 入力（画像）出力（クラス確度）５つの畳み込み層と３つの全結合層 →とにかく深い A. Krizhevsky, et al., “ImageNet Classification with Deep Convolutional Neural Networks”, NIPS2012. 特徴抽出が・・・全くない（明示的には） 14/72

15. 2012年10月、画像分類のコンペでこれまでの常識をくつがえすある結果が報告された専門家にとって何が一番衝撃的だったのか？ Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. 入力（画像）出力（クラス確度）５つの畳み込み層と３つの全結合層 →とにかく深い A. Krizhevsky, et al., “ImageNet Classification with Deep Convolutional Neural Networks”, NIPS2012. ぜーんぶデータまかせ（構造を手で決めること以外は） 15/72

16. 2012年10月、画像分類のコンペでこれまでの常識をくつがえすある結果が報告された構造の決め方は、やはりみんな気になった Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. A. Krizhevsky, et al., “ImageNet Classification with Deep Convolutional Neural Networks”, NIPS2012. どうして５層なんですか？４層を試したけど５層の方が性能が良かった６層も試したけど学習に時間がかかりすぎて収束できなかった参加者A Krizhevsky氏けど６層を収束させることができたら、性能はさらに向上するでしょう 16/72

18. 衝撃は2012年にとどまらなかった翌年、さらに性能を上げ Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. 2010 NEC-UIUC 2011 Xerox 28.2% 25.8% エラー率 M. Zeiler and R. Fergus, “Visualizing and Understanding Convolutional Networks”, ECCV2014. 2012 U. Toronto 2013 Clarifai 16.4% 11.7% 18/72

19. 衝撃は2012年にとどまらなかったさらに翌年、Krizhevsky氏の予言は的中した Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. 2010 NEC-UIUC 2011 Xerox 28.2% 25.8% エラー率 2012 U. Toronto 2013 Clarifai 16.4% 11.7% C. Szegedy, et al., “Going Deeper with Convolutions”, CVPR2015. 2014 Google 6.67% 22畳み込み層！！ 19/72

20. 衝撃は2012年にとどまらなかった Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. 2010 NEC-UIUC 2011 Xerox 28.2% 25.8% エラー率 2012 U. Toronto 2013 Clarifai 16.4% 11.7% K. He, “Deep Residual Learning for Image Recognition”, arxiv:1512.03385, 2015. 2014 Google 6.67% 2015 MSR 3.57% 一般人 5.1% 152畳み込み層！！！ 20/72

40. なぜ良い性能が出せるの？ Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. 2 プーリングプーリングプーリング全結合全結合全結合畳み込み畳み込み畳み込み理由１人手による特徴抽出がない（ヘタに教示しないほうがよい）パラメタがいろいろな深さ（解像度）で使用されている理由２（経験では解像度を高くすることで性能が出せることが多い） 40/72

41. どうやって構造を決定すればよいの？ Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. 3 畳み込みとプーリングは交互に繰り返す。入力画像サイズが与えられると、プーリングの回数が自ずと定まる。全結合層は３層とする（経験的に良い）。層の決定指針プーリングプーリングプーリング全結合全結合全結合畳み込み畳み込み畳み込みこれをベースモデルとし、これに畳み込み層を追加するなどした比較モデルと比較評価をする 41/72

42. どの程度データを与えればよいの？ Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. 4 データサイズがビッグデータスモールデータ人手による特徴抽出＋線形SVM ディープラーニング転移ゾーン大きい場合はディープラーニングを使う方が性能が出る小さい場合はディープラーニング以外の手法を使う方が性能が出ることが多い 42/72

55. ディープラーニングの課題 Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. それは膨大な演算量！運用時学習時 2014.3 2015.6 尾崎, 蓑谷, 杉山(デンソー), “Deep Neural Networks (DNN) による車載向け画像認識ハードウェアの開発”, SSII2015. 車載GPU FPGA （デンソーITラボ）（デンソー） I. Sato and H. Niihara, “Beyond Pedestrian Detection: Deep Neural Networks Level- Up Automotive Safety”, GPU Technology Conference 2014. 2015.12 Neural Processing Unit （Qualcomm） https://www.qualcomm.co m/invention/cognitive- technologies/zeroth 55/72

56. ディープラーニングの課題 Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. それは膨大な演算量！運用時学習時 2014.3 2015.6 尾崎, 蓑谷, 杉山(デンソー), “Deep Neural Networks (DNN) による車載向け画像認識ハードウェアの開発”, SSII2015. 車載GPU FPGA （デンソーITラボ）（デンソー） I. Sato and H. Niihara, “Beyond Pedestrian Detection: Deep Neural Networks Level- Up Automotive Safety”, GPU Technology Conference 2014. 2015.12 （Qualcomm） https://www.qualcomm.co m/invention/cognitive- technologies/zeroth Neural Processing Unit アルゴリズムが固まってきた（並列度高、順列度低）ハード設計により実時間処理が可能になり量産化に明るい兆し 56/72

57. ディープラーニングの課題 Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. それは膨大な演算量！運用時学習時 2014.12 Y. Chen, et al., “DaDianNao: A Machine- Learning Supercomputer”, MICRO2014. ASIC （中国科学院） 2015 数千台の CPU分散数十台の GPU分散約百台の GPU分散（デンソーITラボ）（Baidu）（Google） 2015.12012.12 J. Dean, et al, “Large Scale Distributed Deep Networks”, NIPS 2012. R. Wu, et al, “Deep Image: Scaling up Image Recognition”, arxiv:1501.02876v2, 2015. 東工大 TSUBAME スパコン 57/72

58. ディープラーニングの課題 Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. それは膨大な演算量！運用時学習時 2012 U. Toronto 2013 Clarifai 2014 Google エラー率 16.4% 11.7% 6.67% 4.94% 5.98% 2015.1 Baidu （参考記録） 2015.2 Microsoft ILSVRCコンペでは分散学習が当たり前に 2GPU 数千CPU 数十(?)GPU 8GPU 58/72

59. もはやTech Giantsの独壇場ディープラーニングの課題 Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. それは膨大な演算量！運用時学習時 2012 U. Toronto 2013 Clarifai 2014 Google エラー率 16.4% 11.7% 6.67% 4.94% 5.98% 2015.1 Baidu （参考記録） 2015.2 Microsoft ILSVRCコンペでは分散学習が当たり前に 2GPU 数千CPU 数十(?)GPU 8GPU 59/72

60. もはやTech Giantsの独壇場ディープラーニングの課題 Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. それは膨大な演算量！運用時学習時 2012 U. Toronto 2013 Clarifai 2014 Google エラー率 16.4% 11.7% 6.67% 4.94% 5.98% 2015.1 Baidu （参考記録） 2015.2 Microsoft ILSVRCコンペでは分散学習が当たり前に 2GPU 1GPU 数千CPU 数十(?)GPU 8GPU 学習データの大規模化単一の計算機では学習時間が膨大に大規模な計算資源を使った分散計算が主流に 60/72

61. ちょっとここで学習に必要な時間を見てみましょう Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. モデル独自設計のCNN データ１画像を１回feedforwardするのに必要な演算量 ILSVRC2012データセット（128万枚の学習画像、1000クラス）計15層 3900万パラメタ約 2ギガ浮動小数点演算回数１回の学習時間の実測値約40日１台のTesla K40 130 epoch (cycle) 仮定仮定積算と和算のみカウント画像処理を含めない 61/72

62. ちょっとここで学習に必要な時間を見てみましょう Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. モデル独自設計のCNN データ１画像を１回feedforwardするのに必要な演算量 ILSVRC2012データセット（128万枚の学習画像、1000クラス）計15層 3900万パラメタ約 2ギガ浮動小数点演算回数１回の学習時間の実測値仮定積算と和算のみカウント画像処理を含めない製品開発には最低10試行必要製品化困難約40日 62/72

63. 共通(?)認識 Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. データの爆発的増大によって、いつか学習が終わらなくなるポイントが来るのではないか？ ILSVRCよりも大きな非公開データを持っている企業は少なくない学習計算のマシンスケーラビリティは今のところ限定的 (((( ；ﾟДﾟ)))ｶﾞｸｶﾞｸﾌﾞﾙﾌﾞﾙ冬の時代が再来？？ 63/72

64. 弊社の取り組み Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. 東京工業大学のGPUスパコンTSUBAMEを利用して学習高速化の研究を実施。謝辞本検討はTSUBAMEグランドチャレンジ＆トライアルユース制度を利用したものである。 48~96GPUの利用により、数十倍のiteration速度高速化を達成。 64/72

65. 弊社の取り組み Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. 東京工業大学のGPUスパコンTSUBAMEを利用して学習高速化の研究を実施。謝辞本検討はTSUBAMEグランドチャレンジ＆トライアルユース制度を利用したものである。 48~96GPUの利用により、数十倍のiteration速度高速化を達成。正解：一輪車対象がほとんど写っていないが、周りのコンテキストから注目物体を推定 65/72

66. 弊社の取り組み Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. 東京工業大学のGPUスパコンTSUBAMEを利用して学習高速化の研究を実施。謝辞本検討はTSUBAMEグランドチャレンジ＆トライアルユース制度を利用したものである。 48~96GPUの利用により、数十倍のiteration速度高速化を達成。正解：シャボン玉半透明物体の透けた部分から、背景の特徴が混入するにも関わらず、認識できている 66/72

67. 弊社の取り組み Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. 東京工業大学のGPUスパコンTSUBAMEを利用して学習高速化の研究を実施。謝辞本検討はTSUBAMEグランドチャレンジ＆トライアルユース制度を利用したものである。 48~96GPUの利用により、数十倍のiteration速度高速化を達成。正解：小型の斧注目物体の面積が小さいが、コンテキストを上手く活用できている。 67/72

68. 弊社の取り組み Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. 東京工業大学のGPUスパコンTSUBAMEを利用して学習高速化の研究を実施。謝辞本検討はTSUBAMEグランドチャレンジ＆トライアルユース制度を利用したものである。 48~96GPUの利用により、数十倍のiteration速度高速化を達成。正解：二人乗り自転車 68/72

69. 弊社の取り組み Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. 東京工業大学のGPUスパコンTSUBAMEを利用して学習高速化の研究を実施。謝辞本検討はTSUBAMEグランドチャレンジ＆トライアルユース制度を利用したものである。 48~96GPUの利用により、数十倍のiteration速度高速化を達成。正解：グランドピアノ撮像条件が必ずしも良好ではないが、コンテキストを上手く活用できている 69/72

70. 弊社の取り組み Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. 東京工業大学のGPUスパコンTSUBAMEを利用して学習高速化の研究を実施。謝辞本検討はTSUBAMEグランドチャレンジ＆トライアルユース制度を利用したものである。 48~96GPUの利用により、数十倍のiteration速度高速化を達成。正解：ルーペ 70/72

71. 弊社の取り組み Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. 東京工業大学のGPUスパコンTSUBAMEを利用して学習高速化の研究を実施。謝辞本検討はTSUBAMEグランドチャレンジ＆トライアルユース制度を利用したものである。 48~96GPUの利用により、数十倍のiteration速度高速化を達成。正解：パイナップル物体の一部からでも認識できている。 71/72

ディープラーニングの車載応用に向けて

Ikuro Sato

ディープラーニングの車載応用に向けて