ディープラーニングの車載応用に向けて

ディープラーニングの
車載応用に向けて
株式会社デンソーアイティーラボラトリ
佐藤育郎
@ikuro_s
Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved.
STARC アドバンストセミナーニューロチップ２
1/7/2016 川崎市産業振興会館
1/72

私の経歴
2005年
2005-07年
2008年
米国メリーランド大学にて博士号取得（物理）
米国の国立研究所にてポスドク
デンソーアイティーラボラトリ入社
車載カメラを使った自動車の走行安全に関する
研究開発に従事
~現在
CNNによる
歩行者検知＆
身長・距離・
体向き推定の
研究
NVIDIA Tegra K1使用
Copyright © 2016 DENSO IT LABORATORY, INC. All Rights Reserved. 2/72

研究紹介｜ディープラーニングによる歩行者状態推定
単眼の画像から、１つのディープモデルを使い
歩行者の検知と距離・身長・体向き推定を同時に実行
3/72

本発表の目的
を理解することを目的とする。
本発表では、ディープラーニングの
衝撃・・・なぜ今絶大な注目を集めているのか
基礎・・・どんな処理で成り立っているのか
応用・・・クルマの知能化にどんな役割を果たしていくのか
課題・・・冬の時代に戻らないためには何が必要か

目次
※ここでは主に画像分類を扱う
5/72

2012年10月、画像分類のコンペでこれまでの常識をくつがえす
ある結果が報告された

…
baseball
volleyball
bee
ox
printer
…
例）baseballの画像
確度
与えられた画像を適切な項目（クラス）に分類すること
※項目の種類は既知
アルゴ
リズム

…
baseball
volleyball
bee
ox
printer
…
例）baseballの画像
確度
与えられた画像を適切な項目（クラス）に分類すること
※項目の種類は既知
アルゴ
リズム
正解！

ImageNet Large Scale Visual Recognition Challenge (ILSVRC)
http://image-net.org/challenges/LSVRC/2012/index
128万枚の訓練画像と
正解クラスを学習
学習フェーズテストフェーズ
10万枚の評価画像の
分類性能を評価
baseball
printer
ox
??
??
アルゴ
アルゴ
9/72

あらかじめ決められた手順でピクセルをベクトル化し線形分類
…
特徴抽出（輝度勾配の
方向ヒストグラムなど）
~10万次元~100次元
統計処理
線形分類
特徴量
3
2
1
…
baseball
volleyball
bee
ox
printer
…
確度
10/72

エラー率はだいたい25％程度だった (top-5 guess)
http://image-net.org/challenges/LSVRC/2010/results
2010
NEC-UIUC
2011
Xerox
28.2% 25.8%
エラー率
11/72

いきなり10％近くエラーを下げたチームが現れた！！
2010
NEC-UIUC
2011
Xerox
28.2% 25.8%
エラー率
2012
U. Toronto
16.4%
12/72

U of Torontoチームの手法：Deep Convolutional Neural Network
入力
（画像）出力
（クラス確度）
５つの畳み込み層と３つの全結合層 →とにかく深い
A. Krizhevsky, et al., “ImageNet Classification with Deep Convolutional Neural Networks”, NIPS2012.
13/72

専門家にとって何が一番衝撃的だったのか？
入力
（画像）出力
特徴抽出が・・・全くない
（明示的には）
14/72

専門家にとって何が一番衝撃的だったのか？
入力
（画像）出力
ぜーんぶデータまかせ
（構造を手で決めること以外は）
15/72

構造の決め方は、やはりみんな気になった
どうして５層
なんですか？
４層を試したけど
５層の方が性能が良かった
６層も試したけど
学習に時間がかかりすぎて
収束できなかった
参加者A
Krizhevsky氏
けど６層を収束させる
ことができたら、性能は
さらに向上するでしょう
16/72

衝撃は2012年にとどまらなかった

翌年、さらに性能を上げ
2010
NEC-UIUC
2011
Xerox
28.2% 25.8%
エラー率
M. Zeiler and R. Fergus, “Visualizing and Understanding Convolutional Networks”, ECCV2014.
2012
U. Toronto
2013
Clarifai
16.4%
11.7%
18/72

さらに翌年、Krizhevsky氏の予言は的中した
2010
NEC-UIUC
2011
Xerox
28.2% 25.8%
エラー率
2012
U. Toronto
2013
Clarifai
16.4%
11.7%
C. Szegedy, et al., “Going Deeper with Convolutions”, CVPR2015.
2014
Google
6.67%
22畳み込み層！！
19/72

2010
NEC-UIUC
2011
Xerox
28.2% 25.8%
エラー率
2012
U. Toronto
2013
Clarifai
16.4%
11.7%
K. He, “Deep Residual Learning for Image Recognition”, arxiv:1512.03385, 2015.
2014
Google
6.67%
2015
MSR
3.57%
一般人
5.1%
152畳み込み層！！！
20/72

目次
※画像分類器についてご説明
21/72

ディープラーニングとは
プ
ー
リ
ン
グ
プ
ー
リ
ン
グ
プ
ー
リ
ン
グ
全
結
合
全
結
合
全
結
合
畳
み
込
み
畳
み
込
み
畳
み
込
み
層の深いニューラルネットワークの学習を指す
デモで使用したネットワーク構造：３畳み込み層＋３プーリング層＋３全結合層
22/72

畳み込みとは
畳
み
込
み
畳
み
込
み
畳
み
込
み
畳み込み：マップの小領域ごとの内積演算
23/72

畳み込みとは
畳
み
込
み
畳
み
込
み
畳
み
込
み
畳
み
込
み
フィルタ
24/72

畳み込みとは
畳
み
込
み
畳
み
込
み
畳
み
込
み
畳
み
込
み
フィルタ
内積
25/72

畳み込みとは
畳
み
込
み
畳
み
込
み
畳
み
込
み
畳
み
込
み
フィルタ
内積
26/72

畳み込みとは
畳
み
込
み
畳
み
込
み
畳
み
込
み
畳
み
込
み
フィルタ
内積
27/72

畳み込みとは
畳
み
込
み
畳
み
込
み
畳
み
込
み
畳
み
込
み
フィルタ
内積
28/72

畳み込みとは
畳
み
込
み
畳
み
込
み
畳
み
込
み
畳
み
込
み
フィルタ
内積
29/72

畳み込みとは
畳
み
込
み
畳
み
込
み
畳
み
込
み
フィルタ
並び替え
（ブロックを
row vector化）
30/72

プーリングとは
プ
ー
リ
ン
グ
プ
ー
リ
ン
グ
プ
ー
リ
ン
グ
プーリング：マップを1/2×1/2サイズに縮小し、値の高いものを通す
冗長な情報を“煮詰める”
（maximum poolingを想定）
31/72

全結合とは
全
結
合
全
結
合
全
結
合
全結合：重み行列と信号の内積＆非線形写像
非線形分類を可能に
32/72

全結合とは
全
結
合
全
結
合
全
結
合
歩行者
背景
33/72

全結合とは
全
結
合
全
結
合
全
結
合
歩行者
背景
34/72

全結合とは
全
結
合
全
結
合
全
結
合
歩行者
背景
35/72

ちょっとまとめ
畳み込み層
プーリング層
全結合層
局所的な内積演算
縮小、閾値処理
大域的な内積演算
層の種類大まかな処理内容
36/72

ちょっとまとめ
畳み込み層
プーリング層
全結合層
局所的な内積演算
縮小、閾値処理
大域的な内積演算
層の種類大まかな処理内容
基礎的かつ並列化可能な
画像／信号処理
37/72

Top-4 FAQ
1
2
3
4
どうやって学習するの？
なぜ良い分類性能が出せるの？
どうやって構造を決定すればよいの？
どの程度データを与えればよいの？
38/72

どうやって学習するの？
1
１に近づける
０に近づける
歩
行
者
画
像
背
景
画
像
同時に満たすように
パラメタをチューニング
畳み込み層・全結合層が持つパラメタ（行列）をエラーを下げる方向に少しずつ動かす
39/72

なぜ良い性能が出せるの？
2
プ
ー
リ
ン
グ
プ
ー
リ
ン
グ
プ
ー
リ
ン
グ
全
結
合
全
結
合
全
結
合
畳
み
込
み
畳
み
込
み
畳
み
込
み
理由１人手による特徴抽出がない（ヘタに教示しないほうがよい）
パラメタがいろいろな深さ（解像度）で使用されている理由２
（経験では解像度を高くすることで性能が出せることが多い）
40/72

どうやって構造を決定すればよいの？
3
畳み込みとプーリングは交互に繰り返す。
入力画像サイズが与えられると、
プーリングの回数が自ずと定まる。
全結合層は３層とする（経験的に良い）。
層の決定指針
プ
ー
リ
ン
グ
プ
ー
リ
ン
グ
プ
ー
リ
ン
グ
全
結
合
全
結
合
全
結
合
畳
み
込
み
畳
み
込
み
畳
み
込
み
これをベースモデルとし、
これに畳み込み層を追加するなどした比較モデルと比較評価をする
41/72

どの程度データを与えればよいの？
4
データサイズが
ビッグデータスモールデータ
人手による特徴抽出
＋
線形SVM
ディープ
ラーニング
転移ゾーン
大きい場合はディープラーニングを使う方が性能が出る
小さい場合はディープラーニング以外の手法を使う方が性能が出る
ことが多い
42/72

こんにちの車載器の認識技術
静止画に枠をつけるのみ
⇒ 限定的な制御のみ
46/72

これからの車載器の認識技術
どのような歩行者かを認識
スマホ見てる走ってる・
渡り終えた
47/72

これからの車載器の認識技術
スマホ見てる走ってる・
渡り終えた
ドライバー
減速ぎみで、
スマホの人に
気を付けよう
どのような歩行者かを認識
⇒ 人が行うような制御を可能に
48/72

技術的課題｜特徴設計
ピクセルの処理により、この人と、この人を区別する
（特徴抽出）
ディープラーニングなら
データから特徴を自動的に獲得！
人手で処理手順を定義するのは
困難かつ非最適
ディープラーニングの利用により「人がいる／いない」以上の認識が可能
49/72

クルマの知能化に向けて
クルマの知能化には認識種別の詳細化が必要であり、
機械に何を答えさせたいかに関する議論が活発化し、
ディープラーニングの特徴抽出能力に期待が寄せられている
分野動向
それに応じたデータ収集が始まっている
（差別化要素）
50/72

研究事例｜歩行者の状態推定
単眼の画像から、１つのニューラルネットワークを使い
歩行者を検知し、距離・身長・体向きを同時に推定

ディープラーニングの課題
それは膨大な演算量！
53/72

運用時学習時
54/72

運用時学習時
2014.3 2015.6
尾崎, 蓑谷, 杉山(デンソー),
“Deep Neural Networks
(DNN) による車載向け画像
認識ハードウェアの開発”,
SSII2015.
車載GPU FPGA
（デンソーITラボ）（デンソー）
I. Sato and H. Niihara,
“Beyond Pedestrian Detection:
Deep Neural Networks Level-
Up Automotive Safety”, GPU
Technology Conference 2014.
2015.12
Neural Processing Unit
（Qualcomm）
https://www.qualcomm.co
m/invention/cognitive-
technologies/zeroth
55/72

運用時学習時
2014.3 2015.6
尾崎, 蓑谷, 杉山(デンソー),
“Deep Neural Networks
(DNN) による車載向け画像
認識ハードウェアの開発”,
SSII2015.
車載GPU FPGA
（デンソーITラボ）（デンソー）
I. Sato and H. Niihara,
“Beyond Pedestrian Detection:
Deep Neural Networks Level-
Up Automotive Safety”, GPU
Technology Conference 2014.
2015.12
（Qualcomm）
https://www.qualcomm.co
m/invention/cognitive-
technologies/zeroth
Neural Processing Unit
アルゴリズムが固まってきた
（並列度高、順列度低）
ハード設計により実時間処理が
可能になり量産化に明るい兆し
56/72

運用時学習時
2014.12
Y. Chen, et al.,
“DaDianNao: A Machine-
Learning
Supercomputer”,
MICRO2014.
ASIC
（中国科学院）
2015
数千台の
CPU分散
数十台の
GPU分散
約百台の
GPU分散
（デンソーITラボ）（Baidu）（Google）
2015.12012.12
J. Dean, et al,
“Large Scale
Distributed Deep
Networks”, NIPS 2012.
R. Wu, et al,
“Deep Image: Scaling
up Image Recognition”,
arxiv:1501.02876v2,
2015.
東工大
TSUBAME スパコン
57/72

運用時学習時
2012
U. Toronto
2013
Clarifai
2014
Google
エラー率
16.4%
11.7%
6.67% 4.94%
5.98%
2015.1
Baidu
（参考記録）
2015.2
Microsoft
ILSVRCコンペでは分散学習が当たり前に
2GPU
数千CPU
数十(?)GPU
8GPU
58/72

もはやTech Giantsの独壇場
運用時学習時
2012
U. Toronto
2013
Clarifai
2014
Google
エラー率
16.4%
11.7%
6.67% 4.94%
5.98%
2015.1
Baidu
（参考記録）
2015.2
Microsoft
2GPU
数千CPU
数十(?)GPU
8GPU
59/72

もはやTech Giantsの独壇場
運用時学習時
2012
U. Toronto
2013
Clarifai
2014
Google
エラー率
16.4%
11.7%
6.67% 4.94%
5.98%
2015.1
Baidu
（参考記録）
2015.2
Microsoft
2GPU
1GPU
数千CPU
数十(?)GPU
8GPU
学習データの大規模化
単一の計算機では学習時間が膨大に
大規模な計算資源を使った分散計算
が主流に
60/72

ちょっとここで学習に必要な時間を見てみましょう
モデル
独自設計のCNN
データ
１画像を１回feedforwardするのに必要な演算量
ILSVRC2012データセット
（128万枚の学習画像、1000クラス）計15層
3900万パラメタ
約 2ギガ浮動小数点演算回数
１回の学習時間の実測値
約40日１台のTesla K40
130 epoch (cycle)
仮定
仮定
積算と和算のみカウント
画像処理を含めない
61/72

ちょっとここで学習に必要な時間を見てみましょう
モデル
独自設計のCNN
データ
１画像を１回feedforwardするのに必要な演算量
ILSVRC2012データセット
（128万枚の学習画像、1000クラス）計15層
3900万パラメタ
約 2ギガ浮動小数点演算回数
１回の学習時間の実測値
仮定
積算と和算のみカウント
画像処理を含めない
製品開発には
最低10試行必要製品化困難約40日
62/72

共通(?)認識
データの爆発的増大によって、いつか学習が
終わらなくなるポイントが来るのではないか？
ILSVRCよりも大きな非公開データを持っている企業は少なくない
学習計算のマシンスケーラビリティは今のところ限定的
(((( ；ﾟДﾟ)))ｶﾞｸｶﾞｸﾌﾞﾙﾌﾞﾙ
冬の時代が再来？？
63/72

弊社の取り組み
東京工業大学のGPUスパコンTSUBAMEを利用して学習高速化の研究を実施。
謝辞本検討はTSUBAMEグランドチャレンジ＆トライアルユース制度を利用したものである。
48~96GPUの利用により、数十倍のiteration速度高速化を達成。
64/72

正解：一輪車
対象がほとんど写っていないが、
周りのコンテキストから注目物
体を推定
65/72

正解：シャボン玉
半透明物体の透けた部分から、
背景の特徴が混入するにも関わ
らず、認識できている
66/72

正解：小型の斧
注目物体の面積が小さいが、コ
ンテキストを上手く活用できて
いる。
67/72

正解：二人乗り自転車
68/72

正解：グランドピアノ
撮像条件が必ずしも良好ではな
いが、コンテキストを上手く活
用できている
69/72

正解：ルーペ
70/72

正解：パイナップル
物体の一部からでも認識できて
いる。
71/72

衝撃・・・秀逸な認識性能が実証された
基礎・・・単純な画像処理の反復から成り立つ
応用・・・様々な粒度の認識により制御の幅が広がる
課題・・・学習時間短縮のためのハードとアルゴが必要
まとめ
72/72

ディープラーニングの車載応用に向けて

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (20)

Similar to ディープラーニングの車載応用に向けて

Similar to ディープラーニングの車載応用に向けて (20)

ディープラーニングの車載応用に向けて