最近のSingle Shot系の物体検出のアーキテクチャまとめ
•
55 likes•40,329 views
Feature Pyramid Networks for Object Detection, CVPR'17の内容と見せかけて、Faster R-CNN, YOLO, SSD系の最近のSingle Shot系の物体検出のアーキテクチャのまとめです。
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to 最近のSingle Shot系の物体検出のアーキテクチャまとめ
Similar to 最近のSingle Shot系の物体検出のアーキテクチャまとめ (20)
More from Yusuke Uchida
More from Yusuke Uchida (20)
Recently uploaded
Recently uploaded (7)
最近のSingle Shot系の物体検出のアーキテクチャまとめ
- 2. Copyright © DeNA Co.,Ltd. All Rights Reserved. ⾃⼰紹介 ! Yusuke Uchida, Ph.D. (@yu4u) ! ~2017: KDDI研（Researcher） ⁃ 画像検索、画像認識、近似最近傍探索、深層学習 ! 2017~: DeNA（Research Engineer） ⁃ コンピュータビジョン、深層学習、なんでも ⁃ ResNet系の細かすぎて違いがわからない亜種、 モデル圧縮、最近はsingle shot detectorがブーム ⁃ 最近の進捗 KonbuNet
- 3. Copyright © DeNA Co.,Ltd. All Rights Reserved. 物体検出のアプローチ ! スライディングウィンドウ系（e.g. Haar-like+Boosting, HOG+SVM） a. 1つのスケールの物体のみを検出する検出器＋画像リスケール b. 複数のスケールの物体を検出する検出器を全スケール分 c. 少数のスケールの物体を検出する検出器＋画像ピラミッド ! （Deepでない）Region Proposal系（e.g. R-CNN, Fast-RCNN） ! Deep Single Shot Detector系（e.g. Faster R-CNN, SSD, YOLO） 3 e.g. HOG + SVM
- 9. Copyright © DeNA Co.,Ltd. All Rights Reserved. 特徴マップ：WF x HF x (B x 5 + C) = 7 x 7 x 30 B: BBoxの数 (=2) 5: Bboxの座標 (4-dim)＋検出スコア C: クラス数 (=20) クラス分類までする You Only Look Once: Unified, Real-Time Object Detec8on, CVPR’16. 9 FCが ⼊っている 特徴 マップ YOLOv1
- 10. Copyright © DeNA Co.,Ltd. All Rights Reserved. SSD: Single Shot Mul8Box Detector, ECCV’16. 10 分かりにくいが、1つの特徴マップに着⽬すると同じ 特徴マップ：WF x HF x B x (4 + C) B: BBoxの数 (=6), 1, 2, 3, 1/2, 1/3のアス⽐＋scaleの⼤きいBOX 4: Bboxの座標 (4-dim) C: クラス数 (=20) Pr(Class) ← Class毎のdetecOonをしている 出⼒特徴マップ群、各マップが異なるスケールの物体を担当 Log-scaleではなく何故かリニア See hBps://www.slideshare.net/takanoriogata1121/ssd-single-shot-mulObox-detector-eccv2016
- 11. Copyright © DeNA Co.,Ltd. All Rights Reserved. YOLO9000: BeZer, Faster, Stronger, CVPR’17. 11 YOLOv2 Conv 3 x 3 x 1024 Conv 1 x 1 x 125 ↓Darknet concat 特徴マップ：WF x HF x B x (5 + C) B: BBoxの数 (=5) 5: Bboxの座標 (4-dim)＋信頼度 C: クラス数 (=20) 特徴マップは1つ Bbox毎の検出になった BBoxのデフォルト形状をk-means で求めている
- 16. Copyright © DeNA Co.,Ltd. All Rights Reserved. アーキテクチャの分類 16 Faster R-CNN YOLO SSD Proposed (b) は特徴マップの解像度が低い (c) は低いレイヤの特徴抽出が弱い (d) は低いレイヤもコンテキストを 抽出した特徴を利⽤でき 解像度も⾼い
- 17. Copyright © DeNA Co.,Ltd. All Rights Reserved. （参考）コンテキストの重要性 (Finding Tiny Faces, CVPR’17) ! 異なるスケールのfeature mapを統合したheatmap prediction精度 ! コンテキストを増やすほど精度が向上する ⁃ ⼩さい顔でres5まで追加すると精度低下→過学習によるもの ! ⼩さい顔は⼩さい受容野でも精度が⾼い（顔がまるまる⼊るので ! ⼩さい顔のほうがゲインが⼤きい＝⼈の精度とconsistent 17 +18.9% +1.5%
- 18. Copyright © DeNA Co.,Ltd. All Rights Reserved. （参考）コンテキストの重要性 (Finding Tiny Faces, CVPR’17) ! 異なるスケールのfeature mapを統合したheatmap prediction精度 ! コンテキストを増やすほど精度が向上する ⁃ ⼩さい顔でres5まで追加すると精度低下→過学習によるもの ! ⼩さい顔は⼩さい受容野でも精度が⾼い（顔がまるまる⼊るので ! ⼩さい顔のほうがゲインが⼤きい＝⼈の精度とconsistent 18 +18.9% +1.5% コンテキストはめちゃくちゃつよい Single shot detectorの強みもそこに YOLOv2とかで⽿に⼿を当てるとMobile phoneが出てくる
- 19. Copyright © DeNA Co.,Ltd. All Rights Reserved. （参考）コンテキストの重要性 (Finding Tiny Faces, CVPR’17) ! 異なるスケールのfeature mapを統合したheatmap prediction精度 ! コンテキストを増やすほど精度が向上する ⁃ ⼩さい顔でres5まで追加すると精度低下→過学習によるもの ! ⼩さい顔は⼩さい受容野でも精度が⾼い（顔がまるまる⼊るので ! ⼩さい顔のほうがゲインが⼤きい＝⼈の精度とconsistent 19 +18.9% +1.5% ちなみにこの論⽂ではres3まで戻した解像度で 25スケールの検出を⾏っている… （チャネル数 = 25 x 5）
- 20. Copyright © DeNA Co.,Ltd. All Rights Reserved. Feature Pyramid Networks for Object Detec8on, CVPR’17. 20 conv1 conv2_x conv3_x conv4_x conv 3x3 256 upsample upsample upsample conv1x13x(4+2) conv5_x conv 3x3 256 conv 3x3 256 conv 3x3 256 特徴マップ：WF x HF x B x (4 + 2) B: BBoxの数 (=3), アス⽐ (1, 2, 1/2) 4: Bboxの座標 (4-dim) 2: 検出スコア（前景・背景分類）←推測 ResNet ⾯積が322くらいの物体を検出 642 1282 2562
- 25. Copyright © DeNA Co.,Ltd. All Rights Reserved. Take-home message ! Single Shot Detectorはどれもやってることは同じ ⁃ FCNで特徴マップ作成→検出・認識・矩形Regression ⁃ BBox（アンカー）の配置、p(class)かp(object)->p(class|object)か ! SegmentationとDetectionのアーキテクチャは同⼀化していく ⁃ ⼩さい物体を⾒つけるならtop-down architecture ! シンプルなのでFeature Pyramid Networksを Single shot化（クラス分類までやる）するのが良さそう 25