Recommended
Recommended
More Related Content
More from harmonylab
More from harmonylab (20)
Libra
- 1. 西浦 翼 Libra R-CNN：Towards Balanced Learning for Object Detection
- 2. ア ク シ ョ ン 論文情報 ・CVPR2019 ・著者 ・コード https://github.com/OceanPang/ Libra_R-CNN. ・概要 物体検出における３つの課題に対して簡単で有効な 解決手法を提案 Ⅰ 物体領域の抽出レベルのimbalance Ⅱ 特徴の抽出レベルのimbalance Ⅲ 最適化レベルのimbalance
- 4. 物体検出の全体像 3
- 6. 物体領域の分類 5 Hard sample 難しい例 Easy sample 易しい例 Negative sample 負例 Positive sample 正例
- 8. 課題 7 物体領域候補を探索(候補数は最大2,000くらい) 物体領域候補からランダムに抽出 Easy sample ばかり 前提：物体検出器の改善には Hard sample が必要
- 9. 課題 8 Hard Negativesは６割以上が Ground Truthと重なる Random sampling だとGround Truthと重なる物体候補領域を ３割しか持ってこれない Hard Negativesを 学習できていない
- 10. 指標 9 IoU(Intersection over Union) 予測結果とGround truthがどれだけ重なっているか IoU = 𝑎𝑟𝑒𝑎 𝑜𝑓 𝑜𝑣𝑒𝑟𝑙𝑎𝑝 𝑎𝑟𝑒𝑎 𝑜𝑓 𝑢𝑛𝑖𝑜𝑛
- 11. 訓練例の選択 10 Hard Negative Mining 初期ボックスの数が多いとほとんどが負例 → ・信頼度順にソート ・負例：正例 = ３：１で選択する OHEM(Online Hard Example Mining) ・ノイズラベルに弱い ・計算量が多い Focal Loss ・1stage method だと割といい ・２stage methodだとeasy negativeがはじかれる
- 12. 提案手法 11 IoU-balanced Sampling ランダムサンプリングをするとハードネガティブの割合が低い →IoUの高い抽出方法を提案 IoU低 高 1 K-1 K2 １．候補領域をIoU順にソート ２．K分割して抽出 抽 出 抽 出 抽 出
- 13. 提案手法 12 IoU-balanced Sampling N：負例の数 M：領域候補の数 Mk：K分割したk番目に含まれる候補領域の数 K：IoU順に分割する個数 （Kが高い方が一見良さそうだがIoUの高いサンプルが 含まれればよい、実験ではK＝３） Random sampling IoU-balanced sampling Negative sampleの割合
- 14. 実験 13 MSCOCO 2017(Microsoft Common Object in Context) 訓練データ：115,000 検証データ：5,000 テストデータ：20,000 物体検出の評価データの変遷 Pascal VOC 2007 Pascal VOC 2012 MSCOCO 2014 MSCOCO 2017 訓練データ：5,011 テストデータ：4,952 2007 + 訓練データ：11,540 訓練データ：82,783 検証データ：35,504 テストデータ：5,000 量 ・ 質 が 難 化
- 18. 結果 17 AP50： IoUが50%以上でRecall=100%としたときのAP AP75： IoUが75%以上でRecall=100%としたときのAP AP： AP50~95(5%刻み)を平均したもの APS,M,L： small, medium, largeサイズの物体に対するAP
- 23. 提案手法 22 Balanced Feature Pyramid ①Rescale ②Integrate ③Refine ④strengthen
- 24. 提案手法 23 ①Rescale ②Integrate Interpolation と Max-poolingでサイズを合わせ、全ての特徴を統合する このCを balanced semantic features と呼ぶ Point ： パラメータを使わない
- 25. 提案手法 24 ③Refine ④Strengthen 畳み込みかembedded Gaussian non-local attention(先行研究： Non-local Neural Network)でRefineする (本研究ではより安定した後者を使用) FPNと同様に畳み込み処理をする
- 29. 課題 28 ・探索器はclassificationとlocalizationを同時に達成するのが難しい ・easy sampleの勾配は小さく、hard sampleの勾配は大きい →調整しないと埋もれる Inliers(loss < 1) ： 全体の３割 Outliers(loss ≥ 1)： 全体の７割
- 33. 結果 32 L1 loss(グラフには記載無し)とSmooth L1 Lossを αによってなめらかに変化させられる
- 35. 最終結果 34
- 37. まとめ 36 IoU Balanced Sampling, Balanced Feature Pyramid, Balanced L1 Lossという３つの簡単で有効な手法を提案した single-stage detector や two-stage detectorを問わず様々な backboneで導入できる