画像の認識・理解シンポジウム（MIRU2018）での発表資料です。

1. 複数人物姿勢推定におけるKnowledge Distillation
を用いた教師ラベル補正手法の提案
加藤 直樹1, 2 李 天琦2 西野 剛平2 内田 祐介2
1慶應義塾大学 2株式会社ディー・エヌ・エー

2. 研究目的
複数人物姿勢推定の高精度化
ベースとするアルゴリズム：OpenPose [Cao+ 2017]
• 画像中の複数人物の姿勢を高速かつ高精度に推定することが可能な
ボトムアップ型の姿勢推定アルゴリズム
• 関節点同士の結び付けのためにPart Affinity Fields (PAFs)を提案
CNNでPAFsを推定することによりコンテキストを考慮した上での
関節点同士の割り当てスコア算出が可能となった
Part Affinity Field
1引用1 [Zhe Cao, et al., 2017]

3. • Confidence Map
関節点の種類毎に作成される
各ヒートマップはアノテーションされた関節点座標を中心としたガウス
分布により生成される
• Part Affinity Field
対応関係にある関節点ペア（Limb）の種類毎に作成される
結びつける関節点ペア間の矩形内の各画素において単位ベクトル, それ
以外の画素では零ベクトルとして生成される
Part Affinity Field（左肩-左肘）Confidence Map（左肩）
• L2ロスを用いてモデルを学習
OpenPose: CNNの学習対象と学習方法
2引用1 [Zhe Cao, et al., 2017]

4. OpenPose：Parsing
• Confidence Mapsから各関節候補点を検出
• Part Affinity Fieldsを用いて関節候補点を結びつけ
3引用1 [Zhe Cao, et al., 2017]

5. 教師ラベルの問題点
アノテーションから生成した教師ラベルが持つ問題点
(a) 画像外に関節点が存在するために生成できないPAFが存在する
(b) オクルージョンなどに起因するアノテーションの欠損
(c) 混雑領域を表すマスクの欠損
(a)
(b) (c)
このような教師ラベルはモデルの学習に悪影響を与える
不適切な教師ラベルの例（Confidence Maps, PAFsを重ねて表示） 4

6. 学習済みモデルが持つ汎化性能
学習済みモデルの出力の方がアノテーションから生成した教師ラベル
よりも適切な推定となっている場合が存在する
学習済みモデルの出力を用いて教師ラベルをより適切なものへと補正する
関節点アノテーション 教師ラベル 学習済みモデルの出力
5

7. • 教師ラベルと学習済みモデルの出力のMax演算によりラベルを補正
ヒートマップは関節点の種類毎, PAFsはLimbの種類毎にラベルの補正を行う
画素毎に教師ラベルと学習済みモデルの出力のノルムの大きな方を採用する
•教師ラベルの不完全な箇所を補完することを意図
提案手法：教師ラベルの補正
学習済みモデルの出力補正後の教師ラベル
,= max( )
補正前の教師ラベル
6

8. 教師ラベル補正結果例
関節点アノテーション 補正前の教師ラベル 補正後の教師ラベル
7

9. 評価実験
• データセット
COCO 2017データセット
• 評価指標
AP：Object Keypoint Similarity (OKS) の閾値を10段階に変化させたと
きのAverage Precisionの平均値
AP50, AP75：OKSの閾値を0.5, 0.75としたときのAverage Precision
APM, APL：中サイズの人物, 大サイズの人物に対するAverage Precision
• 使用モデル
CMU-Pose (パラメータ数52.3M)
生徒モデル, 教師モデル共に同一のモデルを使用
• 比較手法
通常の学習：通常の教師ラベルによる学習
Distillation：通常のDistillation（後述）
ラベル補正：補正された教師ラベルによる学習
8

10. 比較手法
通常の学習 Distillation
提案手法：ラベル補正 cf. Data Distillation
教師の出力を用いてラベル無しデータへ教師ラ
ベルを付与し, 学習データを増やす
重み和
9
[Geoffrey Hinton, et al., 2015]
[Ilija Radosavovic, et al., 2018]

11. 実験結果
COCOデータセットでの比較実験結果
Distillationにおけるλの値は教師モデルの出力から算出したロスの比率を表す
• 教師ラベルの補正により通常の学習と比べ2.3%の精度向上
• Distillation (λ = 0.5) では通常のラベルから求めたロスがモデルの学習に
悪影響を与える分精度が低下
• Distillation (λ = 1) では既存の教師ラベルを用いないため精度が低下
• ラベル補正による既存の教師ラベルを活かした学習の効果性を実証
10

12. ラベル補正が有効に働いた例
11
関節点アノテーション 補正前の教師ラベル 補正後の教師ラベル教師モデルの出力

13. ラベル補正が有効に働かなかった例
12
関節点アノテーション 補正前の教師ラベル 補正後の教師ラベル教師モデルの出力

14. まとめ
• Confidence Maps, PAFsを用いた複数人物姿勢推定手法における不適
切な教師ラベルの存在を指摘
画像外に関節点が存在するために生成できないPAFが存在
オクルージョンなどに起因するアノテーションの欠損
混雑領域を表すマスクの欠損
• Knowledge Distillationによる教師ラベルの補正手法を提案
通常ラベルと教師モデル出力のMax演算により教師ラベルの欠損を補完
• 提案手法によりCOCOデータセットにおいて2.3%の精度向上を達成
関節点アノテーション 補正前の教師ラベル 補正後の教師ラベル
13

15. 参考文献
[1] Zhe Cao, et al., Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields,
in CVPR, 2017.
https://arxiv.org/abs/1611.08050.pdf
[2] Geoffrey Hinton et al., Distilling the Knowledge in a Neural Network, 2015.
https://arxiv.org/abs/1503.02531.pdf
[3] Ilija Radosavovic, et al., Data Distillation: Towards Omni-Supervised Learning, in
CVPR, 2018.
https://arxiv.org/abs/1712.04440.pdf
14