公開URL：https://arxiv.org/abs/2001.01526 出典：Yixiao Ge, Dapeng Chen , Hongsheng Li:Mutual Mean-Teaching:Pseudo Label Refinery for Unsupervised Domain Adaption on Person Re-identification,ICLR 2020 概要：Person Re-Identificationにおける最新の教師なしドメイン適応(Unsupervised Domain Adaption)はターゲットドメインをクラスタリングして作成した疑似ラベルで最適化を行いソースドメインから知識を転送するが、クラスタリングした際のラベルのノイズは無視されてきた。その影響を軽減するためにソフト疑似ラベルとハード疑似ラベルを使ってターゲットドメインからより良い特徴を学習するMutual Mean-Teaching(MMT)とtriplet lossをソフトラベルに対応させるためのsoft softmax-triplet lossを提案し、従来の手法に比べて大幅にmAPを改善した。

1. DLゼミ論文紹介
「MUTUAL MEAN-TEACHING:
PSEUDO LABEL REFINERY FOR UNSUPERVISED DOMAIN ADAPTATION
ON PERSON RE-IDENTIFICATION」
久保田遼裕
北海道大学 大学院情報科学研究院 情報理工学部門
複合情報工学分野 調和系工学研究室学研究室
2020年 10月 21日

2. 1論文情報
• タイトル
MUTUAL MEAN-TEACHING:
PSEUDO LABEL REFINERY FOR UNSUPERVISED DOMAIN ADAPTATION ON PERSON RE-
IDENTIFICATION
• 著者
Yixiao Ge, Dapeng Chen & Hongsheng Li
The Chinese University of Hong Kong
• 学会
• ICLR2020
• まとめ
re-IDタスクにおいて既存のデータセットで学習したモデルをアノテーションされていない
データセットに対応させるための教師なしドメイン適応(UDA:Unsupervised Domain Adaption)
があるが、クラスタリングで生成される疑似ラベルのノイズは従来無視されてきた。それらのノイズ
の影響を軽減するためにハード疑似ラベルとソフト疑似ラベルの両方を用いた相互平均学習
(MMT:Mutual Mean-Teaching)を提案。またソフトラベルを学習するためのソフトマックス
トリプレットロスを提案し教師なしドメイン適応(UDA)のタスクにおいて大幅な改善を達成した。
• 実装URL
https://github.com/yxgeee/MMT

3. 2背景
• Person re-identification
• タスク
 複数カメラで撮影された画像から同じ人の画像を取得するタスク
• データセット
 大量のアノテーションが必要
 Market1501,DukeMTMCのようなre-id用データセットが提案されてきた
しかし
 実際で撮影された人物画像と既存のデータセットでは明るさ・解像度等
ドメイン間のギャップがあり、パフォーマンス低下の原因となる
そこでこれまで提案されてきたのがUDA(unsupervised domain adaption)
• UDA(unsupervised domain adaption)
• source image domain(ラベル付きのデータセット)を
target image domain(ラベルなしのデータセット)に適応させる
• 問題
 クラスタリングベースの手法ではでラベルなし画像に疑似ラベルをクラスタリング
で付与して学習するためノイズ(ラベル付け間違い)が発生し精度低下を招く
疑似ラベルのノイズの影響を軽減するMutual Mean-Teaching (MMT)を提案

4. 3
• ハードな疑似ラベルからロバストなソフト疑似ラベルを生成する
 peer-teaching(同僚学習)でラベル・特徴を改善していく
• 図中のNet1とNet2は同じデータセットですでに訓練されてある
(片方が訓練済み、片方が訓練されてない、というわけではない)
左図ではA1,A2は同一人物、Bは別人だが、誤った疑似ラベルが付与されている
このような疑似ラベルのノイズをソフト疑似ラベルによって製錬していく
背景
疑似ラベルのノイズの影響を軽減するMutual Mean-Teaching (MMT)を提案

5. 4手法 一般的なクラスタリングを使うUnsupervised Domain Adaption
• 事前にソースドメインで訓練された特徴抽出器F(∙ |𝜃)から特徴量出力
ソースドメイン特徴量 ターゲットドメイン特徴量
1. ターゲットドメイン特徴量がクラスタリングでMクラスにグループ分けされる
ここで疑似ラベルを が付与される
2. モデルのパラメータ𝜃とターゲットドメインの分類器𝐶𝑡が分類損失とトリプレット損失で
最適化される
分類損失
トリプレット損失
このクラスタリングのノイズを軽減したい

6. 5手法 Mutual Mean-Teaching（MMT）
1. ソースドメインで分類・トリプレット損失を使って2つの特徴抽出器を学習
(二つとも同じソースドメインで訓練する)

7. 6手法 Mutual Mean-Teaching（MMT）
2. ターゲットドメインへのドメイン適応
同僚ネットワーク(peer-teaching)を使った疑似ソフトラベルの精錬
1. まず従来手法の様にクラスタリングでハード疑似ラベルを生成
(ここでハード疑似ラベルを用いるのは大まかにターゲットの分布を捉えるため)
2. ハード疑似ラベルを分類器に入力して出力確率を得る
この出力確率を疑似ソフトラベルとして扱う
 ただこの疑似ソフトラベルを単純に使用すると、2つのネットワーク𝜃1, 𝜃2が
収束して等しくなってしまい、独立性が失われてしまう
 各ネットワークは時間(iteration)平均モデルを使用して最適化する
疑似ソフトラベルは
MMTの流れ

8. 7手法 Mutual Mean-Teaching（MMT）
2. ターゲットドメインを使ったドメイン適応
3. パラメータの最適化
• 互いのネットワークのソフト疑似ラベルを用いて最適化
分類損失：soft classification loss
MMTの流れ

9. 8手法 Mutual Mean-Teaching（MMT）
2. ターゲットドメインを使ったドメイン適応
3. パラメータの最適化
• 互いのネットワークのソフト疑似ラベルを用いて最適化
トリプレット損失：soft softmax-triplet loss
(従来は疑似ソフトラベル用のトリプレット損失が研究されておらず、この研究で提案)
互いの過去の時間平均ネットワークで生成されたsoft tripletラベルを使用
MMTの流れ
提案 soft softmax-tripet loss 従来のハードなsoftmax-tripet loss
(この研究でもハード疑似ラベル精製の時に使用)

10. 9手法 Mutual Mean-Teaching（MMT）
3. 目的関数
• ハード疑似ラベルとソフト疑似ラベルの両方で訓練される
𝜆𝑖𝑑
𝑡
𝜆 𝑡𝑟𝑖
𝑡
が損失同士の重みを決めるパラメータ
ℒ 𝑖𝑑
𝑡
ℒ 𝑡𝑟𝑖
𝑡
がハードな損失、ℒ 𝑠𝑖𝑑
𝑡
ℒ 𝑠𝑡𝑟𝑖
𝑡
がソフトな損失として𝜃1, 𝜃2を最適化
全体のアルゴリズム

11. 10実験
• 評価指標：mAP,CMC-1,5,10(類似度順で同一人物がn番目以内にくる確率)
• バックボーン:ResNet-50,IBN-ResNet-50,クラスタリング：K-means
• データセットMarket1501,DukeMTMC-reID,MSMT17の3つ
• Duke→Market,Market→Duke,Duke→MSMT,Market→MSMTで評価
• 疑似ラベル数：Market,Duke(500,700,900),MSMT(500,1000,1500,2000)
Person Transfer GAN to Bridge Domain Gap for Person Re-Identificationから引用
MSMT17が新しいデータセット
• アイデンティティ数
• Market,Duke:1501,1404
• MSMT:4101
• 枚数
• Market,Duke:32668,16522
• MSMT:126441
• MSMT17について
• 屋内、屋外の両方
• 月に4日、午前・正午・午後撮影
• その他バリエーション

12. 11実験
• 他手法との精度比較1(Market-to-Duke,Duke-to-Market)
• mAP,CMC共に他手法を高く上回っている
• 精度としては2018年の教師あり手法と同等くらい

13. 12実験(他手法との比較)
• 他手法との精度比較1(Market-to-MSMT,Duke-to-MSMT)
• mAP,CMC共に他手法を高く上回っている

14. 13実験(他手法との比較)
• 疑似ラベル500を持つ他手法(Co-teaching)との比較
• Co-teachingはpeer-teachingを使っておらず精度が低い

15. 14実験(Ablation Study)
• ソフトな疑似ラベル精製の有効性
• ハード疑似ラベルのみで最適化した場合
• 10.7~17.7%mAPが低下する
提案手法
提案手法
ハードのみ
ハードのみ

16. 15実験(Ablation Study)
• soft softmax-triplet損失の有効性
• soft softmax-triplet損失除外した場合
• 3.6~5.3%のmAP低下
提案手法
提案手法
除外
除外

17. 16実験(Ablation Study)
• Mutual Mean Teachingの有効性
• Mutual有効性:2つのネットワークを使わず1つのネットワークを使った場合
• Mean有効性:時間平均を使わない場合
• 精度低下
提案手法
提案手法

18. 17実験(Ablation Study)
• ハードな疑似ラベルの有効性
• ハード分類とハードトリプレットまたはハードトリプレットのみ除いた場合
• 約40~50mAPの大幅な精度低下
 ハードな損失がターゲットドメインのデータ分布をとらえる
基盤であるため。
提案手法
提案手法
両方除外
triplet除外
両方除外
triplet除外

19. 18まとめ
UDA(Unsupervised Domain Adaption)におけるノイズの多い疑似ラベル問題に
取り組むためのMean Mutual Teachingを提案
ネットワークを共同でトレーニングして洗練したハード疑似ラベルと
ソフト疑似ラベルも使用して最適化することで、ターゲットドメインの
サンプル間の関係を適切にモデル化
新しいsoft sofrmax-triplet損失も提案