Recommended
Recommended
More Related Content
What's hot
What's hot (20)
More from harmonylab
More from harmonylab (20)
Recently uploaded
Recently uploaded (11)
Which is Plagiarism: Fashion Image Retrieval based on Regional Representation for Design Protection
- 1. 北海道大学 大学院情報科学院 情報科学専攻 情報理工学コース 調和系工学研究室 修士2年 柳 公人 Which is Plagiarism: Fashion Image Retrieval based on Regional Representation for Design Protection DLゼミ
- 2. 論文情報 URL – https://openaccess.thecvf.com/content_CVPR_2020/pape rs/Lang_Which_Is_Plagiarism_Fashion_Image_Retrieval_ Based_on_Regional_Representation_CVPR_2020_paper .pdf 学会 – CVPR2020 著者 – Yining Lang, Yuan He, Fan Yang, Jianfeng Dong, Hui Xue 2
- 3. 背景 近年のオンラインショッピングのブームにより, ファッション周りの研究は注目を集めている. – ファッション画像分類, ランドマーク推定, ファッション 検索など 盗用された衣服の検索は産業界では応用価値が高 いにも関わらず学術界では無視されてきた. 本研究では盗用衣服画像検索のための 新しいデータセットと, モデルを提案 3
- 4. 盗用衣服の検索の難しさ ただ類似画像の検索を行えばいいというわけでは ない. – 相対的に見たら類似しているけど, 直接的には似てない – 服のカテゴリー(半袖, 長袖など)が違う盗作もある オリジナル オリジナル (色違い) 似た服 盗作 4
- 5. 違法業者が常に新しい方法を取り入れて盗用衣服 を作っているから, 一律な定義を用いた盗用衣服の 検索を行うことはできない. – ある部分のデザインだけをコピーしたものなど 盗作アイテムの検索の難しさ オリジナルの衣服から2箇所以下の変更を施したもの • 襟の形状を変更, 胸部分の模様の変更など • この手の種類がオンラインショップの盗作品において 高い割合 本研究では盗用衣服の定義を以下のように設定 5
- 6. 本研究の貢献 盗用衣服検索のための新しいデータセットの提案 新しいネットワークであるPS-Netを提案すること で, 盗用衣服検索というオリジナルな分野の問題を 設定 盗用衣服検索以外にも, 従来の類似衣服検索やラン ドマーク推定にも利用でき、DeepFashionと DeepFashion2の両方のデータセットでSOTA 6
- 7. PS-Net バックボーン, ランドマークブランチ, 検索ブラン チで構成される. 衣服の写った画像の入力に対して, 盗用衣服の画像 (緑部分), 同一アイテムの画像(赤部分)を出力 バックボーン 7
- 8. PS-Net バックボーン – 入力画像の特徴を抽出する役割 – HR-Netを使用 • ResNetやVGG-Netなど, 同様の効果を持つネットワー クなら, HR-Netではなくても良い – 28 × 28 × 1024の特徴マップを出力 前処理 – 画像中の衣服部分とそのカテゴリーラベルを検出するた めに, Faster R-CNNモデルを使用 • DeepFashion2で学習 – 画像を入力画像Iとして224×224にリサイズ 8
- 9. PS-Net ランドマークブランチ – 衣服の画像のランドマークを推定 – ヒートマップを予測する問題へ変換(各ピクセルの値は, ランドマークがこのピクセルにある確率) – 構成 • 1×1の畳み込み層(特徴マップを28×28×128に変換) • 転置畳み込み層3つ(入力画像と同じ224×224にアップ サンプリング) • 回帰によってヒートマップから, ランドマークの位置 を推定 9
- 10. PS-Net 検索ブランチ ① アテンションマップAの作成 • バックボーンの出力𝐹 ∈ 𝑅28×28×1024とランドマークブ ランチの出力をバイリニア法でダウンサンプリングし たランドマーク情報M ∈ 𝑅28×28×32をチャネル結合 ② アテンションマップAを28 × 28 × 1024にリシェイプ ③ 𝐹′ = 𝐹 ∘ 1 2 + 𝐴 とし, アテンション機構を取り入れた 特徴マップに変換 • ∘はアダマール積(普通の行列計算) • 1 2を足すことで範囲が1 2 ~ 3 2となり,袖口や襟元など の重要な部分の特徴が保持されやすくなる. 10
- 11. PS-Net 検索ブランチ ④ 予測されたランドマークを元に, 5つのバウンディング ボックスを作る. • どうやって5つに分けるかは記述されていなかった. ⑤ 領域ごとに𝐹′をROI Pooling ⑥ 最終的に以下の式で画像間の類似度を計算 • 𝑟=1 𝑅 𝜆 𝑟 cos(𝑓𝑟 𝐼 , 𝑓𝑟 𝐼′ ) • 𝜆 𝑟は各領域の重み • cos は 2 つの特徴ベクトル間のコサイン類似度 ROI Pooling アスペクト比の違いを考慮し てMax Poolingを行う処理 11
- 12. 最適化 事前学習フェイズとファインチューニングフェイ ズに分けることができる 事前学習フェイズ – ランドマークブランチ • 平均二乗誤差 • GTのヒートマップは各ランドマークの位置を中心に1 ピクセルの標準偏差を持つ2次元ガウス分布を適用し て生成 12
- 13. 最適化 事前学習フェイズ – 検索ブランチ • トリプレット誤差(検索タスクで一般的に使われる誤差関数) • ℒ 𝑡𝑟𝑖 𝐼, 𝐼+ , 𝐼− = 𝑟=1 𝑅 max(𝐷𝑟 𝐼,𝐼+ − 𝐷𝑟 𝐼,𝐼− + 𝑚, 0) ℒ 𝑡𝑟𝑎 = 𝑟=1 𝑁 ℒ 𝑡𝑟𝑖 𝐼, 𝐼+ , 𝐼− – Iは入力画像, Nは訓練データ数, Rは領域の数, mはマージン – 𝐷𝑟 𝐼,𝐼+ を小さくすること, 𝐷𝑟 𝐼,𝐼− を大きくすることが目的 – 𝐷𝑟 𝐼,𝐼+ =∥ 𝑓𝑟 𝐼 − 𝑓𝑟 𝐼+ ∥2 – 𝐷𝑟 𝐼,𝐼− =∥ 𝑓𝑟 𝐼 − 𝑓𝑟 𝐼− ∥2 – 𝑓𝑟 𝐼+ , 𝑓𝑟 𝐼− は領域rに対する画像𝐼+と𝐼−の特徴マップ – 𝐼と𝐼+ は同じラベルを持った画像だが, 𝐼− は他のカテゴリーか らランダムに選ぶ – マージンmについては記載されていない. 13
- 14. 最適化 ファインチューニングフェイズ – 衣服のカテゴリーによって変更を加えられやすい領域は 異なる. カテゴリー毎に領域毎の重みを学習することで, 盗用衣服を検索できるようにする. – ℒ′ 𝑡𝑟𝑖 𝐼, 𝐼+, 𝐼− = 𝑟=1 𝑅 max(𝐷𝑟 𝐼,𝐼+ − 𝐷𝑟 𝐼,𝐼− + 𝑚, 0) ∙ 𝜆 𝑟 – 𝛼 𝑡𝑟𝑖 = avg{∥𝑓𝑟 𝐼 −𝑓𝑟 𝐼+ ∥2; 𝑟=1,2,…,𝑅} max{∥𝑓𝑟 𝐼 −𝑓𝑟 𝐼+ ∥2; 𝑟=1,2,…,𝑅} – ℒ 𝑝𝑙𝑎 = 𝑟=1 𝑁 [ℒ′ 𝑡𝑟𝑖 𝐼, 𝐼+ , 𝐼− ∙ 𝛼 𝑡𝑟𝑖] – 領域毎の重み𝜆 𝑟の初期値を1する. 初めは, ステップサイズ Δ𝜆 = 0.1として, 40エポック 後にΔ𝜆 = 0.05, 60エポック後 にΔ𝜆 = 0.01とする. 各反復前に𝜆 𝑟 ± Δ𝜆 → 𝜆′とし, 損失が 減少した場合は, 𝜆′に更新し, そうでなければ𝜆 𝑟に戻す. 14
- 15. Plagiarized Fashion 盗用された衣服を検索するためのベンチマーク データセットはまだ存在していない. 本論文では, 盗用された衣服を検索するための新し いデータセット「Plagiarized Fashion」を提案 – 学習用画像4万枚, テスト画像2万枚 – 1500枚はクエリ画像 – 半袖Tシャツ, 長袖トップス, アウトウェア, ワンピースの 4カテゴリーから構成される. – 短パン, ズボン, スカートのデザインは十分に認識できな いので現時点では入ってない. 15
- 16. Plagiarized Fashion アジア最大のeコマースサイトであるタオバオから クローリングしてデータセットを収集 – クエリ画像で検索を行うと, 100件の類似画像が検索でき る. – 知的財産保護を専門とする3人の専門家によって, 類似画 像に「同一」, 「盗用」, 「無関係」の3つのタグ付けを 行った. – 盗用画像には, 改変された領域のラベル付けも行っている. 16
- 17. 実験概要 DeepFashion2データセットを使って, ランドマーク推定と 検索能力を学習 Plagiarized Fashionデータセットを使って, 盗用アイテム検 索能力を学習 ランドマークブランチでは初期学習率0.001. 9エポック 目 と12エポック 目に0.1倍に減少. 12エポック で学習終了 検索ブランチでは初期学習率0.001. 61エポック 目と71エ ポック 目に0.1倍に減少. 80エポック で学習終了 Plagiarized Fashionデータセットから画像を取得するのに 約0.75秒 64G RAMとGTX 1080TI GPUを搭載したコンピュータでテ スト 17
- 18. 実験に使用するデータセット DeepFashion, DeepFashion2どちらも, 様々な種類 の画像を扱っている. その中から研究で使う主な2種類 – ランドマーク推定用画像群 – 店内衣服検索用画像群 • クエリに対して広告画像から対応するアイテムを検索 することを目的とした画像の集まり 18 ランドマーク推定用データセット 店内衣服検索用データセット
- 19. 盗用衣服の検索に関する実験 3つの比較対象を用意し実験を行った. – ランドマークブランチを使用しない従来のモデル (Traditional) • 本論で5つに領域を分けていたが, 領域の数を1に設定 – 衣服の領域毎の重みを人間が決定したモデル(Manual) • 25人の参加者が手動で重みを操作して, その平均を取 る. – スライダーを左右にいじることで各領域の重みを 上げ下げできるようなインターフェイスをユー ザーに与えた. – PCB法を用いたモデル(PCB) 19
- 20. 盗用衣服の検索に関する実験 評価指標 – Top-Kの再現率 • 再現率: 本当に盗用衣服だった画像のうち, 何%を盗用 衣服だと判定できたか – mAP 実験結果 – PCBとTraditionalの結果は同程度 – ManualはTop-K再現率, mAPともに上がっている – 本モデルではManualよりもTop-K再現率, mAPがさらに高 い 20
- 21. 盗用衣服の検索に関する実験 結果の可視化 – 緑が盗用衣服の画像 – Traditionalと比較 Tシャツ – ロゴの入れ替えや, パターンの追加, プリントの反転など が盗用の常套手段 – Top-10の中でTraditionalでは, 3つ盗用画像を検索したの に対して, 本モデルでは5つ検索できた. 21
- 22. 盗用衣服の検索に関する実験 ドレス – ドレスは局所的な変更ではなく, 全体的な模倣が盗用手法 として多い – Top-Kの中でTraditionalは1件も盗用衣服を検索できな かったが, 本モデルでは3件見つけることができた この実験のまとめ – 盗用衣服の検索能力を大幅に向上した. 局所な変更を行っ た盗用衣服には特に有効 – 衣服を領域毎に分けて重みを設定する手法は有効 22
- 23. Ablation Study ablation study – 精度向上に役立つ複数の要素があり、その中の一つの要 素を抜くと精度が落ちるかどうかでその要素が精度向上 に寄与しているかどうかを確認する 5つのモデルを比較 – 完全なモデル – 0.0005から0.01まで異なる初期学習率で学習させたモデ ルのアンサンブル – アテンションを用いないモデル – 領域毎の重みづけを行わないモデル • 領域の重みはデフォルトのまま – アテンションも領域毎の重みづけも行わないモデル 23
- 24. Ablation Study 完全モデルからアテンションを抜くとTop-K, mAP ともに低下し, アテンションが検索タスクに不可欠 なことが分かる 領域の重み付けを行わないと, Top-20までは15%低 下する 上記を2つとも抜くとTop-20までの再現率が20%低 下 モデルのアンサンブルを行うことで, Top-K, mAPが 上がることから, アンサンブルも有益 24
- 25. ランドマーク推定に関する実験 DeepFashionとDeepFashion2を用いて先行研究と 比較を行う – ランドマーク推定用画像群として, DeepFashionには 40,000枚, DeepFashion2には491,895枚ある. • その中から, どちらのデータセットからも, 33,669枚の 画像を使って評価を行う – DeepFashionを用いて学習したモデルはnormalized error (NE)という評価指標を用いて比較する. – DeepFashion2を用いて学習したモデルはAPを評価指標 として利用する. 25
- 26. ランドマーク推定に関する実験 DeepFashionで学習したモデルの比較 – どのモデルと比べても誤差が小さい – デュアルアテンションを使って注目されているDAFEと比 べても精度が優れている. 26
- 27. ランドマーク推定に関する実験 DeepFashion2で学習したモデルの比較 – 全ての項目で他のモデルを大きく上回る結果が得られた この実験のまとめ – DeepFashion, DeepFashion2どちらのデータセットでも ランドマーク推定におけるSOTAとなった. 27
- 28. 類似画像検索に関する実験 店内衣服検索用画像群として, DeepFashionには 52,712枚, DeepFashion2には491,895枚ある. – DeepFashionからは26,830枚, DeepFashion2からは 33,669枚 使って評価を行う. DeepFashion, DeepFashion2どちらを用いても, 本モデルが類似画像検索におけるSOTA 横軸がTop-KのKの 値に対応し, 縦軸が 精度 28