Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
2018/8/1 岡本大和
(Survey)
Domain Adaptation
発展と動向まとめ
はじめに自己紹介
自己紹介 岡本大和(おかもとやまと)
 2013 京都大学 情報学研究科 修士課程修了(美濃研究室所属)
 画像処理やパターン認識の研究に着手
 卒業後、オムロンに入社(京都企業!!)
 R&D担当、機械学習・IoT・データ分析を扱う(...
今年, 初めてICMLに参加しました。
(ICML 2018@Stockholm)
水の都Stockholmはええ場所でした
Domain Adaptation
発展と動向まとめ
Domain Adaptation の課題
①いかに異なるドメイン間で分布を近づけるか
⇒ Adversarial Learningの活用
②いかに少ないデータとラベルで学習するか
③いかにSemantic情報を保持するか
⇒ Reconstr...
Generative Adversarial Networks
Goodfellowら(NIPS’14)
初めてGANが提案された論文
Task『特徴量の抽出源は ”SampleData” か ”GenerativeData”か?』
黒線 x ...
Generative Adversarial Networks
Goodfellowら(NIPS’14)
初めてGANが提案された論文
Task『特徴量の抽出源は ”SampleData” か ”GenerativeData”か?』
黒線 x ...
Deep Reconstruction-Classification Networks
for Unsupervised Domain Adaptation Ghifaryら(ECCV’16)
Target-Domainに対してUnsuperv...
Few-Shot Adversarial Domain Adaptation
Mottianら(NIPS’17)
Same class Different class
Same
Domain
Different
Domain
Semanticな...
ADDA: Adversarral Discriminative Domain Adaptation
Tzengら(CVPR’17)
①SourceでClassification-TaskをSupervised Learning
②Source...
CYCADA: CYCLE-CONSISTENT ADVERSARIAL
DOMAIN ADAPTATION Hoffmanら(ICLR’18)
特徴量と画像(pixel-level)の表現を両方獲得させる
CYCADA: CYCLE-CONSISTENT ADVERSARIAL
DOMAIN ADAPTATION Hoffmanら(ICLR’18)
特徴量と画像(pixel-level)の表現を両方獲得させる
『Image-level GAN l...
CYCADA: CYCLE-CONSISTENT ADVERSARIAL
DOMAIN ADAPTATION Hoffmanら(ICLR’18)
特徴量と画像(pixel-level)の表現を両方獲得させる『feature-level GAN ...
CYCADA: CYCLE-CONSISTENT ADVERSARIAL
DOMAIN ADAPTATION Hoffmanら(ICLR’18)
特徴量と画像(pixel-level)の表現を両方獲得させる
『semantic consiste...
CYCADA: CYCLE-CONSISTENT ADVERSARIAL
DOMAIN ADAPTATION Hoffmanら(ICLR’18)
特徴量と画像(pixel-level)の表現を両方獲得させる『semantic consisten...
CYCADA: CYCLE-CONSISTENT ADVERSARIAL
DOMAIN ADAPTATION Hoffmanら(ICLR’18)
特徴量と画像(pixel-level)の表現を両方獲得させる
『semantic consiste...
CYCADA: CYCLE-CONSISTENT ADVERSARIAL
DOMAIN ADAPTATION Hoffmanら(ICLR’18)
特徴量と画像(pixel-level)の表現を両方獲得させる
M-ADDA: Unsupervised Domain Adaptation
with Deep Metric Learning Laradjiら(ICML’18)
クラス重心の近接度合に着目したCenter Magnet Lossを提案
1....
Learning Semantic Representations
for Unsupervised Domain Adaptation Xieら(ICML’18)
異なるドメインの同一クラスの重心が一致するよう学習
1. SourceでCla...
まとめ
Domain Adaptation の課題(再掲)
①いかに異なるドメイン間で分布を近づけるか
⇒ Adversarial Learningの活用
②いかに少ないデータとラベルで学習するか
③いかにSemantic情報を保持するか
⇒ ...
Upcoming SlideShare
Loading in …5
×

14

Share

Download to read offline

Domain Adaptation 発展と動向まとめ(サーベイ資料)

Download to read offline

Domain Adaptationについてこれまでの発展と動向をまとめたサーベイ資料です。Adversarial Learning(敵対学習)が用いられたり、セマンティックな情報を保持するためにReconstruction-LOSSが導入されたり、今年のICMLではクラス重心を用いた手法が提案されたりと、目覚ましい発展を続けています。

Related Books

Free with a 30 day trial from Scribd

See all

Related Audiobooks

Free with a 30 day trial from Scribd

See all

Domain Adaptation 発展と動向まとめ(サーベイ資料)

  1. 1. 2018/8/1 岡本大和 (Survey) Domain Adaptation 発展と動向まとめ
  2. 2. はじめに自己紹介
  3. 3. 自己紹介 岡本大和(おかもとやまと)  2013 京都大学 情報学研究科 修士課程修了(美濃研究室所属)  画像処理やパターン認識の研究に着手  卒業後、オムロンに入社(京都企業!!)  R&D担当、機械学習・IoT・データ分析を扱う(バズワードばかり……) twitter.com/RoadRoller_DESU イラストレーターの友人が 描いてくれた似顔絵キャラ (※お気に入り)
  4. 4. 今年, 初めてICMLに参加しました。 (ICML 2018@Stockholm)
  5. 5. 水の都Stockholmはええ場所でした
  6. 6. Domain Adaptation 発展と動向まとめ
  7. 7. Domain Adaptation の課題 ①いかに異なるドメイン間で分布を近づけるか ⇒ Adversarial Learningの活用 ②いかに少ないデータとラベルで学習するか ③いかにSemantic情報を保持するか ⇒ Reconstruction Loss や Centroid Loss の導入
  8. 8. Generative Adversarial Networks Goodfellowら(NIPS’14) 初めてGANが提案された論文 Task『特徴量の抽出源は ”SampleData” か ”GenerativeData”か?』 黒線 x :Data Generating Distribution 緑線 G(z):Generative Distribution 青線 D(x):Discriminative Distribution (正データである確率、0.5に近づけたい。) z :sampled uniformly D X Sample Z noize G
  9. 9. Generative Adversarial Networks Goodfellowら(NIPS’14) 初めてGANが提案された論文 Task『特徴量の抽出源は ”SampleData” か ”GenerativeData”か?』 黒線 x :Data Generating Distribution 緑線 G(z):Generative Distribution 青線 D(x):Discriminative Distribution (正データである確率、0.5に近づけたい。) z :sampled uniformly D X Sample Z noize G 【Problem】 特徴量の分布が似通うだけで Semanticな情報がKeepされない. (異なるクラスの特徴量が近傍に分布する)
  10. 10. Deep Reconstruction-Classification Networks for Unsupervised Domain Adaptation Ghifaryら(ECCV’16) Target-Domainに対してUnsupervisedでSemanticな情報をKeepする Task①:Supervised classification of labeled source data Task②:Unsupervised reconstruction of unlabeled target data. 【Contribute】 Reconstruction Lossにより Semantic情報が残るようにした 【Contribute】 TargetのLabelがゼロの場合に対応
  11. 11. Few-Shot Adversarial Domain Adaptation Mottianら(NIPS’17) Same class Different class Same Domain Different Domain Semanticな情報をKeepするには、 Classification-Taskを教師あり学習させるのが手っ取り早い。 そこで、Target-Domainのデータやラベルが少ない場合でも、 教師あり学習できる手法が提案された。 *Discriminator:4クラス分類を解けるよう学習 *Generator :ClassがSameかDifferentか見抜かれないよう学習 【Contribute】 Targetデータが少ない場合に対応
  12. 12. ADDA: Adversarral Discriminative Domain Adaptation Tzengら(CVPR’17) ①SourceでClassification-TaskをSupervised Learning ②SourceとTargetでAdversarial Learning ③TargetでClassification-Taskを実行 実線:Wを更新 点線:Wを凍結
  13. 13. CYCADA: CYCLE-CONSISTENT ADVERSARIAL DOMAIN ADAPTATION Hoffmanら(ICLR’18) 特徴量と画像(pixel-level)の表現を両方獲得させる
  14. 14. CYCADA: CYCLE-CONSISTENT ADVERSARIAL DOMAIN ADAPTATION Hoffmanら(ICLR’18) 特徴量と画像(pixel-level)の表現を両方獲得させる 『Image-level GAN loss』 Target Domainらしい画像を 生成できているかどうか
  15. 15. CYCADA: CYCLE-CONSISTENT ADVERSARIAL DOMAIN ADAPTATION Hoffmanら(ICLR’18) 特徴量と画像(pixel-level)の表現を両方獲得させる『feature-level GAN loss』 各Domainからftで抽出した 特徴量の分布が類似するかどうか
  16. 16. CYCADA: CYCLE-CONSISTENT ADVERSARIAL DOMAIN ADAPTATION Hoffmanら(ICLR’18) 特徴量と画像(pixel-level)の表現を両方獲得させる 『semantic consistency losses』 特徴量を復元できるかどうか。 Domain変換で特徴が失われてないことを確認
  17. 17. CYCADA: CYCLE-CONSISTENT ADVERSARIAL DOMAIN ADAPTATION Hoffmanら(ICLR’18) 特徴量と画像(pixel-level)の表現を両方獲得させる『semantic consistency losses』 画像を復元できるかどうか。 Domain変換で特徴が失われてないことを確認
  18. 18. CYCADA: CYCLE-CONSISTENT ADVERSARIAL DOMAIN ADAPTATION Hoffmanら(ICLR’18) 特徴量と画像(pixel-level)の表現を両方獲得させる 『semantic consistency losses』 fTで抽出した特徴量でTaskを解けるかどうか
  19. 19. CYCADA: CYCLE-CONSISTENT ADVERSARIAL DOMAIN ADAPTATION Hoffmanら(ICLR’18) 特徴量と画像(pixel-level)の表現を両方獲得させる
  20. 20. M-ADDA: Unsupervised Domain Adaptation with Deep Metric Learning Laradjiら(ICML’18) クラス重心の近接度合に着目したCenter Magnet Lossを提案 1. SourceでClassification-TaskをSupervised Learning 2. SourceとTargetから抽出した特徴量でAdversarial Learning 3. Sourceにおいて各Classの重心Cを算出 4. Targetの特徴量がいずれかのClassの重心Cに近づくよう学習 1 2 3 4
  21. 21. Learning Semantic Representations for Unsupervised Domain Adaptation Xieら(ICML’18) 異なるドメインの同一クラスの重心が一致するよう学習 1. SourceでClassification-TaskをSupervised Learning 2. SourceとTargetから抽出した特徴量でAdversarial Learning 3. 学習したモデルでTargetをClassificationしてラベル生成する (※このラベリングの正確性は保証されない) 4. 異なるドメインの同一クラスの重心が一致するよう学習 1 2 3 4 1
  22. 22. まとめ Domain Adaptation の課題(再掲) ①いかに異なるドメイン間で分布を近づけるか ⇒ Adversarial Learningの活用 ②いかに少ないデータとラベルで学習するか ③いかにSemantic情報を保持するか ⇒ Reconstruction Loss や Centroid Loss の導入
  • ShimizuMasaaki

    Apr. 18, 2021
  • yumios

    Apr. 22, 2020
  • tadahirooyama

    Apr. 21, 2020
  • ssuser050b8d

    Dec. 18, 2019
  • ssuser930988

    Oct. 24, 2019
  • DaikiTanaka7

    Oct. 4, 2019
  • akatuki

    Sep. 11, 2019
  • IsamuWatanabe

    Aug. 2, 2019
  • ShumpeiKikuta

    Jul. 21, 2019
  • mimori

    Mar. 28, 2019
  • YujiroS

    Mar. 9, 2019
  • TakuyaIkeda2

    Feb. 28, 2019
  • id1492

    Dec. 2, 2018
  • YuMaruyama

    Aug. 24, 2018

Domain Adaptationについてこれまでの発展と動向をまとめたサーベイ資料です。Adversarial Learning(敵対学習)が用いられたり、セマンティックな情報を保持するためにReconstruction-LOSSが導入されたり、今年のICMLではクラス重心を用いた手法が提案されたりと、目覚ましい発展を続けています。

Views

Total views

7,100

On Slideshare

0

From embeds

0

Number of embeds

365

Actions

Downloads

45

Shares

0

Comments

0

Likes

14

×