【DL輪読会】Explorable Super Resolution
•Download as PPTX, PDF•
1 like•711 views
2021/08/20 Deep Learning JP: http://deeplearning.jp/seminar-2/
![1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
Explorable Super-Resolution (CVPR2020)
Presenter: Kazutoshi Akita
(ToyotaTechnological Institute, IntelligentInformation Media Lab)](https://image.slidesharecdn.com/20210820akita-210823012023/85/DL-Explorable-Super-Resolution-1-320.jpg?cb=1629681948)
Recommended
Recommended
More Related Content
More from Deep Learning JP
More from Deep Learning JP (20)
Recently uploaded
Recently uploaded (20)
【DL輪読会】Explorable Super Resolution
- 1. 1 DEEP LEARNING JP [DL Papers] http://deeplearning.jp/ Explorable Super-Resolution (CVPR2020) Presenter: Kazutoshi Akita (ToyotaTechnological Institute, IntelligentInformation Media Lab)
- 2. 論文情報 • 論文名： Explorable Super Resolution (CVPR2020) • 著者： Yuval Bahat, Tomer Michaeli (Technion - Israel Institute of Technology, Haifa, Israel) • URL 論文： https://openaccess.thecvf.com/content_CVPR_2020/html/Bahat_Explorable_Super_Resolution_CVPR_2020_paper.html?fbclid=IwAR0Jws65Y7JQY 4L_bs67glpZcF17jeOQNiYNvUEVRVOhgkFHW4CDpg63yx8 プロジェクトページ： https://yuvalbahat.github.io/Explorable-Super-Resolution/codes/ 2
- 3. 前提知識 • 超解像（Super Resolution, SR） – 画像を綺麗に拡大する技術 3 超解像 (SRNet) 低解像画像 （LR画像） 超解像画像 （SR画像）
- 4. 前提知識 • これまでの超解像 4 SRNet 低解像画像 （LR画像） 超解像画像 （SR画像） ・低解像化 ・ブラー 高解像画像 （HR画像） Loss (e.g., 二乗誤差，敵対的損失)
- 5. 前提知識 • 異なる高解像画像が低解像化によって同じ画像になる = 不良設定問題 5 ・低解像化 ・ブラー ・低解像化 ・ブラー HR画像 LR画像 SRNet SR画像 SRNet NG OK
- 7. 論文概要 • Explorable Super Resolution – 様々なSR画像を生成するという新たなタスクを開拓した論文の一つ • SRFlow (ECCV 2020)，DeepSEE (ACCV 2020) なども同様 – SR画像としての「制約」を担保するConsistency Enforcing Module (CEM)を提案 – ユーザーが直感的にコントロールシグナル𝑧を探索可能なGUIを構築 7
- 8. 提案手法 (CEM) • シグナル𝑧により，全く異なる画像が生成される可能性がある • 制約：「出力SR画像を低解像化したら，入力LR画像と完全に一致する」 8 SRNet 入力LR画像 出力SR画像 ・低解像化 ・ブラー 一致 𝑧
- 9. 提案手法 (CEM) • Consistency Enforcing Module (CEM) – SRの制約を満たしていないCNN出力（SR画像）を，制約を満たすように 修正するモジュール 9
- 10. 提案手法 (CEM) • 入力LR画像𝑦は，次のように表される 𝑥: 低解像化により同じ𝑦になりうるすべてのHR画像群， ℎ: ブラーカーネル ∗: 畳み込み， ↓α: 単純な補間方法などによる辺々 1 α のダウンサンプリング処理 • ①は以下のように書き換え可能 10 𝑦 = (ℎ ∗ 𝑥) ↓α ･･･ ① 𝑦 = 𝐻𝑥 ･･･ ②
- 11. 提案手法 (CEM) • SRNetの出力群を𝑥𝑖𝑛𝑐とすると，以下の式を満たしたい • 𝑥は，直交射影行列𝑃𝒩(𝐻)⊥, 𝑃𝒩(𝐻)を用いて，以下のように直交する2つのベクトルに分解可能 • ④を用いて③のminの中の式を変形すると， 11 min 𝑥 | 𝑥 − 𝑥𝑖𝑛𝑐 |2 𝐻𝑥 = 𝑦 ･･･ ③ s.t. 𝑃𝒩(𝐻)⊥ = 𝐻𝑇(𝐻𝐻𝑇)−1𝐻 𝑥 = 𝑃𝒩(𝐻)𝑥 + 𝑃𝒩(𝐻)⊥𝑥 ･･･ ④ 𝑃𝒩 𝐻 = 𝐼 − 𝐻𝑇(𝐻𝐻𝑇)−1𝐻 ||𝑃𝒩 𝐻 (𝑥 − 𝑥𝑖𝑛𝑐)||2 + ||𝑃𝒩(𝐻)⊥(𝑥 − 𝑥𝑖𝑛𝑐)||2 ･･･ ⑤
- 12. 提案手法 (CEM) • ⑤の第1項を0とする – 分離した成分のうち片方では，𝑥と𝑥𝑖𝑛𝑐は完全に一致させることができると考える – 一致させることができない要因（不良設定）はもう片方の成分に集約される 12 ||𝑃𝒩 𝐻 (𝑥 − 𝑥𝑖𝑛𝑐)||2 + ||𝑃𝒩(𝐻)⊥(𝑥 − 𝑥𝑖𝑛𝑐)||2 ･･･ ⑤ 𝑃𝒩 𝐻 𝑥 = 𝑃𝒩 𝐻 𝑥𝑖𝑛𝑐 ･･･ ⑥
- 13. 提案手法 (CEM) • これまでに得られた式を持って，𝑥を変形 13 𝑥 = 𝑃𝒩 𝐻 𝑥 + 𝑃𝒩(𝐻)⊥𝑥 = (𝐼 − 𝐻𝑇 𝐻𝐻𝑇 −1𝐻)𝑥 + 𝐻𝑇 𝐻𝐻𝑇 −1𝐻𝑥 = 𝐼 − 𝐻𝑇 𝐻𝐻𝑇 −1𝐻 𝑥 + 𝐻𝑇 𝐻𝐻𝑇 −1𝑦 = 𝑥𝑖𝑛𝑐 − ℎ ∗ 𝑘 ∗ ℎ ∗ 𝑥𝑖𝑛𝑐 ↓α ↑𝛼 +ℎ ∗ (𝑘 ∗ 𝑦) ↑𝛼 𝐻 = (ℎ ∗ ∙) ↓α 𝐻𝑇 = (ℎ ∗ ∙) ↑α (𝐻𝐻𝑇 )−1 = 𝑘 ∗ ∙
- 15. 提案手法 (学習) • 画像のエッジの強さ（＝2階微分）に注目 – 画像の高周波な構造を最もよく表現している 15 ℒ𝑎𝑑𝑣 + λ𝑅𝑎𝑛𝑔𝑒ℒ𝑅𝑎𝑛𝑔𝑒 +λ𝑆𝑡𝑟𝑢𝑐𝑡ℒ𝑆𝑡𝑟𝑢𝑐𝑡 + λ𝑀𝑎𝑝ℒ𝑀𝑎𝑝 SRNet CEM 𝑧 LR画像 SR画像
- 16. 提案手法 (学習) • ℒ𝑆𝑡𝑟𝑢𝑐𝑡 – 𝑧で指定した通りのエッジがSR画像に生成されるように学習するLoss • 入力の𝑧をランダムな空間的に一様な値とする • SR画像を2階微分し，出力されたエッジと入力𝑧が一致するように学習 16 SRNet CEM 𝑧 2階微分 ℒ𝑆𝑡𝑟𝑢𝑐𝑡 LR画像 SR画像
- 17. 提案手法 (学習) • ℒ𝑀𝑎𝑝 – HR画像と一致する（＝現実に観測される）SR画像を生成できるように学習するLoss • 𝑧をランダムな空間的に一様な値で初期化し，SR画像とHR画像の差が最も小さい𝑧を探索 • ↑で見つけた𝑧におけるSR画像とHR画像の差をLossとする 17 SRNet CEM 𝑧 LR画像 SR画像 ℒ𝑀𝑎𝑝 HR画像 ℒ𝑀𝑎𝑝 = min 𝑧 | 𝜓 𝑦, 𝑧 − 𝑥| 𝜓(𝑦, 𝑧) 𝑥
- 19. まとめ • 超解像は，1つの低解像画像に対して複数の妥当な予測結果が存在する不良設定問題 • コントロールシグナルにより，様々なSR画像を出力できる確率的モデルを提案 • SRの制約である「SR画像を低解像化したら，入力LRに一致する」ことを必ず満たすよう に出力の修正を行うCEMを提案 • 直感的に予測結果を編集できるフレームワークにより，ユーザーが望む超解像画像を 獲得可能 19