NIPS2019の論文

1. 変分推論x深層学習を利⽤した画像デノイジング
ぱんさん＠オンライン (2020/04/18)

2. 今回紹介する論⽂の概要
n タイトル: Variational Denoising Network: Toward Blind Noise Modeling and Removal
n 学会: NIPS 2019
n 概要:
n ノイズあり画像で条件づけたときのノイズと推定したい元の画像の事後分布 𝑞(𝑧, σ!
|𝑦) をニューラル
ネットワーク(NN)によってモデル化
n 変分下限最⼤化により，NNのパラメタを学習
n 画像の位置ごとに依存するような(iidではない)未知のノイズを推定し，ブラインド画像デノイジング
を可能にする
訓練ノイズ分布とは異なる，test caseのような未知のノイズ分布の推定が可能

3. 背景: ブラインド画像デノイジング(blind image denoising)とは︖
n イメージデノイジングとはノイズが⼊った画像からノイズを取り除くタスク
n ノイズの分布がわからない場合 → ブラインドイメージデノイジング

4. 関連研究: デノイジング⼿法は主に２つのカテゴリがある
n モデルドリブンな最⼤事後確率推定ベースの⼿法
n ベイジアンフレームワークにのっているため解釈しやすい😁
n 画像の事前分布とノイズに不⼗分な仮定しかおけない🥺
n データドリブンな深層学習による⼿法
n ⼤量のノイズありなしのペアデータを利⽤して学習すれば性能よく推論も早い😁
n 特定のタイプのノイズに過剰適合してしまう🥺
n ネットワークがヒューリスティックな設計で解釈性がない🥺
n → 上記２つの⼿法の利点を良いとこ取りした，ベイジアンフレームワークと深層学習を組
み合わせた⼿法(Variational Denoising Network)を提案

5. 提案⼿法: 変分推論を使った近似事後分布の導出
n ノイズあり画像は元の画像にpixel-wiseなノイズが正規分布で乗っていると仮定
n ただし，ノイズ分布は位置によって同じという仮定ではない(iidではない)
n 後で事後分布をもとめるため，共役事前分布を⽤意
n 事後分布を直接計算することはできないため，近似事後分布を⽤意し，変分近似を⾏う
n それぞれの近似事後分布をガウシアン・逆ガンマ分布と仮定し，DNNでモデル化する
n 俗に⾔うamortized inference

6. 提案⼿法: 変分下限の導出
n 対数尤度 = 変分下限 + KL項
n 変分下限は次式で，それぞれの項は解析的に計算することができる

7. 提案⼿法: DNNによる変分事後分布のモデル化
n DNNのパラメタWは変分下限を最⼤化するように学習する

8. 実験設定
n D-NetとS-NetではHeの初期値を利⽤
n パッチサイズは128x128とし，ランダムにクロップした64x5000のパッチを利⽤
n オプティマイザはadamで学習率は2e-4から1e-6にむけて10epochごとに線形に減らす
n ハイパラであるwindow sizeのpは7で，ε!
"
は合成データでは5e-5で現実データでは1e-6
n ハイパラの頑健性を⽰す実験も⾏っている
n ⽐較⼿法: CBM3D, WNNM, NCSR, MLP, DnCNN-B, MemNet, FFDNet, UDNet, CBDNet
n 元の画像とデノイズされた画像の近さはPSNRとSSIMで評価する
n PSNR: ⼆枚の画像で同じ位置同⼠のピクセルの輝度の差分を⼆乗したもの．単位はデシベル(dB)
n SSIM: 注⽬ピクセルの周りの平均と分散を元に輝度・コントラスト・構造を計算し，それらを複
合した指標
n 合成ノイズの実験:
n ノイズを⼈⼯的に作成し，それを取り除く
n データセット: Set5, LIVE1, BSD68
n 現実ノイズの実験:
n 実際のノイズを取り除く
n データセット: DND, SIDD

9. 実験: IIDではないガウシアンノイズの推定
n non-iidなガウシアンノイズを次の式のように作る
n Mの種類(a, b1, c1, d1)，S-Netにより推定されたノイズ(b2, c2, d2)
訓練ノイズ
S-Netにより
推定された
ノイズ
テスト
ノイズ

10. 実験: IIDではないガウシアンノイズのデノイジング(定性的結果)
n テストケース2のときのノイズデータのデノイジングの定性的な⽐較実験
n CBM3DとDnCNN-Bは明らかにまだノイズが残っている
n FFDNetは画像を過剰になめらかにしてしまっており，エッジ情報が消えている
n VDN(提案⼿法)は詳細情報を残したままノイズを除去している
n 横の数字はPSNRの値
Noisy image Groundtruth CBM3D(24.63) DnCNN-B (27.83) FFDNet (28.06) VDN (28.32)

11. 実験: IIDではないガウシアンノイズのデノイジング(定量的結果)
n それぞれのテストノイズケース・データセットごとの⽐較実験 (評価指標はPSNR)
n VDN(提案⼿法)はすべてのケースでアウトパフォームしている
n 識別モデルであるMLP, DnCNN-B, UDNetは訓練ノイズに過剰適合している
n CBM3Dはノイズをiidなガウシアンとしているモデル(WNNMとNCSR)に安定してアウトパフォー
ムしている

12. 実験: ホワイトガウシアンノイズのデノイジング(定量的結果)
n 提案⼿法はiidではないノイズのための⼿法だが，普通のiidなホワイトガウシアンノイズにも
有効であることを⽰した実験結果
n 広い範囲のノイズレベル(Sigma)に対応している

13. 実験: 実世界のノイズのデノイジング(定量的結果)
n PSNRとSSIMを評価指標にした⽐較実験
n SIDDとDND両⽅のデータセットにおいてSOTA

14. 実験: 実世界のノイズのデノイジング(定性的結果)
n SIDDデータセットを使ったときの定性的な⽐較実験
n WNNMは複雑なノイズを除去できていない
n VDNが最もclean imageに近い
n 横の数字はPSNRの値
Noisy image clean image WNNM (21.80) DnCNN (34.48) CBDNet(34.84) VDN (35.50)

15. 実験: ハイパラの解釈とその頑健性について
n ε!
"
は潜在的なclean image zが，ground truthであるxにどれだけ依存するのかを決める
n ε"
!
が0に近づくと負のELBOが単なるMSE誤差に近づく(事前分布p(z)を無視する)
n → 通常の深層学習ベースのロスになる
n ハイパラε"
!
を変えたときの結果(Table 5)
n ε!
"
が⼤きすぎると，事前分布p(z)の制約が⼤きくなり，xを無視するため，性能が悪くなる
n ε!
"
が⼩さすぎると，MSE誤差にしたときの性能に近づく
n pは逆ガンマ分布のモードとなるξの値を決めるためのwindow sizeである
n ハイパラ𝑝を変えたときの結果(Table 6)
n どのハイパラでも基本的には良い結果

16. 付録: 逆ガンマ関数 (wikipediaより)
n 分散の共役事前分布によく使われる

17. 付録: 対数尤度から変分下界の導出

18. 付録: 変分下界⼀項⽬の導出
IGの期待値の計算
ψはdigamma関数

19. 付録: 変分下界⼆項⽬と三項⽬の導出
IG同⼠のKLの公式