Recommended
More Related Content
What's hot
What's hot (20)
More from harmonylab
More from harmonylab (20)
SmoothGrad: removing noise by adding noise
- 1. DLゼミ 2018.05.07 発表者 M2 平間 友大 本発表の内容 ・畳み込みニューラルネットワーク（CNN）の判断根拠の理解する手法を学ぶ →学習されたネットワークの挙動を知る 読んできた論文 ”SmoothGrad: removing noise by adding noise” Smilkov, D., Thorat, N., Kim, B., Viégas, F., & Wattenberg, M. (2017). https://arxiv.org/abs/1706.03825
- 4. 感度マップ sensitivity map x：入力画像 Sc:判別関数 class(x)：クラス バニラ法 入力画像のどこの領域がクラス決定に影響しているかを可視化する ・画素を変化させることで出力に大きな変化が出るものを重要な特徴と捉える 変化の度合いは微分することで求められる →勾配を使うDeep Learningと相性が良い
- 5. 仮説 画素値の変化が過剰に反応し、ノイズとなる 元画像 変化後 t：[0,1] ε：N(0, 0.01^2)からランダムサンプリング
- 6. SmoothGrad: removing noise by adding noise[1] [1]Smilkov, D., Thorat, N., Kim, B., Viégas, F., & Wattenberg, M. (2017). https://arxiv.org/abs/1706.03825 提案手法 画像にガウシアンノイズを加えて類似した画像を作成 →サンプル画像ごとに結果の感度マップを生成、平均したもの n：サンプル数 σ：標準偏差
- 8. 感度マップの先行研究 ・Guided BackProp (Springenberg et al., 2014) [2] 出力から入力に向かって重みを辿る方式。重みがマイナスの値は０にしてい る（ReLUと同等の処理を行なっている） →正の重みの特徴を辿るため、出力に影響する入力のみに辿り着ける ・Integrated Gradients手法 (Sundararajan et al., 2017)[3] Guided BackPropの方式に加え、複数の勾配を利用したもの？（調査不足） 課題 ・ノイズの除去 [3] Sundararajan, M., Taly, A., & Yan, Q. (2017). Axiomatic attribution for deep networks. arXiv preprint arXiv:1703.01365. [2] Springenberg, Jost Tobias, et al. "Striving for simplicity: The all convolutional net." arXiv preprint arXiv:1412.6806 (2014).
- 9. 手法の定量的な評価は難しい →定性的評価と先行研究との比較に焦点を当てて考察する ・視覚的な一貫性 ハイライトが背景ではなく関心のあるオブジェクト上にのみ存在するか ・識別性テスト ２つのオブジェクトを分けることができるか 評価手法 ・Vanilla gradient ・Guided BackProp (Springenberg et al., 2014) ・Integrated Gradients (Sundararajan et al., 2017) 定性的評価 先行研究
- 10. 実験結果 サンプル数を固定し、ノイズレベル変化させた時の影響 Noise level : σ/各チャネルの(最大値ー最小値） Sample size：50
- 11. 実験結果 Noise level: 10% Sample size ：n ノイズレベルを固定し、サンプル数を変化させた時の影響
- 13. ２つのオブジェクトを分けて識別できるか 各クラスの感度マップを計算し、[0,1]にスケール M1(x) - M2(x)を行い、[-1, 0, 1] → [blue, gray, red]のカラーマップへ 実験結果 M1 M2