Submit Search
Upload
20170618論文読み会 伊藤
•
Download as PPTX, PDF
•
1 like
•
2,192 views
T
Tomoki Itou
Follow
20170618論文読み会 伊藤
Read less
Read more
Data & Analytics
Report
Share
Report
Share
1 of 26
Download now
Recommended
Disentanglement Survey:Can You Explain How Much Are Generative models Disenta...
Disentanglement Survey:Can You Explain How Much Are Generative models Disenta...
Hideki Tsunashima
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法
Deep Learning JP
非ガウス性を利用した因果構造探索
非ガウス性を利用した因果構造探索
Shiga University, RIKEN
SSII2020TS: 機械学習モデルの判断根拠の説明 〜 Explainable AI 研究の近年の展開 〜
SSII2020TS: 機械学習モデルの判断根拠の説明 〜 Explainable AI 研究の近年の展開 〜
SSII
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
Satoshi Hara
機械学習モデルの判断根拠の説明
機械学習モデルの判断根拠の説明
Satoshi Hara
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
Satoshi Hara
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
Yoshitaka Ushiku
Recommended
Disentanglement Survey:Can You Explain How Much Are Generative models Disenta...
Disentanglement Survey:Can You Explain How Much Are Generative models Disenta...
Hideki Tsunashima
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法
Deep Learning JP
非ガウス性を利用した因果構造探索
非ガウス性を利用した因果構造探索
Shiga University, RIKEN
SSII2020TS: 機械学習モデルの判断根拠の説明 〜 Explainable AI 研究の近年の展開 〜
SSII2020TS: 機械学習モデルの判断根拠の説明 〜 Explainable AI 研究の近年の展開 〜
SSII
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
Satoshi Hara
機械学習モデルの判断根拠の説明
機械学習モデルの判断根拠の説明
Satoshi Hara
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
Satoshi Hara
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
Yoshitaka Ushiku
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
Masahiro Suzuki
AutoEncoderで特徴抽出
AutoEncoderで特徴抽出
Kai Sasaki
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
西岡 賢一郎
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
Kota Matsui
XAI (説明可能なAI) の必要性
XAI (説明可能なAI) の必要性
西岡 賢一郎
アンサンブル木モデル解釈のためのモデル簡略化法
アンサンブル木モデル解釈のためのモデル簡略化法
Satoshi Hara
自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)
cvpaper. challenge
Bayesian Neural Networks : Survey
Bayesian Neural Networks : Survey
tmtm otm
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
Ichigaku Takigawa
社会心理学者のための時系列分析入門_小森
社会心理学者のための時系列分析入門_小森
Masashi Komori
相関と因果について考える:統計的因果推論、その(不)可能性の中心
相関と因果について考える:統計的因果推論、その(不)可能性の中心
takehikoihayashi
帰納バイアスが成立する条件
帰納バイアスが成立する条件
Shinobu KINJO
“機械学習の説明”の信頼性
“機械学習の説明”の信頼性
Satoshi Hara
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
Preferred Networks
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
Deep Learning JP
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
Sparse Codingをなるべく数式を使わず理解する(PCAやICAとの関係)
Sparse Codingをなるべく数式を使わず理解する(PCAやICAとの関係)
Teppei Kurita
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
Rで学ぶ観察データでの因果推定
Rで学ぶ観察データでの因果推定
Hiroki Matsui
分散型強化学習手法の最近の動向と分散計算フレームワークRayによる実装の試み
分散型強化学習手法の最近の動向と分散計算フレームワークRayによる実装の試み
SusumuOTA
More Related Content
What's hot
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
Masahiro Suzuki
AutoEncoderで特徴抽出
AutoEncoderで特徴抽出
Kai Sasaki
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
西岡 賢一郎
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
Kota Matsui
XAI (説明可能なAI) の必要性
XAI (説明可能なAI) の必要性
西岡 賢一郎
アンサンブル木モデル解釈のためのモデル簡略化法
アンサンブル木モデル解釈のためのモデル簡略化法
Satoshi Hara
自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)
cvpaper. challenge
Bayesian Neural Networks : Survey
Bayesian Neural Networks : Survey
tmtm otm
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
Ichigaku Takigawa
社会心理学者のための時系列分析入門_小森
社会心理学者のための時系列分析入門_小森
Masashi Komori
相関と因果について考える:統計的因果推論、その(不)可能性の中心
相関と因果について考える:統計的因果推論、その(不)可能性の中心
takehikoihayashi
帰納バイアスが成立する条件
帰納バイアスが成立する条件
Shinobu KINJO
“機械学習の説明”の信頼性
“機械学習の説明”の信頼性
Satoshi Hara
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
Preferred Networks
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
Deep Learning JP
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
Sparse Codingをなるべく数式を使わず理解する(PCAやICAとの関係)
Sparse Codingをなるべく数式を使わず理解する(PCAやICAとの関係)
Teppei Kurita
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
What's hot
(20)
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
AutoEncoderで特徴抽出
AutoEncoderで特徴抽出
深層生成モデルと世界モデル
深層生成モデルと世界モデル
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
XAI (説明可能なAI) の必要性
XAI (説明可能なAI) の必要性
アンサンブル木モデル解釈のためのモデル簡略化法
アンサンブル木モデル解釈のためのモデル簡略化法
自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)
Bayesian Neural Networks : Survey
Bayesian Neural Networks : Survey
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
社会心理学者のための時系列分析入門_小森
社会心理学者のための時系列分析入門_小森
相関と因果について考える:統計的因果推論、その(不)可能性の中心
相関と因果について考える:統計的因果推論、その(不)可能性の中心
帰納バイアスが成立する条件
帰納バイアスが成立する条件
“機械学習の説明”の信頼性
“機械学習の説明”の信頼性
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
グラフィカルモデル入門
グラフィカルモデル入門
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Sparse Codingをなるべく数式を使わず理解する(PCAやICAとの関係)
Sparse Codingをなるべく数式を使わず理解する(PCAやICAとの関係)
backbone としての timm 入門
backbone としての timm 入門
Similar to 20170618論文読み会 伊藤
Rで学ぶ観察データでの因果推定
Rで学ぶ観察データでの因果推定
Hiroki Matsui
分散型強化学習手法の最近の動向と分散計算フレームワークRayによる実装の試み
分散型強化学習手法の最近の動向と分散計算フレームワークRayによる実装の試み
SusumuOTA
Computational Motor Control: Reinforcement Learning (JAIST summer course)
Computational Motor Control: Reinforcement Learning (JAIST summer course)
hirokazutanaka
Rainbow
Rainbow
Takahiro Yoshinaga
NIPS KANSAI Reading Group #7: 逆強化学習の行動解析への応用
NIPS KANSAI Reading Group #7: 逆強化学習の行動解析への応用
Eiji Uchibe
第7回 KAIM 金沢人工知能勉強会 回帰分析と使う上での注意事項
第7回 KAIM 金沢人工知能勉強会 回帰分析と使う上での注意事項
tomitomi3 tomitomi3
Rainbow: Combining Improvements in Deep Reinforcement Learning (AAAI2018 unde...
Rainbow: Combining Improvements in Deep Reinforcement Learning (AAAI2018 unde...
Toru Fujino
時系列解析の使い方 - TokyoWebMining #17
時系列解析の使い方 - TokyoWebMining #17
horihorio
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
Deep Learning JP
心理学におけるベイズ統計の流行を整理する
心理学におけるベイズ統計の流行を整理する
Hiroshi Shimizu
Evolved policy gradients
Evolved policy gradients
Kenshi Abe
状態空間モデルの考え方・使い方 - TokyoR #38
状態空間モデルの考え方・使い方 - TokyoR #38
horihorio
北大調和系 DLゼミ A3C
北大調和系 DLゼミ A3C
Tomoya Oda
強化学習勉強会・論文紹介(第30回)Ensemble Contextual Bandits for Personalized Recommendation
強化学習勉強会・論文紹介(第30回)Ensemble Contextual Bandits for Personalized Recommendation
Naoki Nishimura
Decision Transformer: Reinforcement Learning via Sequence Modeling
Decision Transformer: Reinforcement Learning via Sequence Modeling
Yasunori Ozaki
Neural Rejuvenation: Improving Deep Network Training by Enhancing Computation...
Neural Rejuvenation: Improving Deep Network Training by Enhancing Computation...
Yosuke Shinya
#神奈川大学経営学総論 A (10/15) 競争戦略
#神奈川大学経営学総論 A (10/15) 競争戦略
Yasushi Hara
外国語教育研究におけるRを用いた統計処理入門
外国語教育研究におけるRを用いた統計処理入門
Yusaku Kawaguchi
複合システムネットワーク論を読む(公開版)
複合システムネットワーク論を読む(公開版)
考司 小杉
深層学習(岡本孝之 著) - Deep Learning chap.1 and 2
深層学習(岡本孝之 著) - Deep Learning chap.1 and 2
Masayoshi Kondo
Similar to 20170618論文読み会 伊藤
(20)
Rで学ぶ観察データでの因果推定
Rで学ぶ観察データでの因果推定
分散型強化学習手法の最近の動向と分散計算フレームワークRayによる実装の試み
分散型強化学習手法の最近の動向と分散計算フレームワークRayによる実装の試み
Computational Motor Control: Reinforcement Learning (JAIST summer course)
Computational Motor Control: Reinforcement Learning (JAIST summer course)
Rainbow
Rainbow
NIPS KANSAI Reading Group #7: 逆強化学習の行動解析への応用
NIPS KANSAI Reading Group #7: 逆強化学習の行動解析への応用
第7回 KAIM 金沢人工知能勉強会 回帰分析と使う上での注意事項
第7回 KAIM 金沢人工知能勉強会 回帰分析と使う上での注意事項
Rainbow: Combining Improvements in Deep Reinforcement Learning (AAAI2018 unde...
Rainbow: Combining Improvements in Deep Reinforcement Learning (AAAI2018 unde...
時系列解析の使い方 - TokyoWebMining #17
時系列解析の使い方 - TokyoWebMining #17
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
心理学におけるベイズ統計の流行を整理する
心理学におけるベイズ統計の流行を整理する
Evolved policy gradients
Evolved policy gradients
状態空間モデルの考え方・使い方 - TokyoR #38
状態空間モデルの考え方・使い方 - TokyoR #38
北大調和系 DLゼミ A3C
北大調和系 DLゼミ A3C
強化学習勉強会・論文紹介(第30回)Ensemble Contextual Bandits for Personalized Recommendation
強化学習勉強会・論文紹介(第30回)Ensemble Contextual Bandits for Personalized Recommendation
Decision Transformer: Reinforcement Learning via Sequence Modeling
Decision Transformer: Reinforcement Learning via Sequence Modeling
Neural Rejuvenation: Improving Deep Network Training by Enhancing Computation...
Neural Rejuvenation: Improving Deep Network Training by Enhancing Computation...
#神奈川大学経営学総論 A (10/15) 競争戦略
#神奈川大学経営学総論 A (10/15) 競争戦略
外国語教育研究におけるRを用いた統計処理入門
外国語教育研究におけるRを用いた統計処理入門
複合システムネットワーク論を読む(公開版)
複合システムネットワーク論を読む(公開版)
深層学習(岡本孝之 著) - Deep Learning chap.1 and 2
深層学習(岡本孝之 著) - Deep Learning chap.1 and 2
20170618論文読み会 伊藤
1.
論文紹介 Learning Important Features Through
Propagating Activation Differences 東京大学工学系研究科 システム創成学専攻 和泉研究室 D1 伊藤友貴
2.
自己紹介 • 東京大学工学系研究科 和泉研究室所属 –
金融に関するデータマイニング – 人工市場によるシミュレーション • 普段はロイターニュースとかヤフーファイナン ス掲示板とか触って遊んでます • 今日紹介する論文、ちょいちょい正確に理解 できていないです…お手柔らかにお願い致し ます
3.
概要 • 紹介する論文 – Learning
Important Features Through Propagating Activation Differences (A. Shrikumar et. Al, ICML, 2017) • 概要 – Neural Network から重要な要素は何かを抽出す る方法のアプローチ(Deep Lift 法)を提案 – 既存手法より色々良さそう
4.
既存手法 • Perturbation approach •
Back propagation approach – Gradients • (Springenberg et. al. 2014) など – Gradients × Input • (Shrikumar et. al. 2016) など
5.
問題点1 • 勾配0になると問題が起こる Fig. 1
6.
問題点2 (ジャンプ) • ジャンプする(不連続) Fig.
2
7.
Deep Lift • 勾配の問題やジャンプの問題を解決する方 法を提案
(Deep Lift ) – 個人的にはどうしてこの発想になったのかわかっ ていないので多分ちゃんと理解できていない
8.
Deep Lift Philosophy ある層の値: 出力: reference
activation: difference-from-reference: ← 基準値みたいなもの(後で定義) Contribution Scores: • 各入力値 (xi) の出力値(t) への影 響度(後で定義) • これをどう計算するかが肝 ← 基準値からどれくらい外れるか
9.
Multipliers and the
Chain Rule Multipliers を以下のように定義 CHAIN RULE で を計算 (式(3))
10.
Defining the reference i1 i2 入力: 出力: Reference
activation: より以下のように Reference activation を計算
11.
Separating positive and
negative • ポジティブ項とネガティブ項を別々に考える Linear Rule, Rescale Rule, or Reveal cancel Rule により計算(後で定義)
12.
Contribution Scores の計算 •
線形な変換 → Linear Rule で計算 – 例: 結合層・たたみ込み層 • 非線形な変換 → Rescale Rule or Reveal cancel Rule で計算 – 例: tanh, ReLU
13.
The Linear Rule •
線形な部分 (結合・畳み込み)では以下のよう にContribution Scores を計算 に対して
14.
The Linear Rule このとき,
以下が成立
15.
THE RESCALE RULE •
非線形部分(ReLU, tanh など)では以下のよう に Contribution Scores を計算 • このとき以下が成立
16.
具体例: Rescale Rule i1 0
= i2 0 = 0, i1 + i2 > 1 の場合 Rescale Rule だと
17.
具体例: Rescale Rule2 x0
= y0 = 0, x = 10 + ε の場合 Rescale Rule だと 不自然なジャンプ 連続
18.
The Reveal Cancel
Rule
19.
具体例3 Fig. 3 これについて i1
> i2 , i1 0 = i2 0 = 0 という条件で と を計算 Rescale Rule を使う場合: Reveal Cancel Rule を使う場合:
20.
その他の工夫 • 最終層の活性化後の値に対する入力値の Contribution Score
ではなく活性化前の Contribution Score を計算 • 最終層が Softmax のときは全体の平均を引 いたスコアで考える
21.
数値実験1 • MNIST – Ex.
数字を8 から 3 に変える (一部消す) – Contribution Score の変化 値が消した部分に対応 するかどうか検証 – (ちゃんと把握できてません)
22.
数値実験2 • DNA 配列の分類に関する実験 •
意図通りに Contribution Score がつくかどう かを検証 • (すいません、ちゃんと把握できてません。)
23.
比較手法 • 既存手法 – Guided
backprop * inp () – Gradient * input – Integrated gradient -5 – Integrated gradient -10 • 提案手法 (Deep LIFT) – Deep LIFT Rescale – Deep LIFT Reveal Cancel – Deep LIFT fc-RC-conv-RS
24.
結果(MNIST) Deep Lift の方がよい
25.
結果 (DNA) • Deep
Lift の方がよい結果 • Reveal Cancel 入れた方がよい結果
26.
結論 • Deep Lift
という重要な要素は何かを抽出する方法 のフレームワーク(Deep Lift 法)を提案 • 既存手法 (gradient や gradient * input で起こるよう な不自然なジャンプや勾配が0のときに起こる問題 を解決) • RNNへの適用方法, Maxout, MaxPooling へのベスト な適用方法 などが課題
Download now