SlideShare a Scribd company logo
1 of 28
Download to read offline
Anomaly Detection with Robust Deep
Autoencoders
Chong Zhou, Randy C. Paffenroth
Worcester Polytechnic Institute
1
原 聡
大阪大学 産業科学研究所
KDD2017勉強会@京大, 2017/10/7
論文の概要
n 外れ値検知のためのRobust Autoencoderを提案。
n 基本的なアイディア
• 入力データを”正常な要素”と”異常要因”とに分解する。
• “異常要因”の成分が大きいデータが外れ値。
n 手法概要
• 各データ𝑥 ∈ ℝ 𝑝は正常な要素𝑢 ∈ ℝ 𝑝と異常要因𝑟 ∈ ℝ 𝑝の和に分解できるとする:
𝑥 = 𝑢 + 𝑟
- 正常な要素𝑢の学習
- 正常な要素はAutoencoderで適切に復元できる: 𝑢 ≈ 𝑓𝜃 𝑢
- 異常要因𝑟の検出
- 外れ値は異常要因𝑟を差っ引いてあげれば残ったデータが正常になる: 𝑥 − 𝑟 ≈ 𝑓𝜃 𝑥 − 𝑟
• データセット𝐷 = {𝑥(𝑛)}から正常な要素𝑈 = {𝑢(𝑛)}	、異常要因𝑅 = {𝑟(𝑛)}	、
Autoencoder𝑓𝜃を同時に学習する。
2
この論文を読んだ理由
n Deepの勉強
• 最近、深層学習の研究に興味が出てきたので、この機会にタイトルに”Deep”が入って
いる論文を探して読んでみた。
n 異常検知技術の動向調査
• 最近、あまり異常検知関連の研究をしていなかったので、近年の動向を知りたくて読ん
でみた。
n 自身の研究との関連
• 『入力データを”正常な要素”と”異常要因”とに分解する』というアプローチを過去の自
身の研究(量子情報データの異常検知)で使ったことがある。そのDeep版という、ある
種の拡張ということで興味があって読んでみた。
3
この論文を読んだ感想
n Deepの勉強
• 最近、深層学習の研究に興味が出てきたので、この機会にタイトルに”Deep”が入って
いる論文を探して読んでみた。
→ 期待したほどDeepである必然性がなかった。
n 異常検知技術の動向調査
• 最近、あまり異常検知関連の研究をしていなかったので、近年の動向を知りたくて読ん
でみた。
→ Isolation Forestしか他の異常検知手法に言及してなかったので、不完全燃焼。
n 自身の研究との関連
• 『入力データを”正常な要素”と”異常要因”とに分解する』というアプローチを過去の自
身の研究(量子情報データの異常検知)で使ったことがある。そのDeep版という、ある
種の拡張ということで興味があって読んでみた。
→ 素直な拡張、という感じだったので、機会があったら使ってみてもいいかも。 4
ちなみに
n 2017/4/22にほぼ同じ内容の論文が他のグループからarXivに投稿されている。
Raghavendra Chalapathy, Aditya Krishna Menon, Sanjay Chawla. “Robust, Deep
and Inductive Anomaly Detection”, arXiv:1704.06743.
5
目次
n Robust PCAと外れ値検知
n Autoencoerと外れ値検知
n 提案法:Robust Autoencoder
n 実験結果
6
目次
n Robust PCAと外れ値検知
n Autoencoerと外れ値検知
n 提案法:Robust Autoencoder
n 実験結果
7
PCA
n PCAには様々な定式化がある。
n 代表例:低次元への射影と、そこからの復元誤差の最小化
• データ行列𝑋 ∈ ℝ 𝑛×𝑝を低次元空間へと射影(𝑌 = 𝑋𝑊 ∈ ℝ 𝑛×𝑞)して、そこから再構
成する(𝑋 ≈ 𝑌𝑊⊤) 。
min
𝑊
	 𝑋 − 𝑋𝑊𝑊⊤ 2
, s. t. 𝑊⊤
𝑊 = 𝐼.
8
PCA
n 他の定式化例:データ行列 𝑋 ∈ ℝ 𝑛×𝑝
を最もよく近似する低ランク行列 𝑈 を求める。
min
𝑈
	 𝑋 − 𝑈 2
	, s. t. 	rank 𝑈 = 𝑘.
• または
min
𝑈
	 𝑋 − 𝑈 2
	+ 𝜌rank 𝑈 .
• 凸緩和
min
𝑈
	 𝑋 − 𝑈 2
	+ 𝜌 𝑈 ∗.
9
Robust PCA
n データ行列𝑋 ∈ ℝ 𝑛×𝑝
に加法的なスパイクノイズがのっている状況を想定。スパイ
クノイズの影響を除去した上で、低ランク行列𝑈を求める。
• ノイズにスパース性を仮定:低ランク行列𝑈とノイズ行列𝑅の同時推定
min
𝑈,𝑅
	 𝑈 ∗ + 𝜆 𝑅 1, s. t. 𝑋 = 𝑈 + 𝑅
• 凸最適なので、例えばADMMで解ける。
n 参考
• Emmanuel J. Candes, Xiaodong Li, Yi Ma, John Wright. "Robust Principal
Component Analysis?”, 2009.
10
【参考】Robust PCA: ADMMによる最適化
min
𝑈,𝑅
	 𝑈 ∗ + 𝜆 𝑅 1, s. t. 𝑋 = 𝑈 + 𝑅
n ADMMでは拡張ラグランジュ関数を使う。
𝐿 𝑈, 𝑅, 𝑍 = 𝑈 ∗ + 𝜆 𝑅 1 + 	tr 𝑍 𝑈 + 𝑅	 − 𝑋	 +
𝛽	
2
𝑈 + 𝑅 − 𝑋 F
2
以下の3ステップを収束するまで繰り返す。
• 𝑈[𝑡+1] ← argmin 𝑈 𝐿 𝑈, 𝑅[𝑡], 𝑍[𝑡]
- 主変数その1の更新:二乗ロス + トレースノルムなので、SVDで解ける。
• 𝑅[𝑡+1] ← argmin 𝑅 𝐿 𝑈[𝑡+1], 𝑅, 𝑍[𝑡]
- 主変数その2の更新:二乗ロス + L1ノルムなので、解析的に解ける(soft-thresholding)。
• 𝑍[𝑡+1] ← 𝑍[𝑡] + 𝛽(𝑈[𝑡+1] + 𝑅[𝑡+1] − 𝑋)
- 双対変数𝑍を勾配法で更新。
11
Robust PCAと外れ値検知
n Robust PCAでは低ランク行列𝑈とノイズ行列𝑅を同時推定する。
n ノイズの値が大きいデータ点𝑥(𝑛)が外れ値と言える。
n 例:動画の各フレームを背景(低ランク要素)と
外れ値の要因(動体)へと分解。
n [引用元] Emmanuel J. Candes, Xiaodong Li, Yi Ma,
John Wright. "Robust Principal Component Analysis?”,
2009.
12
目次
n Robust PCAと外れ値検知
n Autoencoerと外れ値検知
n 提案法:Robust Autoencoder
n 実験結果
13
Autoencoder(自己符号化器)
n 入力を一旦低次元に落としてから再度復元する深層ネットワーク
• Encoder:入力𝑥 ∈ ℝ 𝑝を低次元表現𝑦 ∈ ℝ 𝑞に
非線形変換する(𝑞 < 𝑝)。
															𝑦 = Enc(𝑥)
• Decoder:低次元表現𝑦から入力𝑥を復元する。
															𝑥 ≈ Dec(𝑦)
- Enc, Decは適当な非線形関数(線形変換+ReLUなど)
14
[引用元] Wikipedia
https://ja.wikipedia.org/wi
ki/オートエンコーダ
Autoencoderの学習
n Encoder: 𝑦 = Enc(𝑥)
n Decoder: 𝑥 ≈ Dec(𝑦)
n Autoencoderを関数𝑓𝜃: ℝ 𝑝
→ ℝ 𝑝
とする。
• 𝑓𝜃 = Dec ∘ Enc
• 𝜃は関数のパラメータ。
n Minibatch-SGDによる最適化
• 学習のロス関数𝑙𝑜𝑠𝑠(𝑥, 𝑓𝜃(𝑥))を定義する。
• ランダムに𝑀個のトレーニングデータで勾配𝛻𝜃 𝑙𝑜𝑠𝑠(𝑥 𝑚 , 𝑓𝜃(𝑥 𝑚 ))を計算
- 勾配はbackpropagationで計算
• 𝜃 ← 𝜃 −
𝜂
𝑀
∑ 𝛻𝜃 𝑙𝑜𝑠𝑠(𝑥 𝑚 , 𝑓𝜃(𝑥 𝑚 ))𝑚
15
非線形PCAとしてのAutoencoder
n PCAの定式化の一例:データ行列𝑋 ∈ ℝ 𝑛×𝑝
を低次元空間へと射影(𝑌 = 𝑋𝑊 ∈
ℝ 𝑛×𝑞
)して、そこから再構成する(𝑋 ≈ 𝑌𝑊⊤
) 。
min
𝑊
	 𝑋 − 𝑋𝑊𝑊⊤ 2
, s. t. 𝑊⊤
𝑊 = 𝐼.
n 低次元への射影をEnc、再構成をDecとすると、上の式は二乗ロスを使った
Autoencoderの学習問題に一致する。
min
𝜃
	 𝑋 − 𝑓𝜃(𝑋) 2, where	𝑓𝜃 = Dec ∘ Enc
• AutoencoderはPCAを非線形変換へと一般化したものだと言える。
16
Autoencoderと外れ値検知
n 外れ値のない、正常なデータだけのデータセット𝐷でAutoencoderを学習する、i.e.,
𝑥 ≈ 𝑓𝜃 𝑥 , ∀𝑥 ∈ 𝐷.
n 学習した𝑓𝜃に新しい入力𝑥∗
を入力した時、一般には、出力𝑓𝜃(𝑥∗
)と𝑥∗
は十分似て
いることが期待される。
• しかし、時に入力と出力が大きく異なる場合がある。どんな時か?
n 𝑥∗
がデータセット𝐷の分布から外れている場合に、 𝑓𝜃(𝑥∗
)と𝑥∗
とは大きく異なるこ
とがある。
• つまり、𝑓𝜃で入力𝑥∗の再構成誤差を測ると入力の外れ値度合いが測れる。
n 注意:この方法は、正常なデータだけの綺麗なデータセットがあることが前提。元
のデータセットに含まれる外れ値は検知できない。
17
目次
n Robust PCAと外れ値検知
n Autoencoerと外れ値検知
n 提案法:Robust Autoencoder
n 実験結果
18
Autoencoderを使った外れ値検知
n 今までのAutoencoderを使った外れ値検知は、正常なデータだけの綺麗なデータ
セットがあることが前提だった。元のデータセットに含まれる外れ値は検知できな
い。
n では、綺麗なデータがない場合は?データの中の外れ値をどうやったら検知でき
るか?
n 重要なObservation
• Robust PCAを使えば、データの中の外れ値が検知できる。
- 推定されたノイズ行列の値が大きい要素が外れ値に対応。
• AutoencoderはPCAの非線形への一般化である。
→ Robust PCAを非線形へと一般化してRobust Autoencoderにすればデータの中の
外れ値も検知できるようになるのでは!?
19
提案法:Robust Autoencoder
n Robust PCA(再掲)
min
𝑈,𝑅
	 𝑈 ∗ + 𝜆 𝑅 1, s. t. 𝑋 = 𝑈 + 𝑅
n Robust Autoencoder
• Robust PCAの第一項を再構成誤差に変更。
min
𝑈,𝑅,𝜃
	 𝑈 − 𝑓𝜃(𝑈) F
2
+ 𝜆 𝑅 1, s. t. 𝑋 = 𝑈 + 𝑅
• データ行列𝑋から正常な要素の行列𝑈	、ノイズ成分𝑅	、正常要素を再構成する
Autoencoder𝑓𝜃を同時に学習する。
20
Robust Autoencoderの学習アルゴリズム
min
𝑈,𝑅,𝜃
	 𝑈 − 𝑓𝜃(𝑈) F
2
+ 𝜆 𝑅 1, s. t. 𝑋 = 𝑈 + 𝑅
n 交互最適化ステップ1: 𝑅を固定して𝑓𝜃を最適化する。
• 𝑅を固定すると𝑈が決まるので、 𝑓𝜃の学習は通常のAutoencoderの学習に一致。
• Minibatch-SGDで最適化する。
n 交互最適化ステップ2: 𝑓𝜃を固定して𝑅を最適化する。
• 𝑈 − 𝑓𝜃 𝑈 = 𝑋 − 𝑓𝜃 𝑈 − 𝑅なので、以下の最適化を解く。
min
𝑅	
	 𝑅 − (𝑋 − 𝑓𝜃 𝑈 ) F
2
+ 𝜆 𝑅 1
• これはL1のproximity operatorなので解析的に計算できる。
21
目次
n Robust PCAと外れ値検知
n Autoencoerと外れ値検知
n 提案法:Robust Autoencoder
n 実験結果
22
MNISTによるRobust Autoencoderの性能検証実験
n MNIST:0から9までの手書き数字、28 x 28の白黒画像データ
n 実験1:Robust Autoendoerと普通のAutoencoderの比較
• MNIST画像にランダムなピークノイズを負荷。
• 得られた中間表現+ラベルでRandom Forestによる分類モデルを学習。
• テストデータでの分類性能を比較。
n 実験2:Robust Autoencoderを使った外れ値検知
• 4の画像に少しだけ他の数字の画像を混入させる。
• 混入された画像がきちんと外れ値として検知できるかを検証。
23
MNISTによるRobust Autoencoderの性能検証実験
n MNIST:0から9までの手書き数字、28 x 28の白黒画像データ
n 実験1:Robust Autoendoerと普通のAutoencoderの比較
• MNIST画像にランダムなピークノイズを負荷。
• 得られた中間表現+ラベルでRandom Forestによる分類モデルを学習。
• テストデータでの分類性能を比較。
n 実験2:Robust Autoencoderを使った外れ値検知
• 4の画像に少しだけ他の数字の画像を混入させる。
• 混入された画像がきちんと外れ値として検知できるかを検証。
24
実験1:Robust Autoendoerと普通のAutoencoderの比較
n 正則化パラメータの値と
ノイズレベルを色々と変えて
比較実験
• ノイズ中の時に提案法が有効
n 実験設定(再掲)
• MNIST画像にランダムな
ピークノイズを負荷。
• 得られた中間表現+ラベルで
Random Forestによる
分類モデルを学習。
• テストデータでの分類性能を
比較。
25
MNISTによるRobust Autoencoderの性能検証実験
n MNIST:0から9までの手書き数字、28 x 28の白黒画像データ
n 実験1:Robust Autoendoerと普通のAutoencoderの比較
• MNIST画像にランダムなピークノイズを負荷。
• 得られた中間表現+ラベルでRandom Forestによる分類モデルを学習。
• テストデータでの分類性能を比較。
n 実験2:Robust Autoencoderを使った外れ値検知
• 4の画像に少しだけ他の数字の画像を混入させる。
• 混入された画像がきちんと外れ値として検知できるかを検証。
26
実験2:Robust Autoencoderを使った外れ値検知
n Isolation Forestと外れ値検知の性能を比較
• 提案法が良かった。F1が大きかった。
27
Robust
Autoencoder
Isolation
Forest
まとめ
n 従来のAutoencoderでは、データセット内の外れ値は検知できなかった。
n 外れ値検知のためのRobust Autoencoderを提案。
• PCAをRobust PCAに拡張する流れをAutoencoderに適用。
• 交互最適化による学習方法を提案。
n MNIST実験でRobust Autoencoderの有効性を検証。
n コード: https://github.com/zc8340311/RobustAutoencoder
28

More Related Content

What's hot

Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西Keigo Nishida
 
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~SSII
 
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State SpacesDeep Learning JP
 
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence ModelingDeep Learning JP
 
A summary on “On choosing and bounding probability metrics”
A summary on “On choosing and bounding probability metrics”A summary on “On choosing and bounding probability metrics”
A summary on “On choosing and bounding probability metrics”Kota Matsui
 
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜SSII
 
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)Yoshitaka Ushiku
 
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for  Self-supervised Learning in Speech,...[DL輪読会]data2vec: A General Framework for  Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...Deep Learning JP
 
敵対的学習に対するラデマッハ複雑度
敵対的学習に対するラデマッハ複雑度敵対的学習に対するラデマッハ複雑度
敵対的学習に対するラデマッハ複雑度Masa Kato
 
最適化超入門
最適化超入門最適化超入門
最適化超入門Takami Sato
 
スパースモデリングによる多次元信号・画像復元
スパースモデリングによる多次元信号・画像復元スパースモデリングによる多次元信号・画像復元
スパースモデリングによる多次元信号・画像復元Shogo Muramatsu
 
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法SSII
 
0から理解するニューラルネットアーキテクチャサーチ(NAS)
0から理解するニューラルネットアーキテクチャサーチ(NAS)0から理解するニューラルネットアーキテクチャサーチ(NAS)
0から理解するニューラルネットアーキテクチャサーチ(NAS)MasanoriSuganuma
 
【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?Masanao Ochi
 
深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜
深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜
深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜Jun Okumura
 
深層生成モデルと世界モデル
深層生成モデルと世界モデル深層生成モデルと世界モデル
深層生成モデルと世界モデルMasahiro Suzuki
 

What's hot (20)

実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE
 
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西
 
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
 
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
 
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
 
A summary on “On choosing and bounding probability metrics”
A summary on “On choosing and bounding probability metrics”A summary on “On choosing and bounding probability metrics”
A summary on “On choosing and bounding probability metrics”
 
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜
 
ResNetの仕組み
ResNetの仕組みResNetの仕組み
ResNetの仕組み
 
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
 
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for  Self-supervised Learning in Speech,...[DL輪読会]data2vec: A General Framework for  Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
 
敵対的学習に対するラデマッハ複雑度
敵対的学習に対するラデマッハ複雑度敵対的学習に対するラデマッハ複雑度
敵対的学習に対するラデマッハ複雑度
 
最適化超入門
最適化超入門最適化超入門
最適化超入門
 
スパースモデリングによる多次元信号・画像復元
スパースモデリングによる多次元信号・画像復元スパースモデリングによる多次元信号・画像復元
スパースモデリングによる多次元信号・画像復元
 
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
 
0から理解するニューラルネットアーキテクチャサーチ(NAS)
0から理解するニューラルネットアーキテクチャサーチ(NAS)0から理解するニューラルネットアーキテクチャサーチ(NAS)
0から理解するニューラルネットアーキテクチャサーチ(NAS)
 
【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?
 
深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜
深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜
深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜
 
深層生成モデルと世界モデル
深層生成モデルと世界モデル深層生成モデルと世界モデル
深層生成モデルと世界モデル
 
Anomaly detection survey
Anomaly detection surveyAnomaly detection survey
Anomaly detection survey
 
ELBO型VAEのダメなところ
ELBO型VAEのダメなところELBO型VAEのダメなところ
ELBO型VAEのダメなところ
 

Similar to KDD'17読み会:Anomaly Detection with Robust Deep Autoencoders

Variational autoencoder
Variational autoencoderVariational autoencoder
Variational autoencoderMikio Shiga
 
充足可能性問題のいろいろ
充足可能性問題のいろいろ充足可能性問題のいろいろ
充足可能性問題のいろいろHiroshi Yamashita
 
(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMM(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMMMorpho, Inc.
 
Or学会用20160915.ver2
Or学会用20160915.ver2Or学会用20160915.ver2
Or学会用20160915.ver2Ryoma Nakagawa
 
K070k80 点推定 区間推定
K070k80 点推定 区間推定K070k80 点推定 区間推定
K070k80 点推定 区間推定t2tarumi
 
Introduction to Locally Testable Codes and Related Topics (in Japanese)
Introduction to Locally Testable Codes and Related Topics (in Japanese)Introduction to Locally Testable Codes and Related Topics (in Japanese)
Introduction to Locally Testable Codes and Related Topics (in Japanese)Nobutaka Shimizu
 
Quantum Support Vector Machine
Quantum Support Vector MachineQuantum Support Vector Machine
Quantum Support Vector MachineYuma Nakamura
 
正則化による尤度比推定法を応用した多値分類器の改良
正則化による尤度比推定法を応用した多値分類器の改良正則化による尤度比推定法を応用した多値分類器の改良
正則化による尤度比推定法を応用した多値分類器の改良MasatoKikuchi4
 
ICFP2009-いかにして我々は戦ったか
ICFP2009-いかにして我々は戦ったかICFP2009-いかにして我々は戦ったか
ICFP2009-いかにして我々は戦ったかina job
 
K070 点推定
K070 点推定K070 点推定
K070 点推定t2tarumi
 
プログラミングコンテストでの乱択アルゴリズム
プログラミングコンテストでの乱択アルゴリズムプログラミングコンテストでの乱択アルゴリズム
プログラミングコンテストでの乱択アルゴリズムTakuya Akiba
 
機械学習モデルの列挙
機械学習モデルの列挙機械学習モデルの列挙
機械学習モデルの列挙Satoshi Hara
 
第15回 配信講義 計算科学技術特論B(2022)
第15回 配信講義 計算科学技術特論B(2022)第15回 配信講義 計算科学技術特論B(2022)
第15回 配信講義 計算科学技術特論B(2022)RCCSRENKEI
 
[Basic 14] 暗号について / RSA 暗号 / 楕円曲線暗号
[Basic 14] 暗号について / RSA 暗号 / 楕円曲線暗号[Basic 14] 暗号について / RSA 暗号 / 楕円曲線暗号
[Basic 14] 暗号について / RSA 暗号 / 楕円曲線暗号Yuto Takei
 
130323 slide all
130323 slide all130323 slide all
130323 slide allikea0064
 
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介Masayoshi Kondo
 

Similar to KDD'17読み会:Anomaly Detection with Robust Deep Autoencoders (20)

Variational autoencoder
Variational autoencoderVariational autoencoder
Variational autoencoder
 
充足可能性問題のいろいろ
充足可能性問題のいろいろ充足可能性問題のいろいろ
充足可能性問題のいろいろ
 
(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMM(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMM
 
Or学会用20160915.ver2
Or学会用20160915.ver2Or学会用20160915.ver2
Or学会用20160915.ver2
 
K070k80 点推定 区間推定
K070k80 点推定 区間推定K070k80 点推定 区間推定
K070k80 点推定 区間推定
 
Introduction to Locally Testable Codes and Related Topics (in Japanese)
Introduction to Locally Testable Codes and Related Topics (in Japanese)Introduction to Locally Testable Codes and Related Topics (in Japanese)
Introduction to Locally Testable Codes and Related Topics (in Japanese)
 
Quantum Support Vector Machine
Quantum Support Vector MachineQuantum Support Vector Machine
Quantum Support Vector Machine
 
Prml9
Prml9Prml9
Prml9
 
確率解析計算
確率解析計算確率解析計算
確率解析計算
 
正則化による尤度比推定法を応用した多値分類器の改良
正則化による尤度比推定法を応用した多値分類器の改良正則化による尤度比推定法を応用した多値分類器の改良
正則化による尤度比推定法を応用した多値分類器の改良
 
6 Info Theory
6 Info Theory6 Info Theory
6 Info Theory
 
ICFP2009-いかにして我々は戦ったか
ICFP2009-いかにして我々は戦ったかICFP2009-いかにして我々は戦ったか
ICFP2009-いかにして我々は戦ったか
 
K070 点推定
K070 点推定K070 点推定
K070 点推定
 
Oshasta em
Oshasta emOshasta em
Oshasta em
 
プログラミングコンテストでの乱択アルゴリズム
プログラミングコンテストでの乱択アルゴリズムプログラミングコンテストでの乱択アルゴリズム
プログラミングコンテストでの乱択アルゴリズム
 
機械学習モデルの列挙
機械学習モデルの列挙機械学習モデルの列挙
機械学習モデルの列挙
 
第15回 配信講義 計算科学技術特論B(2022)
第15回 配信講義 計算科学技術特論B(2022)第15回 配信講義 計算科学技術特論B(2022)
第15回 配信講義 計算科学技術特論B(2022)
 
[Basic 14] 暗号について / RSA 暗号 / 楕円曲線暗号
[Basic 14] 暗号について / RSA 暗号 / 楕円曲線暗号[Basic 14] 暗号について / RSA 暗号 / 楕円曲線暗号
[Basic 14] 暗号について / RSA 暗号 / 楕円曲線暗号
 
130323 slide all
130323 slide all130323 slide all
130323 slide all
 
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介
 

More from Satoshi Hara

Explanation in Machine Learning and Its Reliability
Explanation in Machine Learning and Its ReliabilityExplanation in Machine Learning and Its Reliability
Explanation in Machine Learning and Its ReliabilitySatoshi Hara
 
“機械学習の説明”の信頼性
“機械学習の説明”の信頼性“機械学習の説明”の信頼性
“機械学習の説明”の信頼性Satoshi Hara
 
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究Satoshi Hara
 
機械学習で嘘をつく話
機械学習で嘘をつく話機械学習で嘘をつく話
機械学習で嘘をつく話Satoshi Hara
 
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)Satoshi Hara
 
異常の定義と推定
異常の定義と推定異常の定義と推定
異常の定義と推定Satoshi Hara
 
Convex Hull Approximation of Nearly Optimal Lasso Solutions
Convex Hull Approximation of Nearly Optimal Lasso SolutionsConvex Hull Approximation of Nearly Optimal Lasso Solutions
Convex Hull Approximation of Nearly Optimal Lasso SolutionsSatoshi Hara
 
Theoretical Linear Convergence of Unfolded ISTA and its Practical Weights and...
Theoretical Linear Convergence of Unfolded ISTA and its Practical Weights and...Theoretical Linear Convergence of Unfolded ISTA and its Practical Weights and...
Theoretical Linear Convergence of Unfolded ISTA and its Practical Weights and...Satoshi Hara
 
機械学習モデルの判断根拠の説明
機械学習モデルの判断根拠の説明機械学習モデルの判断根拠の説明
機械学習モデルの判断根拠の説明Satoshi Hara
 
Maximally Invariant Data Perturbation as Explanation
Maximally Invariant Data Perturbation as ExplanationMaximally Invariant Data Perturbation as Explanation
Maximally Invariant Data Perturbation as ExplanationSatoshi Hara
 
アンサンブル木モデル解釈のためのモデル簡略化法
アンサンブル木モデル解釈のためのモデル簡略化法アンサンブル木モデル解釈のためのモデル簡略化法
アンサンブル木モデル解釈のためのモデル簡略化法Satoshi Hara
 
特徴選択のためのLasso解列挙
特徴選択のためのLasso解列挙特徴選択のためのLasso解列挙
特徴選択のためのLasso解列挙Satoshi Hara
 

More from Satoshi Hara (12)

Explanation in Machine Learning and Its Reliability
Explanation in Machine Learning and Its ReliabilityExplanation in Machine Learning and Its Reliability
Explanation in Machine Learning and Its Reliability
 
“機械学習の説明”の信頼性
“機械学習の説明”の信頼性“機械学習の説明”の信頼性
“機械学習の説明”の信頼性
 
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
 
機械学習で嘘をつく話
機械学習で嘘をつく話機械学習で嘘をつく話
機械学習で嘘をつく話
 
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
 
異常の定義と推定
異常の定義と推定異常の定義と推定
異常の定義と推定
 
Convex Hull Approximation of Nearly Optimal Lasso Solutions
Convex Hull Approximation of Nearly Optimal Lasso SolutionsConvex Hull Approximation of Nearly Optimal Lasso Solutions
Convex Hull Approximation of Nearly Optimal Lasso Solutions
 
Theoretical Linear Convergence of Unfolded ISTA and its Practical Weights and...
Theoretical Linear Convergence of Unfolded ISTA and its Practical Weights and...Theoretical Linear Convergence of Unfolded ISTA and its Practical Weights and...
Theoretical Linear Convergence of Unfolded ISTA and its Practical Weights and...
 
機械学習モデルの判断根拠の説明
機械学習モデルの判断根拠の説明機械学習モデルの判断根拠の説明
機械学習モデルの判断根拠の説明
 
Maximally Invariant Data Perturbation as Explanation
Maximally Invariant Data Perturbation as ExplanationMaximally Invariant Data Perturbation as Explanation
Maximally Invariant Data Perturbation as Explanation
 
アンサンブル木モデル解釈のためのモデル簡略化法
アンサンブル木モデル解釈のためのモデル簡略化法アンサンブル木モデル解釈のためのモデル簡略化法
アンサンブル木モデル解釈のためのモデル簡略化法
 
特徴選択のためのLasso解列挙
特徴選択のためのLasso解列挙特徴選択のためのLasso解列挙
特徴選択のためのLasso解列挙
 

KDD'17読み会:Anomaly Detection with Robust Deep Autoencoders