Deep Learningを用いた教師なし画像検査の論文調査 GAN/SVM/Autoencoderなどを用いた手法のまとめ 製造業の画像検査などへの応用を目指す

1. Deep Learningを用いた教師なし画像検査の論文調査
GAN/SVM/Autoencoder辺り
@2018 Rist Inc. 1

2. 1
【AnoGAN】 Unsupervised Anomaly Detection
with Generative Adversarial Networks to Guide Marker Discovery 2017
2 【ADGAN】 Anomaly Detection with Generative Adversarial Networks 2018
3 【Efficient GAN】 Efficient GAN-Based Anomaly Detection 2018
4 Anomaly Detection using One-Class Neural Networks 2018
5
Unsupervised Adversarial Anomaly Detection
using One-Class Support Vector Machines 2018
6 Anomaly Detection with Robust Deep Autoencoders 2018
7
【AE-1SVM】 A Generalized Active Learning Approach for
Unsupervised Anomaly Detection 2018
8
Scalable and Interpretable One-class SVMs with Deep Learning
and Random Fourier features 2018
9
Improving Unsupervised Defect Segmentation by Applying Structural Similarity
to Autoencoders 2018
10 Adversarially Learned One-Class Classifier for Novelty Detection 2018
対象論文一覧
【調査方法】
Ø 「Anomaly Detection」（異常検出），「Defect Segmentation」（欠陥のセグメンテーション）
「Novelty Detection」（新規性検出）と言ったキーワードをもとにGoogle Scholarで検索
Ø 引用元，参考文献も含め2017年以降の論文のみを抜粋

3. 10@2018 Rist Inc.
GANを用いた異常検知のフレームワーク
【概要】
Ø GAN(Generative Adversarial Network)は深層生成モデルの一つ
Ø 正常データを用いてGANにより学習を行い，新たなサンプルxが与えられた
ときにxに近似したデータを生成できるかどうかで正常/異常を判定
【利用方法】
Ø 前処理段階では，領域の抽出・平坦化・パッチ抽出及び強度の正規化を行う
Ø 健康なデータを用いてGANの訓練を行う
Ø 人間の判別のつきにくい健康なケースと異常なデータの両方についてテストを行う
Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery より引用

4. 10@2018 Rist Inc.
GANを用いた異常検知のフレームワーク
【詳細】 http://habakan6.hatenablog.com/entry/2018/04/29/013200より引用
Ø GANのGenerator 𝐺は正常データの分布𝑝に従って
潜在空間の座標𝑧から画像𝑥を生成するモデル
Ø 正常な分布に従ったデータであるほど，
サンプルに近い画像𝐺(𝑧)を生成できる潜在変数𝑧が存在
Ø 𝑥から𝑧を探索する手順
1. 𝑧1 → 𝑧134となるようなモデル𝜙(𝑧1)，初期値𝑧6を設定
2. 𝑥と𝐺(𝜙(𝑧6))の誤差を算出し，誤差をもとに𝜙を更新．𝜙(𝑧6) → 𝑧4とする
Ø Feature Matching
ー Discriminatorに本物画像𝑥と偽画像𝑥8を入力したとき，
それぞれの中間層の出力の二乗誤差を小さくすることで
Generatorがより本物に近いデータを生成できるようにするテクニック
Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery より引用

5. 10@2018 Rist Inc.
One-Class SVMを用いた異常検知
【概要】
Ø One-Class SVMは教師なし学習の一種
Ø 異常検知に利用
Ø 元空間で孤立した点（＝外れ値）をカーネル関数を使って
原点付近に分布するように特徴空間に写像
Ø 原点からの距離（マージン）を最大化するように分類超平面を設定
• https://qiita.com/yhyhyhjp/items/88006646179adf68cb95
https://speakerdeck.com/hkaneko/one-class-support-vector-machine-ocsvm-dewai-rezhi-wai-
resanpuruwojian-chu-sitaridetami-du-wotui-ding-sitarisiyou?slide=19 より引用

6. 1. Unsupervised Anomaly Detection with Generative Adversarial
Networks to Guide Marker Discovery
Schlegl, Thomas and Seeböck, Philipp and Waldstein, Sebastian M and Schmidt-Erfurth,
Ursula and Langs, Georg. IPMI 2017
【手法概要】 正常なデータを訓練データとして用い，GANを学習させる．新しい画像入力時に潜
在空間上の座標に写像し，入力画像𝐱と生成画像𝐺(𝐳)から異常な部分があれば赤く示す．
潜在変数𝐳の探索時の誤差関数を残差誤差とFeature Matchingを用いて構成．
異常値は探索を行った𝐳∗
をもとに上記の2つの誤差関数から算出する．
異常値が設定した閾値を超えれば，異常画像と判断．AnoGANと呼ばれる．
【新規性】 GANを異常・新規性検出に初めて利用．訓練段階においてアノテーション付きデータ
が不要となる．
【パフォーマンス】 aCAE（adversarial convolutional autoencoder）と比べ，AUCが0.16上昇
【データセット】 OCT画像270枚を用意．1,000,000パッチを用いて訓練
【適用例】 医療画像の異常検知 @2018 Rist Inc. 6

7. 2. Anomaly Detection with Generative Adversarial Networks
Deecke, Lucas and Vandermeulen, Robert and Ruff, Lukas and Mandt, Stephan and Kloft,
Marius. 2018
【手法概要】 異常判定の仕組みはAnoGANと同様であるが，ADGANでは，探索時に誤差を利
用してGenerator自体も学習を行う．誤差関数には残差誤差が用いられ，探索過程の誤差を
平均化したものを用いて異常値を算出する．
【新規性】 探索過程の誤差を平均化することで，探索の最適化に誤差が依存してしまう（zの初
期値や探索回数に影響を受ける）というAnoGANの異常値算出の問題点を解決した．
【パフォーマンス】 AnoGANと比べ，異常検知タスクにおいてMNISTで平均値0.01の上昇(0.947)
【データセット】 MNIST, CIFAR-10, LSUN(Unsupervised)異常/正常の分類タスク
【適用例】 画像の異常検知 @2018 Rist Inc. 7
異常度高と判定された寝室
異常度低と判定された寝室

8. 3. Efficient GAN-Based Anomaly Detection
Zenati, Houssam and Foo, Chuan Sheng and Lecouat, Bruno and Manek, Gaurav and
Chandrasekhar, Vijay Ramaseshan. arXiv preprint arXiv:1802.06222 2018
【手法概要】 GANの学習時に入力xを潜在変数zにマッピングするエンコーダーを同時に学習す
るBiGANsというモデルを使用（Adversarial Feature Learning）
異常値はAnoGANと同様の計算方法．
【新規性】 エンコーダーを同時に学習することで，探索過程が必要なくなる．
【パフォーマンス】 MNISTを用いた異常検知タスクにおいて，AnoGANよりも高いAUPRC，
かつ800倍推論時間が高速化
【データセット】 MNIST，KDDCUP99
【適用例】 画像・ネットワークの異常検知 @2018 Rist Inc. 8

9. 4. Anomaly Detection using One-Class Neural Networks
Chalapathy, Raghavendra and Menon, Aditya Krishna and Chawla, Sanjay
arXiv preprint arXiv:1802.06360 2018
【手法概要】本手法(OC-NN)では，One-Class SVM(OC-SVM)の目的関数中のカーネル関数を活
性関数に変更することで，Autoencoderの出力をフィードフォワードニューラルネットワークに接
続し，学習を行う．
【新規性】 OC-NNモデルを異常検知に初めて導入．
【パフォーマンス】 USPS, CIFAR-10, PFAMにおいてはOC-NNがAUPRC，AUROC，P@10において
最も優れた結果を，MNISTではOS-SVMが最も優れた結果を示した．
【データセット】 MNIST, USPS, CIFAR-10, PFAM, 人工データセット
【適用例】 画像の異常検知
@2018 Rist Inc. 9
OC-SVM
OC-NN
目的関数
⤴

10. 5. Unsupervised Adversarial Anomaly Detection using One-Class
Support Vector Machines
Weerasinghe, Prameesha Sandamal and Alpcan, Tansu and Erfani, Sarah Monazam and Leckie,
Christopher 2018
【手法概要】 この論文では，訓練画像を改変することで学習を妨げるといった悪意のある攻撃
を防ぐために，OC-SVMを用いたデータの収縮に基づく防御メカニズムを提案している．
攻撃によるデータセットの改変は予測できないという状況を想定し，データを圧縮して特徴空
間に射影することで攻撃耐性を強化した．
【新規性】 異常検知における攻撃者の存在を仮定し，防衛戦略を考案した．
【パフォーマンス】 元の特徴空間で識別できなかったサンプルのうち，CIFAR-10で23%，MNIST
で31%を検出することに成功した
【データセット】 MNIST, CIFAR-10, SVHN
【適用例】 画像の異常検知（攻撃者有） @2018 Rist Inc. 10

11. 6. Anomaly detection with robust deep autoencoders
Zhou, Chong and Paffenroth, Randy C ACM SIGKDD 2018
【手法概要】 入力データを正常な要素と異常要因の和に分解し，正常な要素を学習させる．正
常な要素はAutoencoderで適切に復元可能であり，異常要因の検出は，入力から正常要素を
引くことで検出可能．データセットから正常な要素と異常要因，Autoencoderを同時に学習．
【新規性】 PCAからRobust PCAへの拡張をAutoencoderに適用し，Autoencoderとノイズ成分の
交互最適化による学習方法を提案した．
【パフォーマンス】 2つの異なる異常検知のタスクにおいて，通常のAutoencoderと比べ最大
30%の向上．またIsolation Forestと比べ，F1-scoreが約20%上昇した．
【データセット】 MNIST
【適用例】 画像の異常検知 @2018 Rist Inc. 11

12. 7. A Generalized Active Learning Approach for Unsupervised
Anomaly Detection
【手法概要】 専門家が不確実性の高い少数のサンプルをラベリングすることで，学習効率を高
くするActive Learningを異常検知の枠組みに組み込んだActive Anomaly Detectionを提案．
既存のネットワークの上にA latent representation層と出力異常スコアs(x)の両方を入力として
受け取り，分類器にかけることでアイテムの異常確率を算出，s(x)を更新する．
【新規性】 異常分布に関する事前確率がなければ，教師なし異常検知は決定不能問題である
ことを示し，異常検知にActive Learningを組み込んだフレームワークを提案した．
【パフォーマンス】 KDDCUPでは，半教師ありのDAGMMに匹敵する0.94のF1-Scoreを示した
【データセット】 MNIST, KDDCUP, Thyroid, Arrhythmia, KDDCUP-Rev [Lichman, 2013]
【適用例】 画像の異常検知 @2018 Rist Inc. 12
Pimentel, Tiago and Monteiro, Marianne and Viana, Juliano and Veloso, Adriano and Ziviani, Nivio
arXiv:1805.09411 2018

13. 8. Scalable and Interpretable One-class SVMs with Deep Learning
and Random Fourier features
Nguyen, Minh-Nghia and Vien, Ngo Anh arXiv preprint arXiv:1804.04888 2018
【手法概要】 この論文では，大規模高次元データセットの異常検知のため
に，Deep AutoencoderとOC-SVMを組み合わせ，End-to-endで訓練を行う
AE1-SVMを提案する．Autoencoderを用いて入力空間の特徴を保持しつつ
次元を削減し，OC-SVMを用いて異常予測を行う．この際，計算を高速化す
るために，RBFカーネルをランダムにサンプリングしたフーリエ特徴の内積
で近似する，Random Fourier Featuresを用いた．
【新規性】 異常検知に勾配ベースの方法が有用であることを示した．
表現学習と異常予測をEnd-to-endで行うアーキテクチャを提案した．
【パフォーマンス】 Shuttleを除く，全てのデータセットでAUROC, AUPRCが他
手法（Robust Deep Autoencoder, Isolation Forest, OC-SVM）を上回った．
【データセット】 Gaussian, ForestCover, KDDCup99, USPS, MNIST
【適用例】 画像の異常検知
@2018 Rist Inc. 13

14. 9. Improving Unsupervised Defect Segmentation by Applying
Structural Similarity to Autoencoders
Bergmann, Paul and Lo”we, Sindy and Fauser, Michael and Sattlegger, David and Steger,
Carsten 2018
【手法概要】 教師なし欠陥セグメンテーションを行うために，オートエンコーダーと知覚類似性
を捕捉するように設計された距離尺度に基づく画像評価指標であるStructural SIMilarity
（SSIM）を組み合わせた手法を提案する．
入力パッチが訓練された決定的オートエンコーダーを通過し，出力として再構成される．再構
成されたパッチは入力パッチと比較し，各ピクセルの周辺の領域とのSSIMを計算する．最終的
に誤差マップを閾値で処理し，新規性マップが出力される．
【新規性】事前に訓練されたCNNを必要とせずに，End-to-endで訓練されるオートエンコーダー
ベースのピクセル単位のセグメンテーション手法を提案．
【パフォーマンス】 提案手法は0.974に匹敵する0.966のAUCを記録．
【データセット】 NanoTWICE（http://www.mi.imati.cnr.it/ettore/NanoTWICE/）
【適用例】 ナノ繊維材料の欠陥セグメンテーション
@2018 Rist Inc. 14
赤： ground truth 緑： result

15. 10. Adversarially Learned One-Class Classifier for Novelty Detection
Sabokrou, Mohammad and Khalooei, Mohammad and Fathy, Mahmood and Adeli, Ehsan
CVPR 2018
【手法概要】 敵対的な方法で訓練された画像や動画の1クラス分類と新規性検出のための一般
的なフレームワークを提案．アーキテクチャはReconstructorとDisciriminatorの2つのモジュール
で構成され，前者は画像を再構成するための目標クラスの概念を学習し，後者は再構築された
画像を実際の目標クラスとみなすように訓練される．
【新規性】 1クラス分類にEnd-to-Endのネットワークを初めて導入した．GANのように訓練後に
Generator, あるいはDiscriminatorを破棄しない．また，学習時に検出対象のサンプルが不要．
【パフォーマンス】 Caltech-256ではF1-Scoreは他6手法を全て上回った．
【データセット】 MNIST, Caltech-256, UCSD
【適用例】 画像の新規性・異常検出 @2018 Rist Inc. 15
カテゴリ数
1
3
5