SlideShare a Scribd company logo
1 of 25
Download to read offline
When NAS Meets Robustness:
In Search of Robust Architectures against
Adversarial Attacks
菅沼 雅徳
wkpeco
CVPR 2020 論⽂読み会(2020.07.04)
• 所属
• 2017.10 ‒ 現在 理化学研究所 AIP 特別研究員
• 2018.10 ‒ 現在 東北⼤学 助教
2
自己紹介
NAS(勾配法)+ 画像復元
[CVPR, 2019]
NAS(進化計算)+ 画像復元
[ICML, 2018]
NAS(進化計算)+ 画像分類
[GECCO, 2017 (Best paper)]
Ours
• 興味:Neural Architecture Search (NAS)
• AdversarialNAS: Adversarial Neural Architecture Search for GANs
• UNAS: Differentiable Architecture Search Meets Reinforcement Learning
• Rethinking Performance Estimation in Neural Architecture Search
• EcoNAS: Finding Proxies for Economical Neural Architecture Search
• Hit-Detector: Hierarchical Trinity Architecture Search for Object Detection
• MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning
• GP-NAS: Gaussian Process based Neural Architecture Search
• NAS-FCOS: Fast Neural Architecture Search for Object Detection
• MiLeNAS: Efficient Neural Architecture Search via Mixed-Level Reformulation
• Butterfly Transform: An Efficient FFT Based Neural Architecture Design
• DSNAS: Direct Neural Architecture Search without Parameter Retraining
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio
• Meta-Learning of Neural Architectures for Few-Shot Learning
• MnasFPN : Learning Latency-aware Pyramid Architecture for Object Detection on Mobile Devices
• Improving One-shot NAS by Suppressing the Posterior Fading
3
NAS in CVPR 2020
NASに関する論⽂が約32本採択されている
• Can weight sharing outperform random architecture search? An investigation with TuNAS
• A Semi-Supervised Assessor of Neural Architectures
• CARS: Continuous Evolution for Efficient Neural Architecture Search
• Block-wisely Supervised Neural Architecture Search with Knowledge Distillation
• GreedyNAS: Towards Fast One-Shot NAS with Greedy Supernet
• APQ: Joint Search for Network Architecture, Pruning and Quantization Policy
• MemNAS: Memory-Efficient Neural Architecture Search with Grow-Trim Learning
• All in One Bad Weather Removal using Architectural Search
• Memory-Efficient Hierarchical Neural Architecture Search for Image Denoising
• C2FNAS: Coarse-to-Fine Neural Architecture Search for 3D Medical Image Segmentation
• Graph-guided Architecture Search for Real-time Semantic Segmentation
• Organ at Risk Segmentation for Head and Neck Cancer using Stratified Learning and Neural
Architecture Search
• When NAS Meets Robustness: In Search of Robust Architectures against Adversarial Attacks
• Densely Connected Search Space for More Flexible Neural Architecture Search
• Neural Architecture Search for Lightweight Non-Local Networks
4
NAS in CVPR 2020
5
CNNの構造はそれなりに大事
[引⽤] https://coggle.it/diagram/WgPeVuojMQABBOPO/t/machine-learning
CNNのアーキテクチャの改善で
20%以上の性能向上
errorrate
https://medium.com/@rishi30.mehta/object-detection-with-yolo-giving-eyes-to-ai-7a3076c6977e
AlexNet [2012] ResNet [2015] DenseNet [2016]
外乱に対して頑健性を有するCNN構造はあるのか?
• 基本的にはcleanな画像上で構造設計・性能評価
• ImageNet上では,DenseNet > ResNet だが,外乱画像上ではどうなのか
• 現実では,様々な外乱が含まれることが想定される
6
Research Question
CNNの予測:
パンダ
CNNの予測:
テナガザル
Adversarial attack
Distortions
(Raindrop + Blur)
When NAS Meets Robustness: In Search of Robust Architectures
against Adversarial Attacks
• Minghao Guo1, Yuzhe Yang2, Rui Xu1, Ziwei Liu1, Dahua Lin1
• 1The Chinese University of Hong Kong, 2MIT CSAIL
この論⽂では以下の問いに答えます
• Adversarial attackに頑健なCNNの構造は何なのか?
• パラメータ数に制限がある場合,どのように畳み込み層を配置すべきか?
• 統計的に頑健性を計る指標は何が良いか?
7
紹介する論文
?
既存のOne-shot NAS[1]を利⽤して,多数のCNNを⽣成し,
それらCNNのAdversarial attackに対する頑健性を調査
8
基本的な方針
[1] G. Bender+, Understanding and Simplifying One-Shot Architecture Search, ICML, 2018
Supernet
…
sampling
Finetuning the network with adversarial
training and evaluate it on eval samples
Subnets
…
…
Finetuning the network with adversarial
training and evaluate it on eval samples
Cell = 有向⾮巡回グラフ(Directed acyclic graph)の構造を探索する
• ノード:特徴マップ
• エッジ:演算(畳み込み層,identity) ← 探索対象
9
本論文で使用するOne-shot NASの概要
Cell Cell Cell Cell… OutputInput
Input1
Input2
!"
!#
!$
%&'%()
!*
!+
%&',1×1
%&',1×1
10
探索空間=各エッジでどの演算を実行するか
Cell Cell Cell Cell… OutputInput
Input1
Input2
!"
!#
!$
%&'%()
3×3 ,-. %&'/
01-')0)2
!3 = 5
673
5
89:
;
<8
6,3
&8(!6)
<:
:,#
<@
:,#
architecture parameter
< = <8
6,3
<8
6,3
∈ 0,1 ,	
0, E = 1, … , G + 2,			J = 1, … , K}
G: ノード数 K: 演算数 (=2)
!:
!@
%&'/1×1
%&'/1×1
+
11
ResNetやDenseNetに類似した構造も構築可能
Cell Cell Cell Cell… OutputInput
Input1
Input2
!"
!#
!$
%&'%()
!*
!+
%&',1×1
%&',1×1
ResNet-like
3×3 012 %&',
341')3)5
6*
*,"
6+
*,"
+
3×3 012 %&',
341')3)5
6*
*,#
6+
*,#
+
for ! = 0 … % do
Set all elements in & to 1
Sample a training batch (), +) ),-
.
Randomly set some of the elements of & to 0 and
get the corresponding network parameters /0
for 1 = 1 … 2 do
()
3
← ()
for 5 = 0 … (7 − 1) do
((:;-) ← Π= ()
:
+ ? @ A1BC ∇Eℒ /0, ()
:
, +)
Update /0 using ()
G
, +)
),-
.
by SGD
12
Supernetの学習手順
// PGD adversarial example
Supernet
Subnet /0
• Supernetからランダムに1000個のCNNをサンプリング
• セル内のノード数は4に設定 → ! ∈ 0,1 &×() ≈ 10+
13
CNN構造の解析
サンプルされた1000個のアーキテクチャの性能分布
• さらに,性能がtop300とlast300の!の分布をt-SNEで可視化(右図)
• 明らかにrobust / non-robust networkの!の分布に差異がみられる
600個のアーキテクチャ(!)の分布
CNNのdensityとadversarial robustnessには正の相関があることが判明
• architecture density ! =
|$%&''(%)(*|
|$|
=
∑,,.,/ 0/
(,,.)
|$|
14
Adversarial attackに頑健なCNNの構造は?
top300とlast300を分類する線形分類器
を学習させた際の重みの分布
15
例えば,ResNet vs DenseNet
ResNet
type
DenseNet
type
DenseNetの⽅がdensityが⾼いため,adversarial
attackに対する頑健性が優れていることを⽰す
• 複数の研究[2][3]で,CNNのパラメータ数が増加するにつれて頑健性も増加す
ることが⽰されている
• では固定されたパラメータ数のもとではどういった構造が優れた頑健性を
⽰すのか?
16
Architecture Strategy under Budget
[2] A. Madry+, Towards deep learning models resistant to adversarial attacks. ICLR, 2018
[3] D. Su+, Is robustness the cost of accuracy?‒ a comprehensive study on the robustness of 18 deep image classification models. ECCV, 2018
→ パラメータ数が少ない制約下では,隣接するノード間に畳み込み層を配置
したほうが頑健性が増加する (Direct convolution)
• 各セルが異なる構造をもつように制約を緩めた場合を考える
• セル数が!の場合,組み合わせ数は⼤体 10$ %
• 探索範囲が膨⼤すぎるので,頑健性を計る新しい指標を提案
17
より多様なCNN構造での検証
&' (; * = ,
-./
0
,
1./
2
3',-,1
56
(; * ×3',-,1
891
((; *)
ℎ×=
!'
>?@
=
1
A
,
B
&' (; * − &' (D
; * E
E
Flow of solution procedure (FSP) matrix loss
clean画像とadversarial exampleをそれぞれセルに⼊⼒した際の,特徴マップの
変化具合をみている(関連研究[4][5])
[4] J. Yim+, A gift from knowledge distillation: Fast optimization, network minimization and transfer learning. CVPR, 2017
[5] H. Zhang+, Theoretically principled trade-off between robustness and accuracy. ICML, 2019
• 深い層でのFSP matrixと頑健性の間に正の相関関係がある
• Adversarial attackに頑健なCNNは,深い層で低いFSP matrix lossを⽰す
18
FSP matrix lossと頑健性の関係
50個のCNNをサンプルした際のFSP matrix lossの結果
Q1. Adversarial attackに頑健なCNNの構造は何なのか?
A1. Densely connected pattern
Q2. パラメータ数に制限がある場合,どのように畳み込み層を配置すべきか?
A2. 少ないパラメータ制約下では,隣接するノード間に畳み込み層を配置
Q3. 統計的に頑健性を計る指標は何が良いか?
A3. Flow of solution procedure (FSP) matrix loss
19
ここまでのまとめ
※ あくまで本論⽂で設定した探索空間での話
RobNet-small, RobNet-medium, RobNet-large/large-v2
• Density ! > 0.5 かつ Direct convolutionの割合が0.5以上のsubnetを選択
• 各budgetで50個のsubnetをsupernetからサンプルし,adversarial exampleに対する性能が
最も優れているsubnetを以下に掲載
20
既存のCNNとの比較(White-box attack, CIFAR-10)
RobNet-free
• 300個のsubnetをサンプルし,出⼒層に近い10層分のFSP matrix lossを算出し,しきい値以上
のCNNを除去後,adversarial exampleに対する性能が最も優れているsubnetを以下に掲載
Adversarial exampleに対する頑健性は,DenseNet > ResNet
• Density (DenseNet) > Density (ResNet)
• 本論⽂の主張とも⼀致する
21
既存のCNNとの比較(White-box attack, CIFAR-10)
• Black-box results on CIFAR-10
• 同じネットワークを⽤意して,そちらでadversarial exampleを⽣成
• White-box results across different datasets
• CIFAR-10上で探索したCNNをほかのデータセット上で評価
22
既存のCNNとの比較(Black-box attack, different datasets)
Black-box results White-box results across different datasets
頑健性を向上させる既存⼿法[6]をRobNetに適⽤することで,ResNetと⽐べて
さらなる頑健性の向上が可能
• [6] C. Xie+, Feature denoising for improving adversarial robustness, CVPR, 2019
23
既存手法との関係
ほかにも頑健性を向上させる既存⼿法はあるため,それらとの関係性もみたい
• [7] C. Xie+, Adversarial Examples Improve Image Recognition, CVPR, 2020
• [8] C. Xie+, Smooth Adversarial Training, arXiv:2006.14536, 2020
24
まとめ
Q1. Adversarial attackに頑健なCNNの構造は何なのか?
A1. Densely connected pattern
Q2. パラメータ数に制限がある場合,どのように畳み込み層を配置すべきか?
A2. 少ないパラメータ制約下では,隣接するノード間に畳み込み層を配置
Q3. 統計的に頑健性を計る指標は何が良いか?
A3. Flow of solution procedure (FSP) matrix loss
• 上記の結果は,あくまで今回設定した探索空間での話のため,ほかの探索空間での
検証も必要
• Adversarial attackに対する頑健性を向上させるほかの⼿法との関連性も要検証
• 真に新しい構造を探索しているようには感じない
• 探索空間を定義した時点である程度の性能は決まる ≈ ランダムサーチでも⼗分な
探索性能
• 探索空間も進化させたい(関連研究いくつかあり[9])
• 現状のgradient-based NASは,architectureのfine-tuningのような印象
• Gradient-based NASにも局所解がある
• e.g. DARTSではidentityばかりの構造が獲得されがち
• 安定して探索するには多少の⼯夫が必要[10]
• ほかのハイパーパラメータや学習率のスケジューリングと⼀緒に最適化でき
れば,さらに有⽤性もあがりそう
25
Gradient-based NASに対する所感
[9] E. Real+, Large-Scale Evolution of Image Classifiers. ICML, 2017
[10] A. Zela+, Understanding and Robustifying Differentiable Architecture Search. ICLR, 2020

More Related Content

What's hot

Densely Connected Convolutional Networks
Densely Connected Convolutional NetworksDensely Connected Convolutional Networks
Densely Connected Convolutional Networksharmonylab
 
[DL輪読会]Encoder-Decoder with Atrous Separable Convolution for Semantic Image S...
[DL輪読会]Encoder-Decoder with Atrous Separable Convolution for Semantic Image S...[DL輪読会]Encoder-Decoder with Atrous Separable Convolution for Semantic Image S...
[DL輪読会]Encoder-Decoder with Atrous Separable Convolution for Semantic Image S...Deep Learning JP
 
[DL輪読会]Deep Face Recognition: A Survey
[DL輪読会]Deep Face Recognition: A Survey[DL輪読会]Deep Face Recognition: A Survey
[DL輪読会]Deep Face Recognition: A SurveyDeep Learning JP
 
PyTorch, PixyzによるGenerative Query Networkの実装
PyTorch, PixyzによるGenerative Query Networkの実装PyTorch, PixyzによるGenerative Query Networkの実装
PyTorch, PixyzによるGenerative Query Networkの実装Shohei Taniguchi
 
【DL輪読会】Where do Models go Wrong? Parameter-Space Saliency Maps for Explainabi...
【DL輪読会】Where do Models go Wrong? Parameter-Space Saliency Maps for Explainabi...【DL輪読会】Where do Models go Wrong? Parameter-Space Saliency Maps for Explainabi...
【DL輪読会】Where do Models go Wrong? Parameter-Space Saliency Maps for Explainabi...Deep Learning JP
 
semantic segmentation サーベイ
semantic segmentation サーベイsemantic segmentation サーベイ
semantic segmentation サーベイyohei okawa
 
グラフデータ分析 入門編
グラフデータ分析 入門編グラフデータ分析 入門編
グラフデータ分析 入門編順也 山口
 
Dynamic Routing Between Capsules
Dynamic Routing Between CapsulesDynamic Routing Between Capsules
Dynamic Routing Between Capsulesharmonylab
 
[DL輪読会]Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Ima...
[DL輪読会]Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Ima...[DL輪読会]Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Ima...
[DL輪読会]Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Ima...Deep Learning JP
 
畳み込みニューラルネットワークの研究動向
畳み込みニューラルネットワークの研究動向畳み込みニューラルネットワークの研究動向
畳み込みニューラルネットワークの研究動向Yusuke Uchida
 
[DL輪読会]Xception: Deep Learning with Depthwise Separable Convolutions
[DL輪読会]Xception: Deep Learning with Depthwise Separable Convolutions[DL輪読会]Xception: Deep Learning with Depthwise Separable Convolutions
[DL輪読会]Xception: Deep Learning with Depthwise Separable ConvolutionsDeep Learning JP
 
効率的学習 / Efficient Training(メタサーベイ)
効率的学習 / Efficient Training(メタサーベイ)効率的学習 / Efficient Training(メタサーベイ)
効率的学習 / Efficient Training(メタサーベイ)cvpaper. challenge
 
Deeply-Recursive Convolutional Network for Image Super-Resolution
Deeply-Recursive Convolutional Network for Image Super-ResolutionDeeply-Recursive Convolutional Network for Image Super-Resolution
Deeply-Recursive Convolutional Network for Image Super-Resolutionharmonylab
 
深層学習 第4章 大規模深層学習の実現技術
深層学習 第4章 大規模深層学習の実現技術深層学習 第4章 大規模深層学習の実現技術
深層学習 第4章 大規模深層学習の実現技術孝昌 田中
 
U-Net: Convolutional Networks for Biomedical Image Segmentationの紹介
U-Net: Convolutional Networks for Biomedical Image Segmentationの紹介U-Net: Convolutional Networks for Biomedical Image Segmentationの紹介
U-Net: Convolutional Networks for Biomedical Image Segmentationの紹介KCS Keio Computer Society
 
[DL輪読会]AdaShare: Learning What To Share For Efficient Deep Multi-Task Learning
[DL輪読会]AdaShare: Learning What To Share For Efficient Deep Multi-Task Learning[DL輪読会]AdaShare: Learning What To Share For Efficient Deep Multi-Task Learning
[DL輪読会]AdaShare: Learning What To Share For Efficient Deep Multi-Task LearningDeep Learning JP
 
【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?Masanao Ochi
 
Deep Forest: Towards An Alternative to Deep Neural Networks
Deep Forest: Towards An Alternative to Deep Neural NetworksDeep Forest: Towards An Alternative to Deep Neural Networks
Deep Forest: Towards An Alternative to Deep Neural Networksharmonylab
 
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for PredictionDeep Learning JP
 
[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係について[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係についてDeep Learning JP
 

What's hot (20)

Densely Connected Convolutional Networks
Densely Connected Convolutional NetworksDensely Connected Convolutional Networks
Densely Connected Convolutional Networks
 
[DL輪読会]Encoder-Decoder with Atrous Separable Convolution for Semantic Image S...
[DL輪読会]Encoder-Decoder with Atrous Separable Convolution for Semantic Image S...[DL輪読会]Encoder-Decoder with Atrous Separable Convolution for Semantic Image S...
[DL輪読会]Encoder-Decoder with Atrous Separable Convolution for Semantic Image S...
 
[DL輪読会]Deep Face Recognition: A Survey
[DL輪読会]Deep Face Recognition: A Survey[DL輪読会]Deep Face Recognition: A Survey
[DL輪読会]Deep Face Recognition: A Survey
 
PyTorch, PixyzによるGenerative Query Networkの実装
PyTorch, PixyzによるGenerative Query Networkの実装PyTorch, PixyzによるGenerative Query Networkの実装
PyTorch, PixyzによるGenerative Query Networkの実装
 
【DL輪読会】Where do Models go Wrong? Parameter-Space Saliency Maps for Explainabi...
【DL輪読会】Where do Models go Wrong? Parameter-Space Saliency Maps for Explainabi...【DL輪読会】Where do Models go Wrong? Parameter-Space Saliency Maps for Explainabi...
【DL輪読会】Where do Models go Wrong? Parameter-Space Saliency Maps for Explainabi...
 
semantic segmentation サーベイ
semantic segmentation サーベイsemantic segmentation サーベイ
semantic segmentation サーベイ
 
グラフデータ分析 入門編
グラフデータ分析 入門編グラフデータ分析 入門編
グラフデータ分析 入門編
 
Dynamic Routing Between Capsules
Dynamic Routing Between CapsulesDynamic Routing Between Capsules
Dynamic Routing Between Capsules
 
[DL輪読会]Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Ima...
[DL輪読会]Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Ima...[DL輪読会]Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Ima...
[DL輪読会]Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Ima...
 
畳み込みニューラルネットワークの研究動向
畳み込みニューラルネットワークの研究動向畳み込みニューラルネットワークの研究動向
畳み込みニューラルネットワークの研究動向
 
[DL輪読会]Xception: Deep Learning with Depthwise Separable Convolutions
[DL輪読会]Xception: Deep Learning with Depthwise Separable Convolutions[DL輪読会]Xception: Deep Learning with Depthwise Separable Convolutions
[DL輪読会]Xception: Deep Learning with Depthwise Separable Convolutions
 
効率的学習 / Efficient Training(メタサーベイ)
効率的学習 / Efficient Training(メタサーベイ)効率的学習 / Efficient Training(メタサーベイ)
効率的学習 / Efficient Training(メタサーベイ)
 
Deeply-Recursive Convolutional Network for Image Super-Resolution
Deeply-Recursive Convolutional Network for Image Super-ResolutionDeeply-Recursive Convolutional Network for Image Super-Resolution
Deeply-Recursive Convolutional Network for Image Super-Resolution
 
深層学習 第4章 大規模深層学習の実現技術
深層学習 第4章 大規模深層学習の実現技術深層学習 第4章 大規模深層学習の実現技術
深層学習 第4章 大規模深層学習の実現技術
 
U-Net: Convolutional Networks for Biomedical Image Segmentationの紹介
U-Net: Convolutional Networks for Biomedical Image Segmentationの紹介U-Net: Convolutional Networks for Biomedical Image Segmentationの紹介
U-Net: Convolutional Networks for Biomedical Image Segmentationの紹介
 
[DL輪読会]AdaShare: Learning What To Share For Efficient Deep Multi-Task Learning
[DL輪読会]AdaShare: Learning What To Share For Efficient Deep Multi-Task Learning[DL輪読会]AdaShare: Learning What To Share For Efficient Deep Multi-Task Learning
[DL輪読会]AdaShare: Learning What To Share For Efficient Deep Multi-Task Learning
 
【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?
 
Deep Forest: Towards An Alternative to Deep Neural Networks
Deep Forest: Towards An Alternative to Deep Neural NetworksDeep Forest: Towards An Alternative to Deep Neural Networks
Deep Forest: Towards An Alternative to Deep Neural Networks
 
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
 
[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係について[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係について
 

Similar to When NAS Meets Robustness: In Search of Robust Architectures against Adversarial Attacks

大規模ネットワークの性質と先端グラフアルゴリズム
大規模ネットワークの性質と先端グラフアルゴリズム大規模ネットワークの性質と先端グラフアルゴリズム
大規模ネットワークの性質と先端グラフアルゴリズムTakuya Akiba
 
A closer look at few shot classification
A closer look at few shot classificationA closer look at few shot classification
A closer look at few shot classificationKazuki Fujikawa
 
[DL輪読会]A closer look at few shot classification
[DL輪読会]A closer look at few shot classification[DL輪読会]A closer look at few shot classification
[DL輪読会]A closer look at few shot classificationDeep Learning JP
 
【CVPR 2020 メタサーベイ】Efficient Training and Inference Methods for Networks
【CVPR 2020 メタサーベイ】Efficient Training and Inference Methods for Networks【CVPR 2020 メタサーベイ】Efficient Training and Inference Methods for Networks
【CVPR 2020 メタサーベイ】Efficient Training and Inference Methods for Networkscvpaper. challenge
 
Neo4j高可用性クラスタ― vs 大規模分散クラスタ―の解説
Neo4j高可用性クラスタ― vs 大規模分散クラスタ―の解説Neo4j高可用性クラスタ― vs 大規模分散クラスタ―の解説
Neo4j高可用性クラスタ― vs 大規模分散クラスタ―の解説昌桓 李
 
Neo4j勉強会 ha cluster vs causal cluster
Neo4j勉強会 ha cluster vs causal clusterNeo4j勉強会 ha cluster vs causal cluster
Neo4j勉強会 ha cluster vs causal clusterChanghwan Lee
 
MapReduceによる大規模データを利用した機械学習
MapReduceによる大規模データを利用した機械学習MapReduceによる大規模データを利用した機械学習
MapReduceによる大規模データを利用した機械学習Preferred Networks
 
attention_is_all_you_need_nips17_論文紹介
attention_is_all_you_need_nips17_論文紹介attention_is_all_you_need_nips17_論文紹介
attention_is_all_you_need_nips17_論文紹介Masayoshi Kondo
 
研究動向から考えるx86/x64最適化手法
研究動向から考えるx86/x64最適化手法研究動向から考えるx86/x64最適化手法
研究動向から考えるx86/x64最適化手法Takeshi Yamamuro
 
2012-03-08 MSS研究会
2012-03-08 MSS研究会2012-03-08 MSS研究会
2012-03-08 MSS研究会Kimikazu Kato
 
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)Morpho, Inc.
 
[DL輪読会]CNN - based Density Estimation and CrowdCounting A Survey
[DL輪読会]CNN - based Density Estimation and CrowdCounting A Survey[DL輪読会]CNN - based Density Estimation and CrowdCounting A Survey
[DL輪読会]CNN - based Density Estimation and CrowdCounting A SurveyDeep Learning JP
 
[DL輪読会]EfficientDet: Scalable and Efficient Object Detection
[DL輪読会]EfficientDet: Scalable and Efficient Object Detection[DL輪読会]EfficientDet: Scalable and Efficient Object Detection
[DL輪読会]EfficientDet: Scalable and Efficient Object DetectionDeep Learning JP
 
2018 07 02_dense_pose
2018 07 02_dense_pose2018 07 02_dense_pose
2018 07 02_dense_poseharmonylab
 
PFP:材料探索のための汎用Neural Network Potential_中郷_20220422POLセミナー
PFP:材料探索のための汎用Neural Network Potential_中郷_20220422POLセミナーPFP:材料探索のための汎用Neural Network Potential_中郷_20220422POLセミナー
PFP:材料探索のための汎用Neural Network Potential_中郷_20220422POLセミナーMatlantis
 
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields [DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields Deep Learning JP
 
LCCC2010:Learning on Cores, Clusters and Cloudsの解説
LCCC2010:Learning on Cores,  Clusters and Cloudsの解説LCCC2010:Learning on Cores,  Clusters and Cloudsの解説
LCCC2010:Learning on Cores, Clusters and Cloudsの解説Preferred Networks
 
MemoryPlus Workshop
MemoryPlus WorkshopMemoryPlus Workshop
MemoryPlus WorkshopHitoshi Sato
 
CVPR2019 survey Domain Adaptation on Semantic Segmentation
CVPR2019 survey Domain Adaptation on Semantic SegmentationCVPR2019 survey Domain Adaptation on Semantic Segmentation
CVPR2019 survey Domain Adaptation on Semantic SegmentationYamato OKAMOTO
 

Similar to When NAS Meets Robustness: In Search of Robust Architectures against Adversarial Attacks (20)

大規模ネットワークの性質と先端グラフアルゴリズム
大規模ネットワークの性質と先端グラフアルゴリズム大規模ネットワークの性質と先端グラフアルゴリズム
大規模ネットワークの性質と先端グラフアルゴリズム
 
A closer look at few shot classification
A closer look at few shot classificationA closer look at few shot classification
A closer look at few shot classification
 
[DL輪読会]A closer look at few shot classification
[DL輪読会]A closer look at few shot classification[DL輪読会]A closer look at few shot classification
[DL輪読会]A closer look at few shot classification
 
【CVPR 2020 メタサーベイ】Efficient Training and Inference Methods for Networks
【CVPR 2020 メタサーベイ】Efficient Training and Inference Methods for Networks【CVPR 2020 メタサーベイ】Efficient Training and Inference Methods for Networks
【CVPR 2020 メタサーベイ】Efficient Training and Inference Methods for Networks
 
Neo4j高可用性クラスタ― vs 大規模分散クラスタ―の解説
Neo4j高可用性クラスタ― vs 大規模分散クラスタ―の解説Neo4j高可用性クラスタ― vs 大規模分散クラスタ―の解説
Neo4j高可用性クラスタ― vs 大規模分散クラスタ―の解説
 
Neo4j勉強会 ha cluster vs causal cluster
Neo4j勉強会 ha cluster vs causal clusterNeo4j勉強会 ha cluster vs causal cluster
Neo4j勉強会 ha cluster vs causal cluster
 
MapReduceによる大規模データを利用した機械学習
MapReduceによる大規模データを利用した機械学習MapReduceによる大規模データを利用した機械学習
MapReduceによる大規模データを利用した機械学習
 
attention_is_all_you_need_nips17_論文紹介
attention_is_all_you_need_nips17_論文紹介attention_is_all_you_need_nips17_論文紹介
attention_is_all_you_need_nips17_論文紹介
 
研究動向から考えるx86/x64最適化手法
研究動向から考えるx86/x64最適化手法研究動向から考えるx86/x64最適化手法
研究動向から考えるx86/x64最適化手法
 
2012-03-08 MSS研究会
2012-03-08 MSS研究会2012-03-08 MSS研究会
2012-03-08 MSS研究会
 
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
 
[DL輪読会]CNN - based Density Estimation and CrowdCounting A Survey
[DL輪読会]CNN - based Density Estimation and CrowdCounting A Survey[DL輪読会]CNN - based Density Estimation and CrowdCounting A Survey
[DL輪読会]CNN - based Density Estimation and CrowdCounting A Survey
 
[DL輪読会]EfficientDet: Scalable and Efficient Object Detection
[DL輪読会]EfficientDet: Scalable and Efficient Object Detection[DL輪読会]EfficientDet: Scalable and Efficient Object Detection
[DL輪読会]EfficientDet: Scalable and Efficient Object Detection
 
2018 07 02_dense_pose
2018 07 02_dense_pose2018 07 02_dense_pose
2018 07 02_dense_pose
 
NeurIPS2019参加報告
NeurIPS2019参加報告NeurIPS2019参加報告
NeurIPS2019参加報告
 
PFP:材料探索のための汎用Neural Network Potential_中郷_20220422POLセミナー
PFP:材料探索のための汎用Neural Network Potential_中郷_20220422POLセミナーPFP:材料探索のための汎用Neural Network Potential_中郷_20220422POLセミナー
PFP:材料探索のための汎用Neural Network Potential_中郷_20220422POLセミナー
 
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields [DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
 
LCCC2010:Learning on Cores, Clusters and Cloudsの解説
LCCC2010:Learning on Cores,  Clusters and Cloudsの解説LCCC2010:Learning on Cores,  Clusters and Cloudsの解説
LCCC2010:Learning on Cores, Clusters and Cloudsの解説
 
MemoryPlus Workshop
MemoryPlus WorkshopMemoryPlus Workshop
MemoryPlus Workshop
 
CVPR2019 survey Domain Adaptation on Semantic Segmentation
CVPR2019 survey Domain Adaptation on Semantic SegmentationCVPR2019 survey Domain Adaptation on Semantic Segmentation
CVPR2019 survey Domain Adaptation on Semantic Segmentation
 

Recently uploaded

20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdfAyachika Kitazaki
 
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfTaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfMatsushita Laboratory
 
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法ssuser370dd7
 
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見Shumpei Kishi
 
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)ssuser539845
 
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦Sadao Tokuyama
 
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor 2024 01 Virtual_Counselor
2024 01 Virtual_Counselor arts yokohama
 
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-LoopへTetsuya Nihonmatsu
 
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~arts yokohama
 

Recently uploaded (12)

20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf
 
2024 04 minnanoito
2024 04 minnanoito2024 04 minnanoito
2024 04 minnanoito
 
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfTaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
 
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
 
What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?
 
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
 
2024 03 CTEA
2024 03 CTEA2024 03 CTEA
2024 03 CTEA
 
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
 
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
 
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor 2024 01 Virtual_Counselor
2024 01 Virtual_Counselor
 
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
 
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
 

When NAS Meets Robustness: In Search of Robust Architectures against Adversarial Attacks

  • 1. When NAS Meets Robustness: In Search of Robust Architectures against Adversarial Attacks 菅沼 雅徳 wkpeco CVPR 2020 論⽂読み会(2020.07.04)
  • 2. • 所属 • 2017.10 ‒ 現在 理化学研究所 AIP 特別研究員 • 2018.10 ‒ 現在 東北⼤学 助教 2 自己紹介 NAS(勾配法)+ 画像復元 [CVPR, 2019] NAS(進化計算)+ 画像復元 [ICML, 2018] NAS(進化計算)+ 画像分類 [GECCO, 2017 (Best paper)] Ours • 興味:Neural Architecture Search (NAS)
  • 3. • AdversarialNAS: Adversarial Neural Architecture Search for GANs • UNAS: Differentiable Architecture Search Meets Reinforcement Learning • Rethinking Performance Estimation in Neural Architecture Search • EcoNAS: Finding Proxies for Economical Neural Architecture Search • Hit-Detector: Hierarchical Trinity Architecture Search for Object Detection • MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning • GP-NAS: Gaussian Process based Neural Architecture Search • NAS-FCOS: Fast Neural Architecture Search for Object Detection • MiLeNAS: Efficient Neural Architecture Search via Mixed-Level Reformulation • Butterfly Transform: An Efficient FFT Based Neural Architecture Design • DSNAS: Direct Neural Architecture Search without Parameter Retraining • Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio • Meta-Learning of Neural Architectures for Few-Shot Learning • MnasFPN : Learning Latency-aware Pyramid Architecture for Object Detection on Mobile Devices • Improving One-shot NAS by Suppressing the Posterior Fading 3 NAS in CVPR 2020 NASに関する論⽂が約32本採択されている
  • 4. • Can weight sharing outperform random architecture search? An investigation with TuNAS • A Semi-Supervised Assessor of Neural Architectures • CARS: Continuous Evolution for Efficient Neural Architecture Search • Block-wisely Supervised Neural Architecture Search with Knowledge Distillation • GreedyNAS: Towards Fast One-Shot NAS with Greedy Supernet • APQ: Joint Search for Network Architecture, Pruning and Quantization Policy • MemNAS: Memory-Efficient Neural Architecture Search with Grow-Trim Learning • All in One Bad Weather Removal using Architectural Search • Memory-Efficient Hierarchical Neural Architecture Search for Image Denoising • C2FNAS: Coarse-to-Fine Neural Architecture Search for 3D Medical Image Segmentation • Graph-guided Architecture Search for Real-time Semantic Segmentation • Organ at Risk Segmentation for Head and Neck Cancer using Stratified Learning and Neural Architecture Search • When NAS Meets Robustness: In Search of Robust Architectures against Adversarial Attacks • Densely Connected Search Space for More Flexible Neural Architecture Search • Neural Architecture Search for Lightweight Non-Local Networks 4 NAS in CVPR 2020
  • 6. 外乱に対して頑健性を有するCNN構造はあるのか? • 基本的にはcleanな画像上で構造設計・性能評価 • ImageNet上では,DenseNet > ResNet だが,外乱画像上ではどうなのか • 現実では,様々な外乱が含まれることが想定される 6 Research Question CNNの予測: パンダ CNNの予測: テナガザル Adversarial attack Distortions (Raindrop + Blur)
  • 7. When NAS Meets Robustness: In Search of Robust Architectures against Adversarial Attacks • Minghao Guo1, Yuzhe Yang2, Rui Xu1, Ziwei Liu1, Dahua Lin1 • 1The Chinese University of Hong Kong, 2MIT CSAIL この論⽂では以下の問いに答えます • Adversarial attackに頑健なCNNの構造は何なのか? • パラメータ数に制限がある場合,どのように畳み込み層を配置すべきか? • 統計的に頑健性を計る指標は何が良いか? 7 紹介する論文 ?
  • 8. 既存のOne-shot NAS[1]を利⽤して,多数のCNNを⽣成し, それらCNNのAdversarial attackに対する頑健性を調査 8 基本的な方針 [1] G. Bender+, Understanding and Simplifying One-Shot Architecture Search, ICML, 2018 Supernet … sampling Finetuning the network with adversarial training and evaluate it on eval samples Subnets … … Finetuning the network with adversarial training and evaluate it on eval samples
  • 9. Cell = 有向⾮巡回グラフ(Directed acyclic graph)の構造を探索する • ノード:特徴マップ • エッジ:演算(畳み込み層,identity) ← 探索対象 9 本論文で使用するOne-shot NASの概要 Cell Cell Cell Cell… OutputInput Input1 Input2 !" !# !$ %&'%() !* !+ %&',1×1 %&',1×1
  • 10. 10 探索空間=各エッジでどの演算を実行するか Cell Cell Cell Cell… OutputInput Input1 Input2 !" !# !$ %&'%() 3×3 ,-. %&'/ 01-')0)2 !3 = 5 673 5 89: ; <8 6,3 &8(!6) <: :,# <@ :,# architecture parameter < = <8 6,3 <8 6,3 ∈ 0,1 , 0, E = 1, … , G + 2, J = 1, … , K} G: ノード数 K: 演算数 (=2) !: !@ %&'/1×1 %&'/1×1 +
  • 11. 11 ResNetやDenseNetに類似した構造も構築可能 Cell Cell Cell Cell… OutputInput Input1 Input2 !" !# !$ %&'%() !* !+ %&',1×1 %&',1×1 ResNet-like 3×3 012 %&', 341')3)5 6* *," 6+ *," + 3×3 012 %&', 341')3)5 6* *,# 6+ *,# +
  • 12. for ! = 0 … % do Set all elements in & to 1 Sample a training batch (), +) ),- . Randomly set some of the elements of & to 0 and get the corresponding network parameters /0 for 1 = 1 … 2 do () 3 ← () for 5 = 0 … (7 − 1) do ((:;-) ← Π= () : + ? @ A1BC ∇Eℒ /0, () : , +) Update /0 using () G , +) ),- . by SGD 12 Supernetの学習手順 // PGD adversarial example Supernet Subnet /0
  • 13. • Supernetからランダムに1000個のCNNをサンプリング • セル内のノード数は4に設定 → ! ∈ 0,1 &×() ≈ 10+ 13 CNN構造の解析 サンプルされた1000個のアーキテクチャの性能分布 • さらに,性能がtop300とlast300の!の分布をt-SNEで可視化(右図) • 明らかにrobust / non-robust networkの!の分布に差異がみられる 600個のアーキテクチャ(!)の分布
  • 14. CNNのdensityとadversarial robustnessには正の相関があることが判明 • architecture density ! = |$%&''(%)(*| |$| = ∑,,.,/ 0/ (,,.) |$| 14 Adversarial attackに頑健なCNNの構造は? top300とlast300を分類する線形分類器 を学習させた際の重みの分布
  • 16. • 複数の研究[2][3]で,CNNのパラメータ数が増加するにつれて頑健性も増加す ることが⽰されている • では固定されたパラメータ数のもとではどういった構造が優れた頑健性を ⽰すのか? 16 Architecture Strategy under Budget [2] A. Madry+, Towards deep learning models resistant to adversarial attacks. ICLR, 2018 [3] D. Su+, Is robustness the cost of accuracy?‒ a comprehensive study on the robustness of 18 deep image classification models. ECCV, 2018 → パラメータ数が少ない制約下では,隣接するノード間に畳み込み層を配置 したほうが頑健性が増加する (Direct convolution)
  • 17. • 各セルが異なる構造をもつように制約を緩めた場合を考える • セル数が!の場合,組み合わせ数は⼤体 10$ % • 探索範囲が膨⼤すぎるので,頑健性を計る新しい指標を提案 17 より多様なCNN構造での検証 &' (; * = , -./ 0 , 1./ 2 3',-,1 56 (; * ×3',-,1 891 ((; *) ℎ×= !' >?@ = 1 A , B &' (; * − &' (D ; * E E Flow of solution procedure (FSP) matrix loss clean画像とadversarial exampleをそれぞれセルに⼊⼒した際の,特徴マップの 変化具合をみている(関連研究[4][5]) [4] J. Yim+, A gift from knowledge distillation: Fast optimization, network minimization and transfer learning. CVPR, 2017 [5] H. Zhang+, Theoretically principled trade-off between robustness and accuracy. ICML, 2019
  • 18. • 深い層でのFSP matrixと頑健性の間に正の相関関係がある • Adversarial attackに頑健なCNNは,深い層で低いFSP matrix lossを⽰す 18 FSP matrix lossと頑健性の関係 50個のCNNをサンプルした際のFSP matrix lossの結果
  • 19. Q1. Adversarial attackに頑健なCNNの構造は何なのか? A1. Densely connected pattern Q2. パラメータ数に制限がある場合,どのように畳み込み層を配置すべきか? A2. 少ないパラメータ制約下では,隣接するノード間に畳み込み層を配置 Q3. 統計的に頑健性を計る指標は何が良いか? A3. Flow of solution procedure (FSP) matrix loss 19 ここまでのまとめ ※ あくまで本論⽂で設定した探索空間での話
  • 20. RobNet-small, RobNet-medium, RobNet-large/large-v2 • Density ! > 0.5 かつ Direct convolutionの割合が0.5以上のsubnetを選択 • 各budgetで50個のsubnetをsupernetからサンプルし,adversarial exampleに対する性能が 最も優れているsubnetを以下に掲載 20 既存のCNNとの比較(White-box attack, CIFAR-10) RobNet-free • 300個のsubnetをサンプルし,出⼒層に近い10層分のFSP matrix lossを算出し,しきい値以上 のCNNを除去後,adversarial exampleに対する性能が最も優れているsubnetを以下に掲載
  • 21. Adversarial exampleに対する頑健性は,DenseNet > ResNet • Density (DenseNet) > Density (ResNet) • 本論⽂の主張とも⼀致する 21 既存のCNNとの比較(White-box attack, CIFAR-10)
  • 22. • Black-box results on CIFAR-10 • 同じネットワークを⽤意して,そちらでadversarial exampleを⽣成 • White-box results across different datasets • CIFAR-10上で探索したCNNをほかのデータセット上で評価 22 既存のCNNとの比較(Black-box attack, different datasets) Black-box results White-box results across different datasets
  • 23. 頑健性を向上させる既存⼿法[6]をRobNetに適⽤することで,ResNetと⽐べて さらなる頑健性の向上が可能 • [6] C. Xie+, Feature denoising for improving adversarial robustness, CVPR, 2019 23 既存手法との関係 ほかにも頑健性を向上させる既存⼿法はあるため,それらとの関係性もみたい • [7] C. Xie+, Adversarial Examples Improve Image Recognition, CVPR, 2020 • [8] C. Xie+, Smooth Adversarial Training, arXiv:2006.14536, 2020
  • 24. 24 まとめ Q1. Adversarial attackに頑健なCNNの構造は何なのか? A1. Densely connected pattern Q2. パラメータ数に制限がある場合,どのように畳み込み層を配置すべきか? A2. 少ないパラメータ制約下では,隣接するノード間に畳み込み層を配置 Q3. 統計的に頑健性を計る指標は何が良いか? A3. Flow of solution procedure (FSP) matrix loss • 上記の結果は,あくまで今回設定した探索空間での話のため,ほかの探索空間での 検証も必要 • Adversarial attackに対する頑健性を向上させるほかの⼿法との関連性も要検証
  • 25. • 真に新しい構造を探索しているようには感じない • 探索空間を定義した時点である程度の性能は決まる ≈ ランダムサーチでも⼗分な 探索性能 • 探索空間も進化させたい(関連研究いくつかあり[9]) • 現状のgradient-based NASは,architectureのfine-tuningのような印象 • Gradient-based NASにも局所解がある • e.g. DARTSではidentityばかりの構造が獲得されがち • 安定して探索するには多少の⼯夫が必要[10] • ほかのハイパーパラメータや学習率のスケジューリングと⼀緒に最適化でき れば,さらに有⽤性もあがりそう 25 Gradient-based NASに対する所感 [9] E. Real+, Large-Scale Evolution of Image Classifiers. ICML, 2017 [10] A. Zela+, Understanding and Robustifying Differentiable Architecture Search. ICLR, 2020