Submit Search
Upload
[DL輪読会] Residual Attention Network for Image Classification
•
17 likes
•
8,341 views
Deep Learning JP
Follow
2017/9/4 Deep Learning JP: http://deeplearning.jp/seminar-2/
Read less
Read more
Technology
Report
Share
Report
Share
1 of 21
Download now
Download to read offline
Recommended
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
Yusuke Uchida
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
Deep Learning JP
ResNetの仕組み
ResNetの仕組み
Kota Nagasato
深層学習の数理
深層学習の数理
Taiji Suzuki
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII
Transformerを雰囲気で理解する
Transformerを雰囲気で理解する
AtsukiYamaguchi1
Recommended
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
Yusuke Uchida
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
Deep Learning JP
ResNetの仕組み
ResNetの仕組み
Kota Nagasato
深層学習の数理
深層学習の数理
Taiji Suzuki
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII
Transformerを雰囲気で理解する
Transformerを雰囲気で理解する
AtsukiYamaguchi1
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
Deep Learning JP
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
Deep Learning JP
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習
Eiji Uchibe
実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE
ぱんいち すみもと
ドメイン適応の原理と応用
ドメイン適応の原理と応用
Yoshitaka Ushiku
[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係について
Deep Learning JP
continual learning survey
continual learning survey
ぱんいち すみもと
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
研究効率化Tips Ver.2
研究効率化Tips Ver.2
cvpaper. challenge
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西
Keigo Nishida
[DL輪読会]When Does Label Smoothing Help?
[DL輪読会]When Does Label Smoothing Help?
Deep Learning JP
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
Deep Learning JP
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
Yoshitaka Ushiku
GAN(と強化学習との関係)
GAN(と強化学習との関係)
Masahiro Suzuki
[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
Kento Doi
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
3D CNNによる人物行動認識の動向
3D CNNによる人物行動認識の動向
Kensho Hara
Superpixel Sampling Networks
Superpixel Sampling Networks
yukihiro domae
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介
Masayoshi Kondo
Linguistic Knowledge as Memory for Recurrent Neural Networks_論文紹介
Linguistic Knowledge as Memory for Recurrent Neural Networks_論文紹介
Masayoshi Kondo
More Related Content
What's hot
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
Deep Learning JP
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
Deep Learning JP
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習
Eiji Uchibe
実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE
ぱんいち すみもと
ドメイン適応の原理と応用
ドメイン適応の原理と応用
Yoshitaka Ushiku
[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係について
Deep Learning JP
continual learning survey
continual learning survey
ぱんいち すみもと
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
研究効率化Tips Ver.2
研究効率化Tips Ver.2
cvpaper. challenge
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西
Keigo Nishida
[DL輪読会]When Does Label Smoothing Help?
[DL輪読会]When Does Label Smoothing Help?
Deep Learning JP
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
Deep Learning JP
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
Yoshitaka Ushiku
GAN(と強化学習との関係)
GAN(と強化学習との関係)
Masahiro Suzuki
[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
Kento Doi
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
3D CNNによる人物行動認識の動向
3D CNNによる人物行動認識の動向
Kensho Hara
Superpixel Sampling Networks
Superpixel Sampling Networks
yukihiro domae
What's hot
(20)
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習
実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE
ドメイン適応の原理と応用
ドメイン適応の原理と応用
[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係について
continual learning survey
continual learning survey
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
研究効率化Tips Ver.2
研究効率化Tips Ver.2
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西
[DL輪読会]When Does Label Smoothing Help?
[DL輪読会]When Does Label Smoothing Help?
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
GAN(と強化学習との関係)
GAN(と強化学習との関係)
[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
3D CNNによる人物行動認識の動向
3D CNNによる人物行動認識の動向
Superpixel Sampling Networks
Superpixel Sampling Networks
Viewers also liked
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介
Masayoshi Kondo
Linguistic Knowledge as Memory for Recurrent Neural Networks_論文紹介
Linguistic Knowledge as Memory for Recurrent Neural Networks_論文紹介
Masayoshi Kondo
Text Summarization Talk @ Saama Technologies
Text Summarization Talk @ Saama Technologies
Siddhartha Banerjee
最先端NLP勉強会2017_ACL17
最先端NLP勉強会2017_ACL17
Masayoshi Kondo
LSTM (Long short-term memory) 概要
LSTM (Long short-term memory) 概要
Kenji Urai
A Neural Attention Model for Sentence Summarization [Rush+2015]
A Neural Attention Model for Sentence Summarization [Rush+2015]
Yuta Kikuchi
FIT2012招待講演「異常検知技術のビジネス応用最前線」
FIT2012招待講演「異常検知技術のビジネス応用最前線」
Shohei Hido
Viewers also liked
(7)
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介
Linguistic Knowledge as Memory for Recurrent Neural Networks_論文紹介
Linguistic Knowledge as Memory for Recurrent Neural Networks_論文紹介
Text Summarization Talk @ Saama Technologies
Text Summarization Talk @ Saama Technologies
最先端NLP勉強会2017_ACL17
最先端NLP勉強会2017_ACL17
LSTM (Long short-term memory) 概要
LSTM (Long short-term memory) 概要
A Neural Attention Model for Sentence Summarization [Rush+2015]
A Neural Attention Model for Sentence Summarization [Rush+2015]
FIT2012招待講演「異常検知技術のビジネス応用最前線」
FIT2012招待講演「異常検知技術のビジネス応用最前線」
Similar to [DL輪読会] Residual Attention Network for Image Classification
論文輪読資料「Multi-view Face Detection Using Deep Convolutional Neural Networks」
論文輪読資料「Multi-view Face Detection Using Deep Convolutional Neural Networks」
Kaoru Nasuno
[DL輪読会]Deep Face Recognition: A Survey
[DL輪読会]Deep Face Recognition: A Survey
Deep Learning JP
Deep Residual Learning (ILSVRC2015 winner)
Deep Residual Learning (ILSVRC2015 winner)
Hirokatsu Kataoka
cvpaper.challenge チームラボ講演
cvpaper.challenge チームラボ講演
cvpaper. challenge
[DL輪読会]Training RNNs as Fast as CNNs
[DL輪読会]Training RNNs as Fast as CNNs
Deep Learning JP
SciREX「ナショナルイノベーションシステムに係る定量データとその分析手法」WSシリーズ第6回「ネットワーク分析の方法+WSシリーズまとめ」
SciREX「ナショナルイノベーションシステムに係る定量データとその分析手法」WSシリーズ第6回「ネットワーク分析の方法+WSシリーズまとめ」
Yasushi Hara
[論文紹介] Convolutional Neural Network(CNN)による超解像
[論文紹介] Convolutional Neural Network(CNN)による超解像
Rei Takami
[DL輪読会]Attention Is All You Need
[DL輪読会]Attention Is All You Need
Deep Learning JP
【DL輪読会】Reflash Dropout in Image Super-Resolution
【DL輪読会】Reflash Dropout in Image Super-Resolution
Deep Learning JP
AIがAIを生み出す?
AIがAIを生み出す?
Daiki Tsuchiya
「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
Takumi Ohkuma
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
Deep Learning JP
Twitterにおける即時話題推定技術「どたばたかいぎ」の開発
Twitterにおける即時話題推定技術「どたばたかいぎ」の開発
Eric Sartre
画像認識 6.3-6.6 畳込みニューラルネットワーク
画像認識 6.3-6.6 畳込みニューラルネットワーク
Shion Honda
論文紹介:Facial Action Unit Detection using Active Learning and an Efficient Non-...
論文紹介:Facial Action Unit Detection using Active Learning and an Efficient Non-...
Kazuki Adachi
第3回enPiTシンポジウムBizApp分野代表発表
第3回enPiTシンポジウムBizApp分野代表発表
Takeba Misa
Similar to [DL輪読会] Residual Attention Network for Image Classification
(16)
論文輪読資料「Multi-view Face Detection Using Deep Convolutional Neural Networks」
論文輪読資料「Multi-view Face Detection Using Deep Convolutional Neural Networks」
[DL輪読会]Deep Face Recognition: A Survey
[DL輪読会]Deep Face Recognition: A Survey
Deep Residual Learning (ILSVRC2015 winner)
Deep Residual Learning (ILSVRC2015 winner)
cvpaper.challenge チームラボ講演
cvpaper.challenge チームラボ講演
[DL輪読会]Training RNNs as Fast as CNNs
[DL輪読会]Training RNNs as Fast as CNNs
SciREX「ナショナルイノベーションシステムに係る定量データとその分析手法」WSシリーズ第6回「ネットワーク分析の方法+WSシリーズまとめ」
SciREX「ナショナルイノベーションシステムに係る定量データとその分析手法」WSシリーズ第6回「ネットワーク分析の方法+WSシリーズまとめ」
[論文紹介] Convolutional Neural Network(CNN)による超解像
[論文紹介] Convolutional Neural Network(CNN)による超解像
[DL輪読会]Attention Is All You Need
[DL輪読会]Attention Is All You Need
【DL輪読会】Reflash Dropout in Image Super-Resolution
【DL輪読会】Reflash Dropout in Image Super-Resolution
AIがAIを生み出す?
AIがAIを生み出す?
「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
Twitterにおける即時話題推定技術「どたばたかいぎ」の開発
Twitterにおける即時話題推定技術「どたばたかいぎ」の開発
画像認識 6.3-6.6 畳込みニューラルネットワーク
画像認識 6.3-6.6 畳込みニューラルネットワーク
論文紹介:Facial Action Unit Detection using Active Learning and an Efficient Non-...
論文紹介:Facial Action Unit Detection using Active Learning and an Efficient Non-...
第3回enPiTシンポジウムBizApp分野代表発表
第3回enPiTシンポジウムBizApp分野代表発表
More from Deep Learning JP
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
Deep Learning JP
【DL輪読会】事前学習用データセットについて
【DL輪読会】事前学習用データセットについて
Deep Learning JP
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
Deep Learning JP
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
Deep Learning JP
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
Deep Learning JP
【DL輪読会】マルチモーダル LLM
【DL輪読会】マルチモーダル LLM
Deep Learning JP
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
Deep Learning JP
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
Deep Learning JP
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?
Deep Learning JP
【DL輪読会】Hopfield network 関連研究について
【DL輪読会】Hopfield network 関連研究について
Deep Learning JP
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
Deep Learning JP
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
Deep Learning JP
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
Deep Learning JP
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
Deep Learning JP
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
Deep Learning JP
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
Deep Learning JP
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
Deep Learning JP
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
Deep Learning JP
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
Deep Learning JP
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
Deep Learning JP
More from Deep Learning JP
(20)
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】事前学習用データセットについて
【DL輪読会】事前学習用データセットについて
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】マルチモーダル LLM
【DL輪読会】マルチモーダル LLM
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Hopfield network 関連研究について
【DL輪読会】Hopfield network 関連研究について
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
[DL輪読会] Residual Attention Network for Image Classification
1.
Residual Attention Network for Image Classification Fei Wang, Mengqing Jiang, Chen Qian,
Shuo Yang, Cheng Li, Honggang Zhang, Xiaogang Wang, Xiaoou Tang 2017-09-04 輪読@松尾研究室 M1 ⽥村浩⼀郎
2.
Agenda 0. Information 1. Introduction 2. Related work & knowledges 3.
Proposed Model 4. Experiment & Result 5. Conclusion 6. *Squeeze-and-Excitation Networks
3.
0. Information • Author - Fei Wang,
Mengqing Jiang, Chen Qian, Shuo Yang, Cheng Li, Honggang Zhang, Xiaogang Wang, Xiaoou Tang • Submission date - Submitted on 23 Apr 2017 • Society - accepted to CVPR2017 - https://arxiv.org/abs/1704.06904 • About - Computer vision において,ResNet だけでなくAttentionも取り⼊れたも の - まだpaperは出ていないが,ILSVRC2017で優勝したSqueeze-and- Excitation networksの前⾝?のモデル
4.
1. Introduction - 背景 • Attentionモデルは時系列のモデルに対してはよく使われているが,画像 認識などのfeedforward networkに対しては使われてこなかった •
近年の画像認識の技術向上は,ResNetにより,層を深くすることが可能 になったことが⼤きい ResNetを利⽤した `深い` CNNに対して,attention機構を適⽤し,精度向上を図る
5.
1. Introduction - モデル構造と成果 1. Stacked network structure •
複数のAttention Moduleを積み⽴てたモデル構造.異なるAttention Moduleで異なる種類 のAttentionを導⼊できる 2. Attention Residual Learning • 単純にAttention Moduleを導⼊するだけでは精度が下がる.ResNetを⽤いて深 い(hundreds of layers)のネットワークを⽤いる 3. Bottom-up top-down feedforward attention • Bottom-up(背景の違いなどから)attention(注⽬)するアプローチ • Top-down(事前知識などから)attention(注⽬)するアプローチ 1. 安定して層を増やし精度向上(state-of-the-art@2017-04-23) 2. End-to-Endの深いネットワークに簡単に適⽤でき, 効率的な計算を⾏うことができる
6.
2. Related work & knowledge - Attention model • Attention機構が適⽤されるのは,多くの場合RNN Effective Approaches to Attention-based Neural Machine Translationの例 1.
RNNにより隠れ層ベクトルを計算 ℎ" = 𝑅𝑁𝑁(ℎ"'(, 𝑥) 2. ⼊⼒系列のどこに注⽬するかの重み𝑎"(𝑠)をscore関数により計算 𝑎" 𝑠 = exp 𝑠𝑐𝑜𝑟𝑒(ℎ67, ℎ") ∑ exp 𝑠𝑐𝑜𝑟𝑒(ℎ67, ℎ") 3. 重み𝑎" 𝑠 を⽤いて重み付き平均ベクトル𝑐"を計算 𝑐" = : 𝑎"(𝑠) ℎ67 4. 3.の平均ベクトルと1.の隠れ層ベクトルから新しい出⼒ベクトルを計算 ℎ;" = tanh ( 𝑊Aℎ" + 𝑊C 𝑐" + 𝑏) 5. 各単語の出⼒確率を計算 𝑦" = 𝑠𝑜𝑓𝑡𝑚𝑎𝑥((𝑊IJ"ℎ;" + 𝑏IJ") • Computer visionにおいては,以下のような研究でsoft attention(みたいなも の)が使われている • Spatial Transformer Network[17] ->(⾯⽩いdemo: https://drive.google.com/file/d/0B1nQa_sA3W2iN3RQLXVFRkNXN0k/view) • Attention to scale: Scale-aware semantic image segmentation[3] [引⽤:Effective Approaches to Attention-based Neural Machine Translation]
7.
2. Related work & knowledge - ResNet • CNNにおいて層を深さは精度おいて⼤きく寄与する •
層が深すぎると勾配消失などの問題があった=>ResNet • ResNet • 出⼒を𝐻 𝑥 とすると,残差𝐹 𝑥 = 𝐻 𝑥 − 𝑥 を学習(最⼩化)する • 層が深くなると⼊⼒𝑥と出⼒𝐻 𝑥 はほとんど同じ値になる. 直接𝐻 𝑥 の値を𝑥に近づけることよりも,残差𝐹 𝑥 を0に近づける⽅が簡単である
8.
3. Proposal model - Residual Attention Network 1. Attention
residual learning 2. Soft mask branch 3. Special attention and channel attention
9.
3. Proposal model 3.1. Attention Residual Learning • 単純にAttention機構をCNNの出⼒に掛け合わせるだけでは,以下の問題か ら精度が下がる 1. 層が深くなるにつれて勾配が消失する 2.
CNNにおける重要な特徴量を弱めてしまう可能性がある • Attention Residual Learning • Soft mask branchの𝑀 𝑥 ∈ [0, 1]が以下の役割を果たしている 1. 特徴量選択 2. ノイズの抑制 Attention moduleの出⼒ Soft Attention Mask Convolutionの出⼒ ** i: spatial position, c: channel Residual
10.
3. Proposal model 3.1. Attention Residual Learning • Attention Residual Learningは良い特徴量を保持する⼀⽅で,mask branchが 特徴量を抽出する能⼒を弱めてしまう • Stacked Attention Modulesがそのトレードオフを補い,特徴量mapを洗練して いく •
Attention Moduleが異なる役割のattention 機構を持ち,層が深くすることを可 能にしている 複数のAttention Module
11.
3. Proposal model 3.1. Attention Residual Learning 異なるAttention Moduleで異なるattention maskを持つ. 層が浅いattention moduleでは背景の空の⻘⾊を消し,層が深いattention moduleでは気球を強調している
12.
3. Proposal model 3.2. Soft Mask Branch • Soft Mask Branch • 以下の2つの機能を畳み込み構造に 1.
Fast feed-forward sweep -> 画像全体の情報を捉える 2. Top-down feedback step -> 元の特徴量mapと画像全体の情報を組み合わせる
13.
3. Proposal model 3.3. Spatial Attention and Channel Attention • 活性化関数を変えることによって,attentionの制約を加えることができ る 1. Mixed attention => シグモイド 2.
Channel attention => 場所ごとに正規化 3. Spatial attention => channelごとに正規化
14.
4. Experiment & Result 4.1. CIFAR and Analysis 1. Attention Residual Learningの有効性を検証 • Attention Residual Learningを⾏わないナイーブなattention機構を⽤いたモデル(NAL: naive attention learning)をベースラインにする •
Attention Moduleのstageごとに出⼒の平均を取ったもの.NALではstage2で勾配が消えて いることがわかる
15.
4. Experiment & Result 4.1. CIFAR and Analysis 2. 他のmask branch構造との⽐較 • ダウンサンプリングとアップサンプリングを⾏わない普通の畳み込みと精度を⽐較する ことで,mask branchの構造の優位性を検証する
16.
4. Experiment & Result 4.1. CIFAR and Analysis 3. ラベルのノイズに対する耐性の検証 • ダウンサンプリングとアップサンプリングを⾏わない普通の畳み込みと精度を⽐較する ことで,mask branchの構造の優位性を検証する •
Training convolutional networks with noisy labels[31]に従って,以下のように確率を定義 r = 正しいlabelである確率,𝑞UV = 本当のlabelがjで実際のノイズつきlabelがiである確率
17.
4. Experiment & Result 4.1. CIFAR and Analysis 4. 他のstate-of-the-artのモデルとの精度⽐較
18.
4. Experiment & Result 4.2. ImageNet Classification 1. 精度が良くなっているだけでなく,モデルの効率性が優れる 1. より少ないパラメタで学習可能 2.
FLOPs(Floating-point Operations Per Second)が優れている 2. ResNetユニットについて⽐較すると, 1. 同程度の精度ならAttentionNeXt-56の⽅が効率的 2. 同程度の効率性ならAttentionNeXt-56の⽅が⾼精度 3. State-of-the-artのアルゴリズムと⽐べても⾼性能
19.
5. Conclusion • ResNetにattention機構を追加 • 異なるAttention Moduleで異なるattention機構を持つ •
Attention機構にbottom-up top-down feedforward convolutional structure を⽤いる • より安定して層を深くし,精度を向上 • より洗練された特徴量の選択とノイズへの耐性 • 既存のモデルに対して,要求されるモデルの複雑さ(パラメタ数や計算 量)が少なくて済む
20.
6. Squeeze-and-Excitation Networks • ILSVRC2017で優勝したモデル(まだpaperでてない) • Residual Attention Network for Image Classificationと⾮常に似ている •
違いはchannelごとにattentionを⾏なっていること [引⽤:https://github.com/hujie-frank/SENet]
21.
~資料参考⽂献~ **論⽂内引⽤⽂献を除く • Squeeze-and-Excitation networks (ILSVRC 2017 winner) at CVPR2017 https://photos.google.com/share/AF1QipNRXiNDP9tw- B_kyKk4hnXL_N283IaWNxSYH7jtAN1N0m62Uydh3MnpWFPh2GQYUw?key=STNBSU5XRkpKLXBSbm E2Um9GbGRUSm9aME1naFF3 • Convolutional Neural Networks のトレンド https://www.slideshare.net/sheemap/convolutional-neural-networks-wbafl2 •
Res netと派⽣研究の紹介 https://www.slideshare.net/masatakanishimori/res-net • Residual Network(ResNet)の理解とチューニングのベストプラクティス https://deepage.net/deep_learning/2016/11/30/resnet.html • Effective Approaches to Attention-based Neural Machine Translation, Minh- Thang Luong, Hieu Pham, Christopher D. Manning https://arxiv.org/abs/1508.04025
Download now