SlideShare a Scribd company logo

Dynamic Routing Between Capsules

•Download as PPTX, PDF•
•
H
harmonylab

2018/01/10のDLゼミで紹介したカプセルネットワークについてです。

Data & Analytics
1 of 30
Dynamic Routing Between Capsules 北海道大学大学院 情報科学研究科 情報理工学専攻 複雑系工学講座 調和系工学研究室 修士1年 平間友大
論文情報 タイトル – Dynamic Routing Between Capsules 発表学会 – Advances in Neural Information Processing Systems 30 (NIPS2017) 著者 – Sara Sabour, Nicholas Frosst, Geoffrey E. Hinton (Google Brain, Tront) 2 論文URL:https://papers.nips.cc/paper/6975-dynamic-routing-between-capsules
概要 ・CNNをベースとしたCapsNetを提案 →従来のCNN構造の問題点を克服するアプローチ ・CapsNetの有効性を検証することが目的 3
従来のCNN構造 4 https://hackernoon.com/what-is-a-capsnet-or-capsule-network-2bfbe48769cc 畳み込みニューラルネットワーク(CNN)の構造
従来のCNN構造の改善点 5 プーリング層の仕組みに問題あり https://hackernoon.com/what-is-a-capsnet-or-capsule-network-2bfbe48769cc 畳み込みニューラルネットワーク(CNN)の構造
プーリング層の役割と問題点 位置不変性を得る＝頑健？ 6 https://kndrck.co/posts/capsule_networks_explained/ 位置関係は考慮していない
プーリング層の役割と問題点 位置不変性を得る＝頑健？ 7 https://kndrck.co/posts/capsule_networks_explained/ 位置関係は考慮していない
プーリング層の役割と問題点 位置不変性を得る＝頑健？ 8 https://kndrck.co/posts/capsule_networks_explained/
プーリング層の役割と問題点 位置不変性を得る＝頑健？ 9 https://kndrck.co/posts/capsule_networks_explained/ Not Face!
プーリング層の役割と問題点 位置不変性を得る＝頑健？ 10 https://kndrck.co/posts/capsule_networks_explained/
従来CNNの問題点 11 ・同一の画像でも角度が異なると分類できない →姿勢や角度を考慮した空間認識能力がない 原因 ・特徴の位置関係情報がプーリングによって失われて いる ・特徴をスカラーで表してるのが原因
提案手法 12 ・CNNをベースとし、カプセル構造を持った CapsNetを提案 - 特徴をスカラー→ベクトルで表現 - 各特徴ベクトル(カプセル)同士を繋ぐ - 画像内に存在するエンティティの特性を表現する ・ポーズ(位置,サイズ,方向)・幾何形状・速度 ・反射特性・色合い・テクスチャ
CapsNetの基本構造 13 畳み込み層 畳み込みカプセル層 (l) DigitCaps (l+1) 畳み込み層: 入力画像から256次元の特徴抽出 畳み込みカプセル層: 32×8次元 DigitCaps層: 16次元×10個(クラス)のベクトル CNN CapsNet
CapsNetのベクトル計算 14 v𝑗: カプセルjの出力ベクトル s𝑗: 前の層からの全出力 カプセルの出力ベクトルの長さが、エンティティの存在確率を表す 長さをより強調して学習しやすくなるようSquashing関数(1)を導入
CapsNetのベクトル計算 15 c𝑖𝑗: routing手法で決定される結合係数(softmax関数) カプセルiとjの繋がりの強さを表す 𝑏𝑖𝑗: 初期値0, 𝑏𝑖𝑗+(uj | i ・v𝑗) j:カプセルレイヤー l +1のカプセル i: カプセルレイヤー l のカプセル uj | i : l レイヤーのカプセルiの出力をu𝑖、jのカプセルとの変換行列W𝑖𝑗 と掛け合わせた予測ベクトル s𝑗: 前の層からの重み付け和
Routing Algorithm 16
CapsNetのベクトル計算 17 https://github.com/naturomics/CapsNet-Tensorflow 画像の空間情報を 持ったベクトル ラベルとの空間的な関連 性の重み付け行列 ルーティング手法による各予測 ベクトルの結合強度
・ベクトルの長さ v 𝑘 がエンティティの存在確率を表す →そのクラスkに長いベクトルを持たせることを考える 𝑇𝑘: 数字の存在確率(𝑇𝑘=1or0) k: クラス(k=0,1,2…9) 𝜆: 𝑇𝑘=0の時の損失の軽減(𝜆 =0.5) 𝑚+=0.9,𝑚−=0.1 損失関数 ヒンジ関数 18
CapsNetの基本構造 19 畳み込み層 畳み込みカプセル層 (l) DigitCaps (l+1) CNN CapsNet - 画像内に存在するエンティティの特性を表現する ・ポーズ(位置,サイズ,方向)・幾何形状・速度 ・反射特性・色合い・テクスチャ
DigitCapsのデコーダー構造 20 DigitCaps層から数字の画像を復元するデコーダー構造
デコーダー構造の損失値も加えた場合 𝑙𝑜𝑠𝑠 = 𝐿 𝑘 + 0.0005×R R: (復元画素値 – 入力値) **2 損失関数 二乗誤差 21
データセット 22 MNIST ０〜９の手書き数字の画像セット (28*28) 学習 60K テスト 10K MultiMNIST MNISTの画像を２つ重ね合わせた画像 各方向に4pixの範囲でスライドさせたもの (36*36) 学習 60M テスト 10M affNIST4* MNISTのデータをアフィン変換したもの アフィン変換は回転・剪断・拡大縮小・移動の順 (40*40) 一枚の画像を32個にランダム変換 学習＋テスト 2M Cifar10 犬や猫から船など10クラスの画像セット (32*32) http://www.cs.toronto.edu/~tijmen/affNIST/
Routing Algorithm 23
実験結果１ exp(𝑏𝑖𝑗)の値の推移 24 ・ルーティングアルゴリズムの反復回数の検証 MNISTデータセットを用いた学習損失推移 最適化関数: Adam パラメータ: TensorFlowのデフォルト 500epoch時のイテレー ションごとの変化
実験結果２ Cifar10データセットを用いた学習損失推移 25
入力画像のデコード結果と精度 26 (l, p , r) (正解ラベル,予測結果,復元ラベル)
アフィン変換に対するCapsNetのロバスト性 ロバスト性を検証する実験 MNISTデータが40*40になるようパディング 27 MNSIT affNIST CapsNet 99.23% 79% 従来のCNN 99.22% 66% 従来手法とのロバスト性の精度比較 ・各モデルのパラメータ数は同じ ・学習の収束はCapsNetが早い
MultiMNISTを用いたデコーダーの精度検証 28 L: 入力された２つの数字のラベル R: 再構成に使用される2つの数字 P: 予測
MultiMNISTを用いたデコーダーの精度実験 29 ８を７と誤判別 ９を０と誤判別 正解ラベルで復元を行うと 情報を持っていることが分かる
まとめ 30 ・CNNをベースとしたCapsNetを提案 - 特徴表現をスカラー→ベクトルに変更することで、ベクトルをまとめた カプセル構造をつなぎ、その関係を学習することでCNNが持てなかった 位置情報や構造を認識可能になった - 従来手法と同程度の精度 ・計算速度の面や他のデータで検証をもっと行っていく必要がある

Recommended

[DL輪読会]近年のエネルギーベースモデルの進展
[DL輪読会]近年のエネルギーベースモデルの進展[DL輪読会]近年のエネルギーベースモデルの進展
[DL輪読会]近年のエネルギーベースモデルの進展Deep Learning JP
 
[DL輪読会]Graph R-CNN for Scene Graph Generation
[DL輪読会]Graph R-CNN for Scene Graph Generation[DL輪読会]Graph R-CNN for Scene Graph Generation
[DL輪読会]Graph R-CNN for Scene Graph GenerationDeep Learning JP
 
劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章Hakky St
 
[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential Equations[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential EquationsDeep Learning JP
 
Point net
Point netPoint net
Point netFujimoto Keisuke
 
CNNの構造最適化手法について
CNNの構造最適化手法についてCNNの構造最適化手法について
CNNの構造最適化手法についてMasanoriSuganuma
 
Neural networks for Graph Data NeurIPS2018読み会@PFN
Neural networks for Graph Data NeurIPS2018読み会@PFNNeural networks for Graph Data NeurIPS2018読み会@PFN
Neural networks for Graph Data NeurIPS2018読み会@PFNemakryo
 
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイDeep Learning JP
 

Recommended

[DL輪読会]近年のエネルギーベースモデルの進展
[DL輪読会]近年のエネルギーベースモデルの進展[DL輪読会]近年のエネルギーベースモデルの進展
[DL輪読会]近年のエネルギーベースモデルの進展Deep Learning JP
 
[DL輪読会]Graph R-CNN for Scene Graph Generation
[DL輪読会]Graph R-CNN for Scene Graph Generation[DL輪読会]Graph R-CNN for Scene Graph Generation
[DL輪読会]Graph R-CNN for Scene Graph GenerationDeep Learning JP
 
劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章Hakky St
 
[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential Equations[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential EquationsDeep Learning JP
 
Point net
Point netPoint net
Point netFujimoto Keisuke
 
CNNの構造最適化手法について
CNNの構造最適化手法についてCNNの構造最適化手法について
CNNの構造最適化手法についてMasanoriSuganuma
 
Neural networks for Graph Data NeurIPS2018読み会@PFN
Neural networks for Graph Data NeurIPS2018読み会@PFNNeural networks for Graph Data NeurIPS2018読み会@PFN
Neural networks for Graph Data NeurIPS2018読み会@PFNemakryo
 
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイDeep Learning JP
 
Optimizer入門＆最新動向
Optimizer入門＆最新動向Optimizer入門＆最新動向
Optimizer入門＆最新動向Motokawa Tetsuya
 
Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Yoshitaka Ushiku
 
POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用Yasunori Ozaki
 
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process ModelsDeep Learning JP
 
ベイズ最適化によるハイパラーパラメータ探索
ベイズ最適化によるハイパラーパラメータ探索ベイズ最適化によるハイパラーパラメータ探索
ベイズ最適化によるハイパラーパラメータ探索西岡 賢一郎
 
HiPPO/S4解説
HiPPO/S4解説HiPPO/S4解説
HiPPO/S4解説Morpho, Inc.
 
LSTM (Long short-term memory) 概要
LSTM (Long short-term memory) 概要LSTM (Long short-term memory) 概要
LSTM (Long short-term memory) 概要Kenji Urai
 
数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理Taiji Suzuki
 
[DL輪読会]近年のオフライン強化学習のまとめ —Offline Reinforcement Learning: Tutorial, Review, an...
[DL輪読会]近年のオフライン強化学習のまとめ —Offline Reinforcement Learning: Tutorial, Review, an...[DL輪読会]近年のオフライン強化学習のまとめ —Offline Reinforcement Learning: Tutorial, Review, an...
[DL輪読会]近年のオフライン強化学習のまとめ —Offline Reinforcement Learning: Tutorial, Review, an...Deep Learning JP
 
[DL輪読会]EfficientDet: Scalable and Efficient Object Detection
[DL輪読会]EfficientDet: Scalable and Efficient Object Detection[DL輪読会]EfficientDet: Scalable and Efficient Object Detection
[DL輪読会]EfficientDet: Scalable and Efficient Object DetectionDeep Learning JP
 
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門tmtm otm
 
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜SSII
 
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習cvpaper. challenge
 
全力解説！Transformer
全力解説！Transformer全力解説！Transformer
全力解説！TransformerArithmer Inc.
 
変分推論法（変分ベイズ法）(PRML第10章)
変分推論法（変分ベイズ法）(PRML第10章)変分推論法（変分ベイズ法）(PRML第10章)
変分推論法（変分ベイズ法）(PRML第10章)Takao Yamanaka
 
AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦
AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦
AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦Tatsuya Matsushima
 
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision Tree
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision TreeNIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision Tree
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision TreeTakami Sato
 
Graph convolution (スペクトルアプローチ)
Graph convolution (スペクトルアプローチ)Graph convolution (スペクトルアプローチ)
Graph convolution (スペクトルアプローチ)yukihiro domae
 
Attentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門までAttentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門までAGIRobots
 
Semi supervised, weakly-supervised, unsupervised, and active learning
Semi supervised, weakly-supervised, unsupervised, and active learningSemi supervised, weakly-supervised, unsupervised, and active learning
Semi supervised, weakly-supervised, unsupervised, and active learningYusuke Uchida
 
関西CVPRML勉強会資料20150627
関西CVPRML勉強会資料20150627関西CVPRML勉強会資料20150627
関西CVPRML勉強会資料20150627tsunekawas
 
Dynamic Routing Between Capsules
Dynamic Routing Between CapsulesDynamic Routing Between Capsules
Dynamic Routing Between CapsulesMasaya Kaneko
 

More Related Content

What's hot

Optimizer入門＆最新動向
Optimizer入門＆最新動向Optimizer入門＆最新動向
Optimizer入門＆最新動向Motokawa Tetsuya
 
Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Yoshitaka Ushiku
 
POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用Yasunori Ozaki
 
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process ModelsDeep Learning JP
 
ベイズ最適化によるハイパラーパラメータ探索
ベイズ最適化によるハイパラーパラメータ探索ベイズ最適化によるハイパラーパラメータ探索
ベイズ最適化によるハイパラーパラメータ探索西岡 賢一郎
 
LSTM (Long short-term memory) 概要
LSTM (Long short-term memory) 概要LSTM (Long short-term memory) 概要
LSTM (Long short-term memory) 概要Kenji Urai
 
数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理Taiji Suzuki
 
[DL輪読会]近年のオフライン強化学習のまとめ —Offline Reinforcement Learning: Tutorial, Review, an...
[DL輪読会]近年のオフライン強化学習のまとめ —Offline Reinforcement Learning: Tutorial, Review, an...[DL輪読会]近年のオフライン強化学習のまとめ —Offline Reinforcement Learning: Tutorial, Review, an...
[DL輪読会]近年のオフライン強化学習のまとめ —Offline Reinforcement Learning: Tutorial, Review, an...Deep Learning JP
 
[DL輪読会]EfficientDet: Scalable and Efficient Object Detection
[DL輪読会]EfficientDet: Scalable and Efficient Object Detection[DL輪読会]EfficientDet: Scalable and Efficient Object Detection
[DL輪読会]EfficientDet: Scalable and Efficient Object DetectionDeep Learning JP
 
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門tmtm otm
 
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜SSII
 
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習cvpaper. challenge
 
全力解説！Transformer
全力解説！Transformer全力解説！Transformer
全力解説！TransformerArithmer Inc.
 
変分推論法（変分ベイズ法）(PRML第10章)
変分推論法（変分ベイズ法）(PRML第10章)変分推論法（変分ベイズ法）(PRML第10章)
変分推論法（変分ベイズ法）(PRML第10章)Takao Yamanaka
 
AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦
AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦
AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦Tatsuya Matsushima
 
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision Tree
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision TreeNIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision Tree
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision TreeTakami Sato
 
Graph convolution (スペクトルアプローチ)
Graph convolution (スペクトルアプローチ)Graph convolution (スペクトルアプローチ)
Graph convolution (スペクトルアプローチ)yukihiro domae
 
Attentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門までAttentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門までAGIRobots
 
Semi supervised, weakly-supervised, unsupervised, and active learning
Semi supervised, weakly-supervised, unsupervised, and active learningSemi supervised, weakly-supervised, unsupervised, and active learning
Semi supervised, weakly-supervised, unsupervised, and active learningYusuke Uchida
 

What's hot (20)

Optimizer入門＆最新動向
Optimizer入門＆最新動向Optimizer入門＆最新動向
Optimizer入門＆最新動向
 
Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）
 
POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用
 
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
 
ベイズ最適化によるハイパラーパラメータ探索
ベイズ最適化によるハイパラーパラメータ探索ベイズ最適化によるハイパラーパラメータ探索
ベイズ最適化によるハイパラーパラメータ探索
 
HiPPO/S4解説
HiPPO/S4解説HiPPO/S4解説
HiPPO/S4解説
 
LSTM (Long short-term memory) 概要
LSTM (Long short-term memory) 概要LSTM (Long short-term memory) 概要
LSTM (Long short-term memory) 概要
 
数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理
 
[DL輪読会]近年のオフライン強化学習のまとめ —Offline Reinforcement Learning: Tutorial, Review, an...
[DL輪読会]近年のオフライン強化学習のまとめ —Offline Reinforcement Learning: Tutorial, Review, an...[DL輪読会]近年のオフライン強化学習のまとめ —Offline Reinforcement Learning: Tutorial, Review, an...
[DL輪読会]近年のオフライン強化学習のまとめ —Offline Reinforcement Learning: Tutorial, Review, an...
 
[DL輪読会]EfficientDet: Scalable and Efficient Object Detection
[DL輪読会]EfficientDet: Scalable and Efficient Object Detection[DL輪読会]EfficientDet: Scalable and Efficient Object Detection
[DL輪読会]EfficientDet: Scalable and Efficient Object Detection
 
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
 
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
 
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
 
全力解説！Transformer
全力解説！Transformer全力解説！Transformer
全力解説！Transformer
 
変分推論法（変分ベイズ法）(PRML第10章)
変分推論法（変分ベイズ法）(PRML第10章)変分推論法（変分ベイズ法）(PRML第10章)
変分推論法（変分ベイズ法）(PRML第10章)
 
AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦
AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦
AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦
 
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision Tree
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision TreeNIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision Tree
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision Tree
 
Graph convolution (スペクトルアプローチ)
Graph convolution (スペクトルアプローチ)Graph convolution (スペクトルアプローチ)
Graph convolution (スペクトルアプローチ)
 
Attentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門までAttentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門まで
 
Semi supervised, weakly-supervised, unsupervised, and active learning
Semi supervised, weakly-supervised, unsupervised, and active learningSemi supervised, weakly-supervised, unsupervised, and active learning
Semi supervised, weakly-supervised, unsupervised, and active learning
 

Similar to Dynamic Routing Between Capsules

関西CVPRML勉強会資料20150627
関西CVPRML勉強会資料20150627関西CVPRML勉強会資料20150627
関西CVPRML勉強会資料20150627tsunekawas
 
Dynamic Routing Between Capsules
Dynamic Routing Between CapsulesDynamic Routing Between Capsules
Dynamic Routing Between CapsulesMasaya Kaneko
 
NAS-FPN:Learning Scalable Feature Pyramid Architecture for Object Detection
NAS-FPN:Learning Scalable Feature Pyramid Architecture for Object DetectionNAS-FPN:Learning Scalable Feature Pyramid Architecture for Object Detection
NAS-FPN:Learning Scalable Feature Pyramid Architecture for Object Detectionharmonylab
 
Trainable Calibration Measures for Neural Networks from Kernel Mean Embeddings
Trainable Calibration Measures for Neural Networks from Kernel Mean EmbeddingsTrainable Calibration Measures for Neural Networks from Kernel Mean Embeddings
Trainable Calibration Measures for Neural Networks from Kernel Mean Embeddingsharmonylab
 
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化Yusuke Uchida
 
[DL輪読会]Network Deconvolution
[DL輪読会]Network Deconvolution[DL輪読会]Network Deconvolution
[DL輪読会]Network DeconvolutionDeep Learning JP
 
Essentially no barriers in neural network energy landscape
Essentially no barriers in neural network energy landscapeEssentially no barriers in neural network energy landscape
Essentially no barriers in neural network energy landscapeSimossyi Funabashi
 
Top-K Off-Policy Correction for a REINFORCE Recommender System
Top-K Off-Policy Correction for a REINFORCE Recommender SystemTop-K Off-Policy Correction for a REINFORCE Recommender System
Top-K Off-Policy Correction for a REINFORCE Recommender Systemharmonylab
 
NSDI17-reading-kaneko
NSDI17-reading-kanekoNSDI17-reading-kaneko
NSDI17-reading-kaneko紘也 金子
 
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...When NAS Meets Robustness: In Search of Robust Architectures against Adversar...
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...MasanoriSuganuma
 
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...When NAS Meets Robustness: In Search of Robust Architectures against Adversar...
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...MasanoriSuganuma
 
PFP：材料探索のための汎用Neural Network Potential_中郷_20220422POLセミナー
PFP：材料探索のための汎用Neural Network Potential_中郷_20220422POLセミナーPFP：材料探索のための汎用Neural Network Potential_中郷_20220422POLセミナー
PFP：材料探索のための汎用Neural Network Potential_中郷_20220422POLセミナーMatlantis
 
Yosuke Hoshi U-Net
Yosuke Hoshi U-NetYosuke Hoshi U-Net
Yosuke Hoshi U-NetYosukeHoshi1
 
【2016.07】cvpaper.challenge2016
【2016.07】cvpaper.challenge2016【2016.07】cvpaper.challenge2016
【2016.07】cvpaper.challenge2016cvpaper. challenge
 
【CVPR 2020 メタサーベイ】Efficient Training and Inference Methods for Networks
【CVPR 2020 メタサーベイ】Efficient Training and Inference Methods for Networks【CVPR 2020 メタサーベイ】Efficient Training and Inference Methods for Networks
【CVPR 2020 メタサーベイ】Efficient Training and Inference Methods for Networkscvpaper. challenge
 
U-Net: Convolutional Networks for Biomedical Image Segmentationの紹介
U-Net: Convolutional Networks for Biomedical Image Segmentationの紹介U-Net: Convolutional Networks for Biomedical Image Segmentationの紹介
U-Net: Convolutional Networks for Biomedical Image Segmentationの紹介KCS Keio Computer Society
 
画像処理分野における研究事例紹介
画像処理分野における研究事例紹介画像処理分野における研究事例紹介
画像処理分野における研究事例紹介nlab_utokyo
 
輪講用資料「Deep Convolutional Network Cascade for Facial Point Detection」
輪講用資料「Deep Convolutional Network Cascade for Facial Point Detection」輪講用資料「Deep Convolutional Network Cascade for Facial Point Detection」
輪講用資料「Deep Convolutional Network Cascade for Facial Point Detection」Saya Katafuchi
 

Similar to Dynamic Routing Between Capsules (20)

関西CVPRML勉強会資料20150627
関西CVPRML勉強会資料20150627関西CVPRML勉強会資料20150627
関西CVPRML勉強会資料20150627
 
Dynamic Routing Between Capsules
Dynamic Routing Between CapsulesDynamic Routing Between Capsules
Dynamic Routing Between Capsules
 
NAS-FPN:Learning Scalable Feature Pyramid Architecture for Object Detection
NAS-FPN:Learning Scalable Feature Pyramid Architecture for Object DetectionNAS-FPN:Learning Scalable Feature Pyramid Architecture for Object Detection
NAS-FPN:Learning Scalable Feature Pyramid Architecture for Object Detection
 
Trainable Calibration Measures for Neural Networks from Kernel Mean Embeddings
Trainable Calibration Measures for Neural Networks from Kernel Mean EmbeddingsTrainable Calibration Measures for Neural Networks from Kernel Mean Embeddings
Trainable Calibration Measures for Neural Networks from Kernel Mean Embeddings
 
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
 
[DL輪読会]Network Deconvolution
[DL輪読会]Network Deconvolution[DL輪読会]Network Deconvolution
[DL輪読会]Network Deconvolution
 
Essentially no barriers in neural network energy landscape
Essentially no barriers in neural network energy landscapeEssentially no barriers in neural network energy landscape
Essentially no barriers in neural network energy landscape
 
Top-K Off-Policy Correction for a REINFORCE Recommender System
Top-K Off-Policy Correction for a REINFORCE Recommender SystemTop-K Off-Policy Correction for a REINFORCE Recommender System
Top-K Off-Policy Correction for a REINFORCE Recommender System
 
NSDI17-reading-kaneko
NSDI17-reading-kanekoNSDI17-reading-kaneko
NSDI17-reading-kaneko
 
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...When NAS Meets Robustness: In Search of Robust Architectures against Adversar...
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...
 
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...When NAS Meets Robustness: In Search of Robust Architectures against Adversar...
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...
 
PFP：材料探索のための汎用Neural Network Potential_中郷_20220422POLセミナー
PFP：材料探索のための汎用Neural Network Potential_中郷_20220422POLセミナーPFP：材料探索のための汎用Neural Network Potential_中郷_20220422POLセミナー
PFP：材料探索のための汎用Neural Network Potential_中郷_20220422POLセミナー
 
DeepCas
DeepCasDeepCas
DeepCas
 
Yosuke Hoshi U-Net
Yosuke Hoshi U-NetYosuke Hoshi U-Net
Yosuke Hoshi U-Net
 
【2016.07】cvpaper.challenge2016
【2016.07】cvpaper.challenge2016【2016.07】cvpaper.challenge2016
【2016.07】cvpaper.challenge2016
 
【CVPR 2020 メタサーベイ】Efficient Training and Inference Methods for Networks
【CVPR 2020 メタサーベイ】Efficient Training and Inference Methods for Networks【CVPR 2020 メタサーベイ】Efficient Training and Inference Methods for Networks
【CVPR 2020 メタサーベイ】Efficient Training and Inference Methods for Networks
 
U-Net: Convolutional Networks for Biomedical Image Segmentationの紹介
U-Net: Convolutional Networks for Biomedical Image Segmentationの紹介U-Net: Convolutional Networks for Biomedical Image Segmentationの紹介
U-Net: Convolutional Networks for Biomedical Image Segmentationの紹介
 
画像処理分野における研究事例紹介
画像処理分野における研究事例紹介画像処理分野における研究事例紹介
画像処理分野における研究事例紹介
 
CVPR 2016 まとめ v1
CVPR 2016 まとめ v1CVPR 2016 まとめ v1
CVPR 2016 まとめ v1
 
輪講用資料「Deep Convolutional Network Cascade for Facial Point Detection」
輪講用資料「Deep Convolutional Network Cascade for Facial Point Detection」輪講用資料「Deep Convolutional Network Cascade for Facial Point Detection」
輪講用資料「Deep Convolutional Network Cascade for Facial Point Detection」
 

More from harmonylab

【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究　　　千坂知也
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究　　　千坂知也【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究　　　千坂知也
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究　　　千坂知也harmonylab
 
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究harmonylab
 
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...harmonylab
 
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究harmonylab
 
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究harmonylab
 
DLゼミ：Primitive Generation and Semantic-related Alignment for Universal Zero-S...
DLゼミ：Primitive Generation and Semantic-related Alignment for Universal Zero-S...DLゼミ：Primitive Generation and Semantic-related Alignment for Universal Zero-S...
DLゼミ：Primitive Generation and Semantic-related Alignment for Universal Zero-S...harmonylab
 
DLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
DLゼミ: MobileOne: An Improved One millisecond Mobile BackboneDLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
DLゼミ: MobileOne: An Improved One millisecond Mobile Backboneharmonylab
 
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat ModelsDLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Modelsharmonylab
 
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose EstimationDLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimationharmonylab
 
Voyager: An Open-Ended Embodied Agent with Large Language Models
Voyager: An Open-Ended Embodied Agent with Large Language ModelsVoyager: An Open-Ended Embodied Agent with Large Language Models
Voyager: An Open-Ended Embodied Agent with Large Language Modelsharmonylab
 
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose EstimationDLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimationharmonylab
 
ReAct: Synergizing Reasoning and Acting in Language Models
ReAct: Synergizing Reasoning and Acting in Language ModelsReAct: Synergizing Reasoning and Acting in Language Models
ReAct: Synergizing Reasoning and Acting in Language Modelsharmonylab
 
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究harmonylab
 
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究harmonylab
 
灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究
灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究
灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究harmonylab
 
深層自己回帰モデルを用いた俳句の生成と評価に関する研究
深層自己回帰モデルを用いた俳句の生成と評価に関する研究深層自己回帰モデルを用いた俳句の生成と評価に関する研究
深層自己回帰モデルを用いた俳句の生成と評価に関する研究harmonylab
 
競輪におけるレーティングシステムを用いた予想記事生成に関する研究
競輪におけるレーティングシステムを用いた予想記事生成に関する研究競輪におけるレーティングシステムを用いた予想記事生成に関する研究
競輪におけるレーティングシステムを用いた予想記事生成に関する研究harmonylab
 
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究harmonylab
 
A Study on Estimation of Household Kerosene Consumption for Optimization of D...
A Study on Estimation of Household Kerosene Consumption for Optimization of D...A Study on Estimation of Household Kerosene Consumption for Optimization of D...
A Study on Estimation of Household Kerosene Consumption for Optimization of D...harmonylab
 
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究harmonylab
 

More from harmonylab (20)

【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究　　　千坂知也
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究　　　千坂知也【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究　　　千坂知也
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究　　　千坂知也
 
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
 
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...
 
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
 
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
 
DLゼミ：Primitive Generation and Semantic-related Alignment for Universal Zero-S...
DLゼミ：Primitive Generation and Semantic-related Alignment for Universal Zero-S...DLゼミ：Primitive Generation and Semantic-related Alignment for Universal Zero-S...
DLゼミ：Primitive Generation and Semantic-related Alignment for Universal Zero-S...
 
DLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
DLゼミ: MobileOne: An Improved One millisecond Mobile BackboneDLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
DLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
 
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat ModelsDLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
 
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose EstimationDLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
 
Voyager: An Open-Ended Embodied Agent with Large Language Models
Voyager: An Open-Ended Embodied Agent with Large Language ModelsVoyager: An Open-Ended Embodied Agent with Large Language Models
Voyager: An Open-Ended Embodied Agent with Large Language Models
 
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose EstimationDLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
 
ReAct: Synergizing Reasoning and Acting in Language Models
ReAct: Synergizing Reasoning and Acting in Language ModelsReAct: Synergizing Reasoning and Acting in Language Models
ReAct: Synergizing Reasoning and Acting in Language Models
 
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
 
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
 
灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究
灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究
灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究
 
深層自己回帰モデルを用いた俳句の生成と評価に関する研究
深層自己回帰モデルを用いた俳句の生成と評価に関する研究深層自己回帰モデルを用いた俳句の生成と評価に関する研究
深層自己回帰モデルを用いた俳句の生成と評価に関する研究
 
競輪におけるレーティングシステムを用いた予想記事生成に関する研究
競輪におけるレーティングシステムを用いた予想記事生成に関する研究競輪におけるレーティングシステムを用いた予想記事生成に関する研究
競輪におけるレーティングシステムを用いた予想記事生成に関する研究
 
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
 
A Study on Estimation of Household Kerosene Consumption for Optimization of D...
A Study on Estimation of Household Kerosene Consumption for Optimization of D...A Study on Estimation of Household Kerosene Consumption for Optimization of D...
A Study on Estimation of Household Kerosene Consumption for Optimization of D...
 
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
 

Dynamic Routing Between Capsules