Submit Search
Upload
20190509 gnn public
•
Download as PPTX, PDF
•
1 like
•
3,691 views
Jiro Nishitoba
Follow
2019年5月9日のレトリバセミナー「GNNの紹介」で用いた資料です。
Read less
Read more
Technology
Report
Share
Report
Share
1 of 26
Download now
Recommended
SakataMoriLab GNN勉強会第一回資料
SakataMoriLab GNN勉強会第一回資料
ttt_miura
Graph Attention Network
Graph Attention Network
Takahiro Kubo
グラフデータ分析 入門編
グラフデータ分析 入門編
順也 山口
Neural networks for Graph Data NeurIPS2018読み会@PFN
Neural networks for Graph Data NeurIPS2018読み会@PFN
emakryo
[DL輪読会]Relational inductive biases, deep learning, and graph networks
[DL輪読会]Relational inductive biases, deep learning, and graph networks
Deep Learning JP
[DL輪読会]Graph R-CNN for Scene Graph Generation
[DL輪読会]Graph R-CNN for Scene Graph Generation
Deep Learning JP
【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?
Masanao Ochi
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
Recommended
SakataMoriLab GNN勉強会第一回資料
SakataMoriLab GNN勉強会第一回資料
ttt_miura
Graph Attention Network
Graph Attention Network
Takahiro Kubo
グラフデータ分析 入門編
グラフデータ分析 入門編
順也 山口
Neural networks for Graph Data NeurIPS2018読み会@PFN
Neural networks for Graph Data NeurIPS2018読み会@PFN
emakryo
[DL輪読会]Relational inductive biases, deep learning, and graph networks
[DL輪読会]Relational inductive biases, deep learning, and graph networks
Deep Learning JP
[DL輪読会]Graph R-CNN for Scene Graph Generation
[DL輪読会]Graph R-CNN for Scene Graph Generation
Deep Learning JP
【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?
Masanao Ochi
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
[DL輪読会]HoloGAN: Unsupervised learning of 3D representations from natural images
[DL輪読会]HoloGAN: Unsupervised learning of 3D representations from natural images
Deep Learning JP
[DL輪読会]Learning to Simulate Complex Physics with Graph Networks
[DL輪読会]Learning to Simulate Complex Physics with Graph Networks
Deep Learning JP
【CVPR 2019】Do Better ImageNet Models Transfer Better?
【CVPR 2019】Do Better ImageNet Models Transfer Better?
cvpaper. challenge
[DL輪読会]MetaFormer is Actually What You Need for Vision
[DL輪読会]MetaFormer is Actually What You Need for Vision
Deep Learning JP
HoloGAN: Unsupervised Learning of 3D Representations from Natural Images
HoloGAN: Unsupervised Learning of 3D Representations from Natural Images
Kento Doi
Combinatorial optimization with graph convolutional networks and guided ver20...
Combinatorial optimization with graph convolutional networks and guided ver20...
Shuntaro Ohno
Combinatorial optimization with graph convolutional networks and guided
Combinatorial optimization with graph convolutional networks and guided
Shuntaro Ohno
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
Deep Learning JP
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
Deep Learning JP
深層生成モデルと世界モデル,深層生成モデルライブラリPixyzについて
深層生成モデルと世界モデル,深層生成モデルライブラリPixyzについて
Masahiro Suzuki
StyleGAN解説 CVPR2019読み会@DeNA
StyleGAN解説 CVPR2019読み会@DeNA
Kento Doi
"There and Back Again: Revisiting Backpropagation Saliency Methods" (CVPR2020)
"There and Back Again: Revisiting Backpropagation Saliency Methods" (CVPR2020)
Shoki Miyagawa
第1回NIPS読み会・関西発表資料
第1回NIPS読み会・関西発表資料
Takato Horii
[DL輪読会]Life-Long Disentangled Representation Learning with Cross-Domain Laten...
[DL輪読会]Life-Long Disentangled Representation Learning with Cross-Domain Laten...
Deep Learning JP
Adversarial Networks の画像生成に迫る @WBAFLカジュアルトーク#3
Adversarial Networks の画像生成に迫る @WBAFLカジュアルトーク#3
Daiki Shimada
【DL輪読会】Data-Efficient Reinforcement Learning with Self-Predictive Representat...
【DL輪読会】Data-Efficient Reinforcement Learning with Self-Predictive Representat...
Deep Learning JP
Convolutional Neural Netwoks で自然言語処理をする
Convolutional Neural Netwoks で自然言語処理をする
Daiki Shimada
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
Preferred Networks
[DL輪読会]Dense Captioning分野のまとめ
[DL輪読会]Dense Captioning分野のまとめ
Deep Learning JP
【CVPR 2019】Second-order Attention Network for Single Image Super-Resolution
【CVPR 2019】Second-order Attention Network for Single Image Super-Resolution
cvpaper. challenge
Retrieva seminar jelinek_20180822
Retrieva seminar jelinek_20180822
Jiro Nishitoba
20180609 chainer meetup_es_pnet
20180609 chainer meetup_es_pnet
Jiro Nishitoba
More Related Content
What's hot
[DL輪読会]HoloGAN: Unsupervised learning of 3D representations from natural images
[DL輪読会]HoloGAN: Unsupervised learning of 3D representations from natural images
Deep Learning JP
[DL輪読会]Learning to Simulate Complex Physics with Graph Networks
[DL輪読会]Learning to Simulate Complex Physics with Graph Networks
Deep Learning JP
【CVPR 2019】Do Better ImageNet Models Transfer Better?
【CVPR 2019】Do Better ImageNet Models Transfer Better?
cvpaper. challenge
[DL輪読会]MetaFormer is Actually What You Need for Vision
[DL輪読会]MetaFormer is Actually What You Need for Vision
Deep Learning JP
HoloGAN: Unsupervised Learning of 3D Representations from Natural Images
HoloGAN: Unsupervised Learning of 3D Representations from Natural Images
Kento Doi
Combinatorial optimization with graph convolutional networks and guided ver20...
Combinatorial optimization with graph convolutional networks and guided ver20...
Shuntaro Ohno
Combinatorial optimization with graph convolutional networks and guided
Combinatorial optimization with graph convolutional networks and guided
Shuntaro Ohno
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
Deep Learning JP
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
Deep Learning JP
深層生成モデルと世界モデル,深層生成モデルライブラリPixyzについて
深層生成モデルと世界モデル,深層生成モデルライブラリPixyzについて
Masahiro Suzuki
StyleGAN解説 CVPR2019読み会@DeNA
StyleGAN解説 CVPR2019読み会@DeNA
Kento Doi
"There and Back Again: Revisiting Backpropagation Saliency Methods" (CVPR2020)
"There and Back Again: Revisiting Backpropagation Saliency Methods" (CVPR2020)
Shoki Miyagawa
第1回NIPS読み会・関西発表資料
第1回NIPS読み会・関西発表資料
Takato Horii
[DL輪読会]Life-Long Disentangled Representation Learning with Cross-Domain Laten...
[DL輪読会]Life-Long Disentangled Representation Learning with Cross-Domain Laten...
Deep Learning JP
Adversarial Networks の画像生成に迫る @WBAFLカジュアルトーク#3
Adversarial Networks の画像生成に迫る @WBAFLカジュアルトーク#3
Daiki Shimada
【DL輪読会】Data-Efficient Reinforcement Learning with Self-Predictive Representat...
【DL輪読会】Data-Efficient Reinforcement Learning with Self-Predictive Representat...
Deep Learning JP
Convolutional Neural Netwoks で自然言語処理をする
Convolutional Neural Netwoks で自然言語処理をする
Daiki Shimada
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
Preferred Networks
[DL輪読会]Dense Captioning分野のまとめ
[DL輪読会]Dense Captioning分野のまとめ
Deep Learning JP
【CVPR 2019】Second-order Attention Network for Single Image Super-Resolution
【CVPR 2019】Second-order Attention Network for Single Image Super-Resolution
cvpaper. challenge
What's hot
(20)
[DL輪読会]HoloGAN: Unsupervised learning of 3D representations from natural images
[DL輪読会]HoloGAN: Unsupervised learning of 3D representations from natural images
[DL輪読会]Learning to Simulate Complex Physics with Graph Networks
[DL輪読会]Learning to Simulate Complex Physics with Graph Networks
【CVPR 2019】Do Better ImageNet Models Transfer Better?
【CVPR 2019】Do Better ImageNet Models Transfer Better?
[DL輪読会]MetaFormer is Actually What You Need for Vision
[DL輪読会]MetaFormer is Actually What You Need for Vision
HoloGAN: Unsupervised Learning of 3D Representations from Natural Images
HoloGAN: Unsupervised Learning of 3D Representations from Natural Images
Combinatorial optimization with graph convolutional networks and guided ver20...
Combinatorial optimization with graph convolutional networks and guided ver20...
Combinatorial optimization with graph convolutional networks and guided
Combinatorial optimization with graph convolutional networks and guided
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
深層生成モデルと世界モデル,深層生成モデルライブラリPixyzについて
深層生成モデルと世界モデル,深層生成モデルライブラリPixyzについて
StyleGAN解説 CVPR2019読み会@DeNA
StyleGAN解説 CVPR2019読み会@DeNA
"There and Back Again: Revisiting Backpropagation Saliency Methods" (CVPR2020)
"There and Back Again: Revisiting Backpropagation Saliency Methods" (CVPR2020)
第1回NIPS読み会・関西発表資料
第1回NIPS読み会・関西発表資料
[DL輪読会]Life-Long Disentangled Representation Learning with Cross-Domain Laten...
[DL輪読会]Life-Long Disentangled Representation Learning with Cross-Domain Laten...
Adversarial Networks の画像生成に迫る @WBAFLカジュアルトーク#3
Adversarial Networks の画像生成に迫る @WBAFLカジュアルトーク#3
【DL輪読会】Data-Efficient Reinforcement Learning with Self-Predictive Representat...
【DL輪読会】Data-Efficient Reinforcement Learning with Self-Predictive Representat...
Convolutional Neural Netwoks で自然言語処理をする
Convolutional Neural Netwoks で自然言語処理をする
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
[DL輪読会]Dense Captioning分野のまとめ
[DL輪読会]Dense Captioning分野のまとめ
【CVPR 2019】Second-order Attention Network for Single Image Super-Resolution
【CVPR 2019】Second-order Attention Network for Single Image Super-Resolution
More from Jiro Nishitoba
Retrieva seminar jelinek_20180822
Retrieva seminar jelinek_20180822
Jiro Nishitoba
20180609 chainer meetup_es_pnet
20180609 chainer meetup_es_pnet
Jiro Nishitoba
全体セミナー20180124 final
全体セミナー20180124 final
Jiro Nishitoba
深層学習による自然言語処理勉強会2章前半
深層学習による自然言語処理勉強会2章前半
Jiro Nishitoba
深層学習による自然言語処理勉強会3章前半
深層学習による自然言語処理勉強会3章前半
Jiro Nishitoba
全体セミナー20170629
全体セミナー20170629
Jiro Nishitoba
Hessian free
Hessian free
Jiro Nishitoba
ChainerでDeep Learningを試す為に必要なこと
ChainerでDeep Learningを試す為に必要なこと
Jiro Nishitoba
Icml読み会 deep speech2
Icml読み会 deep speech2
Jiro Nishitoba
全体セミナーWfst
全体セミナーWfst
Jiro Nishitoba
Emnlp読み会資料
Emnlp読み会資料
Jiro Nishitoba
Chainer meetup20151014
Chainer meetup20151014
Jiro Nishitoba
More from Jiro Nishitoba
(12)
Retrieva seminar jelinek_20180822
Retrieva seminar jelinek_20180822
20180609 chainer meetup_es_pnet
20180609 chainer meetup_es_pnet
全体セミナー20180124 final
全体セミナー20180124 final
深層学習による自然言語処理勉強会2章前半
深層学習による自然言語処理勉強会2章前半
深層学習による自然言語処理勉強会3章前半
深層学習による自然言語処理勉強会3章前半
全体セミナー20170629
全体セミナー20170629
Hessian free
Hessian free
ChainerでDeep Learningを試す為に必要なこと
ChainerでDeep Learningを試す為に必要なこと
Icml読み会 deep speech2
Icml読み会 deep speech2
全体セミナーWfst
全体セミナーWfst
Emnlp読み会資料
Emnlp読み会資料
Chainer meetup20151014
Chainer meetup20151014
Recently uploaded
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
Recently uploaded
(9)
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
20190509 gnn public
1.
Graph Neural Network 取締役副社長
Chief Research Officer 西鳥羽 二郎
2.
西鳥羽 二郎 • 株式会社レトリバ取締役副社長
CRO • 興味ある分野 • 機械学習 • 自然言語処理 • 音声認識 • 趣味 • 全都道府県を巡る -> Complete! • 日本の全世界遺産を巡る
3.
Graph Neural Network •
グラフ上の問題をニューラルネットワークで解くためにグラフ をニューラルネットワークで扱えるように表現する手法
4.
グラフ
5.
グラフとは • 何かしらのオブジェクトと関係性を表すデータ構造 • 頂点(Node):
何かしらの対象(object)を表す • 枝(edge): 頂点同士を結び、関係性を表す A C B 頂点A,B,Cが存在する AとB、BとCは関係が存在する がAとCには存在しない
6.
Social Network 人を頂点で表す 友達関係を枝で表す 隠れた友達関係の提示 コミュニティの検出 中心人物の検出
7.
化合物 原子を頂点で表す 結合を枝で表す 化合物の活性予測 タンパク質間の活性予測
8.
自然言語処理におけるグラフ 単語を頂点で表す 係り受け関係を枝で表す (係り受けの種類を枝のラベル で表す) テキスト上から取れる特徴を 増やす
9.
グラフの解析 • 組合せ最適化: 探索、最短路、閉路判定、頂点被覆… •
統計的解析: コミュニティ検出、凝集度、… • 数理的解析: グラフの代数的解析、ランダムグラフの解析、…
10.
グラフ解析の難しさ • 組合せ的に解こうとするとNP完全の問題のものが多い • Vertex
Cover • 巡回セールスマン問題 • 分割統治がやりにくい • 大体の問題設定において連結している部分が大きい • サンプリングすると「ランダムグラフ」という別のグラフになる • 離散構造で特徴を数値化しにくい • 「似ている度合い」とは? • 2つのグラフが同じ形をしているかの判定すら難しい
11.
Graph Kernel • Graph
Kernel: 2つのグラフから構造の特徴を捉えて数値化する 関数
12.
Graph Kernel • Graph
Kernel: 2つのグラフから構造の特徴を捉えて数値化する 関数 初期はfingerprint (ルールベース)
13.
Graph Kernel • Graph
Kernel: 2つのグラフから構造の特徴を捉えて数値化する 関数 2003年から一般的な手法が 登場
14.
Graph Kernel • Graph
Kernel:部分構造の類似性を捉えて数値化するヒルベルト 空間上の関数 茶色のものがニューラル ネットワークベースの手法
15.
グラフニューラルネットワーク
16.
ニューラルネットワーク向け表現方法
17.
ニューラルネットワーク向け表現方法詳細
18.
ニューラルネットワーク向け表現方法詳細
19.
ニューラルネットワーク向け表現方法 Graph Neural Network Non-local
Neural Network
20.
Graph Neural Networkの一般化 •
Graph Neural Network • 頂点の情報は隣接している頂点から集約する • Non-local Neural Network • 隣接している頂点だけでなくGraph全体からも情報を集約する
21.
Graph Neural Networkの定式化 •
このAGGREGATEとCOMBINEにどういう関数を選ぶかで既存 のGNNの記述ができる • GCN(Graph Convolution Network) • AGGREGATE: 隣接ノードのMEAN • COMBINE: 重みをかけてReLU • GraphSAGE • AGGREGATE: 重みをかけた上でReLU+MaxPooling • COMBINE: 重みをかけて結合 vに隣接する頂点から情報を集約 AGGRIGATEで集約した情報から 頂点の情報を更新
22.
Graph Neural Networkの表現力 •
Graph Neural Networkの性能解析が今年になって進む • ICLR 2019 Xu et al.,「How Powerful Are Graph Neural Networks?」 • AAAI 2019 Morris et al.,「Weisfeiler and Leman Go Neural: Higher- order Graph Neural Networks」 • AGGREGATEとCOMBINEで記述できる形のGraph Neural Networkの「グラフの部分構造の識別能力」は1- WL(Weisfeiler-Leman) subtree kernelと同等
23.
Weisfeiler-Reman(WL) Algorithm • 頂点にラベルの付いたグラフにおける同型性判定アルゴリズム 接続している頂点に応じて 新規ラベルを作成する 頂点にラベルを振り直す ラベルが振られた頂点数が一致 しない場合は同型ではない
24.
WL subtree kernel •
WLアルゴリズムから得られるラベルの個数のベクトルを構築 (A0, B0, A1, B1, C1, D1, E1, A2, B2, C2, D2, E2, F2, G2, H2, I2) -> (3, 2, 0, 0, 3, 1, 1, 0, 0, 0, 0, 0, 1, 2, 1, 1)
25.
Graph Neural Networkの表現力 •
AGGREGATEとCOMBINEで記述できる形のGraph Neural Networkの「グラフの部分構造の識別能力」は1-WL subtree kernelと同等 • ICLR 2019 Xu et al.,: 上記性質を活かし、シンプルで高性能な Graph Neural Networkを構築 • AAAI 2019 Morris et al., 高次のWL subtree kernelに対応する GNNを構築 WL subtree kernelと同等でNeuralにしても劇的に 性能向上するわけではない?
26.
今回わからなかったこと • WL subtree
kernelとGNN構築の計算量の比較 • Non local Neural Networkの性能 • Graph Attention Network • Transformer内のself-attention • グラフの構造+αを組み合わせるマルチモーダルなことで性能 が上がるか
Download now