More Related Content
Similar to Graph U-Nets (6)
More from Shion Honda (10)
Graph U-Nets
- 6. U-Netとは
• U-Net: Convolutional Networks for
Biomedical Image Segmentation [2]
• Ronneberger+, MICCAI, 2015
• 前半のdownsamplingと後半のupsamplingからなる
U字型のネットワーク
• downsamplingの途中の各階層で特徴マップを
upsampling側に渡す
→異なるスケールの特徴を考慮
• 細胞画像のセグメンテ
ーションで実験
6
- 7. グラフに関する様々なタスク
7
タスク スケール 例
ノード分類 ノード 引用関係のグラフにおける論文のカテゴリ予測
リンク予測 ノード SNSのつながり推薦
グラフ分類 グラフ タンパク質の活性予測
グラフ生成 グラフ 分子グラフの生成
*ノードレベルとグラフレベルではタスクの性質が異なる
引用関係 分子
[3]
- 8. GNNsの関連研究
• 元祖GCN
• 𝑋𝑙: 第𝑙層での特徴行列
• 𝐷: 次数行列
• 𝐴: 隣接行列
• 𝑊𝑙:第𝑙層での重み
• 行列積の形でグラフ畳み込みが書ける
8
𝐴 = 𝐴 + 𝐼
𝐷 = 𝐷 + 𝐼
• DiffPool [4]
• ノードのクラスタリングを行うGNNをプーリング
層として挿入
• グラフ分類に
有効
- 13. その他の工夫
• Graph Connectivity Augmentation
• gPoolの途中でグラフの連結性が失われるのを防ぎ
たい
• gPoolの5番目の式で, 隣接行列を2乗する
13
• Improved GCN Layer
• GCNでノード自身の特徴に重みをつけるため, 隣接
行列の計算を次のように変える
- 14. 実験1: ノード分類 (transductive)
• ノード分類
• transductive: 訓練時に与えられなかったノードラ
ベルを当てる
• 論文の引用関係を表すグラフ
• 条件
• 𝑘 = 2000, 1000, 500, 200として4回のgPool
• Contractive pathでは和をとる
• upsampling側の最後のGCNで予測
• ベースラインはDeepWalk, GCN, GATなどノー
ド埋め込みを得る手法
14
- 15. 実験2: グラフ分類 (inductive)
15
• グラフ分類
• inductive: 訓練時に与えられなかったグラフのラベ
ルを当てる
• タンパク質と共著関係を表すグラフ
• 条件
• 基本的に実験1を踏襲. 同じく4回のgPool
• 𝑘 の値はノード数の90%, 70%, 60%, 50%とする
• ベースラインはDGCNN, DiffPoolなど
- 17. Ablation studies
17
1. GCN + contracting pathとの比較
2. Graph Connectivity Augmentationは効果あり
3. 最適な深さは4層
4. gPool/Unpoolでパラメータ数はほぼ増えない
- 18. まとめ
• まとめ
• 学習可能なベクトル𝑝に特徴行列𝑋を射影し, 値の大
きいidのノードを取ることでgPoolを定義
• 捨てたノードを0で埋めてgUnpoolを定義
• これらをGCNと組み合わせてGraph U-Netを提案
• ノード分類とグラフ分類でSOTA
• コメント
• グラフ分類でもうまくいくのは意外
• グラフ分類のとき, 出力の次元がノード数になるは
ずなので, 実装が自明でない (コード非公開)
• 発展としてpix2pixのようなこともできそう
18
- 19. 参考文献
[1] Hongyang Gao, Shuiwang Ji. “Graph U-Nets.” ICML. 2019.
[2] Olaf Ronneberger, Philipp Fischer, Thomas Brox. “U-Net:
Convolutional Networks for Biomedical Image Segmentation.” MICCAI.
2015.
[3] Thomas N. Kipf, Max Welling. “Semi-Supervised Classification with
Graph Convolutional Networks.” ICLR. 2017.
[4] Rex Ying, Jiaxuan You, Christopher Morris, Xiang Ren, William L.
Hamilton, Jure Leskovec. “Hierarchical Graph Representation Learning
with Differentiable Pooling. ” NeurIPS. 2018.
GNNsの導入記事を書きました.
[5] GNNまとめ(1): GCNの導入 - Qiita
19
Editor's Notes
- we employ a gate operation to control information flow
information flowにpをいれる
- there is a GCN layer before each gPool layer, thereby enabling gPool layers to capture the topological information in graphs implicitly.
- inductive 非自明