Submit Search
Upload
Deep sets
•
Download as PPTX, PDF
•
3 likes
•
3,330 views
T
Tomohiro Takahashi
Follow
2018.1.13 NIPS 読み会. Deep Sets
Read less
Read more
Technology
Report
Share
Report
Share
1 of 31
Download now
Recommended
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習
Eiji Uchibe
[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential Equations
Deep Learning JP
HiPPO/S4解説
HiPPO/S4解説
Morpho, Inc.
[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベース...
[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベース...
Deep Learning JP
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
[DL輪読会]Relational inductive biases, deep learning, and graph networks
[DL輪読会]Relational inductive biases, deep learning, and graph networks
Deep Learning JP
Recommended
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習
Eiji Uchibe
[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential Equations
Deep Learning JP
HiPPO/S4解説
HiPPO/S4解説
Morpho, Inc.
[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベース...
[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベース...
Deep Learning JP
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
[DL輪読会]Relational inductive biases, deep learning, and graph networks
[DL輪読会]Relational inductive biases, deep learning, and graph networks
Deep Learning JP
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ
Naoya Chiba
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
Kota Matsui
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
Deep Learning JP
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
SSII2019企画: 点群深層学習の研究動向
SSII2019企画: 点群深層学習の研究動向
SSII
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
[DL輪読会]Understanding Black-box Predictions via Influence Functions
[DL輪読会]Understanding Black-box Predictions via Influence Functions
Deep Learning JP
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
Deep Learning JP
[DL輪読会]Disentangling by Factorising
[DL輪読会]Disentangling by Factorising
Deep Learning JP
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
[DL輪読会]近年のエネルギーベースモデルの進展
[DL輪読会]近年のエネルギーベースモデルの進展
Deep Learning JP
[DL輪読会]Dream to Control: Learning Behaviors by Latent Imagination
[DL輪読会]Dream to Control: Learning Behaviors by Latent Imagination
Deep Learning JP
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
SMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装する
sleepy_yoshi
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
Deep Learning JP
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
Deep Learning JP
TabNetの論文紹介
TabNetの論文紹介
西岡 賢一郎
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
教師なしオブジェクトマッチング(第2回ステアラボ人工知能セミナー)
教師なしオブジェクトマッチング(第2回ステアラボ人工知能セミナー)
STAIR Lab, Chiba Institute of Technology
KDD2014 勉強会
KDD2014 勉強会
Ichigaku Takigawa
More Related Content
What's hot
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ
Naoya Chiba
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
Kota Matsui
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
Deep Learning JP
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
SSII2019企画: 点群深層学習の研究動向
SSII2019企画: 点群深層学習の研究動向
SSII
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
[DL輪読会]Understanding Black-box Predictions via Influence Functions
[DL輪読会]Understanding Black-box Predictions via Influence Functions
Deep Learning JP
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
Deep Learning JP
[DL輪読会]Disentangling by Factorising
[DL輪読会]Disentangling by Factorising
Deep Learning JP
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
[DL輪読会]近年のエネルギーベースモデルの進展
[DL輪読会]近年のエネルギーベースモデルの進展
Deep Learning JP
[DL輪読会]Dream to Control: Learning Behaviors by Latent Imagination
[DL輪読会]Dream to Control: Learning Behaviors by Latent Imagination
Deep Learning JP
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
SMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装する
sleepy_yoshi
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
Deep Learning JP
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
Deep Learning JP
TabNetの論文紹介
TabNetの論文紹介
西岡 賢一郎
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
What's hot
(20)
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
SSII2019企画: 点群深層学習の研究動向
SSII2019企画: 点群深層学習の研究動向
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
[DL輪読会]Understanding Black-box Predictions via Influence Functions
[DL輪読会]Understanding Black-box Predictions via Influence Functions
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Disentangling by Factorising
[DL輪読会]Disentangling by Factorising
変分ベイズ法の説明
変分ベイズ法の説明
[DL輪読会]近年のエネルギーベースモデルの進展
[DL輪読会]近年のエネルギーベースモデルの進展
[DL輪読会]Dream to Control: Learning Behaviors by Latent Imagination
[DL輪読会]Dream to Control: Learning Behaviors by Latent Imagination
PRML第6章「カーネル法」
PRML第6章「カーネル法」
SMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装する
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
TabNetの論文紹介
TabNetの論文紹介
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Similar to Deep sets
教師なしオブジェクトマッチング(第2回ステアラボ人工知能セミナー)
教師なしオブジェクトマッチング(第2回ステアラボ人工知能セミナー)
STAIR Lab, Chiba Institute of Technology
KDD2014 勉強会
KDD2014 勉強会
Ichigaku Takigawa
6 Info Theory
6 Info Theory
melvincabatuan
[DL輪読会]Encoder-Decoder with Atrous Separable Convolution for Semantic Image S...
[DL輪読会]Encoder-Decoder with Atrous Separable Convolution for Semantic Image S...
Deep Learning JP
DeepCas
DeepCas
Koichiro tamura
深層学習入門
深層学習入門
Danushka Bollegala
楕円曲線入門トーラスと楕円曲線のつながり
楕円曲線入門トーラスと楕円曲線のつながり
MITSUNARI Shigeo
Generative adversarial nets
Generative adversarial nets
Keisuke Hosaka
[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係について
Deep Learning JP
Learning Convolutional Neural Networks for Graphs
Learning Convolutional Neural Networks for Graphs
Takuya Akiba
Learning Convolutional Neural Networks for Graphs
Learning Convolutional Neural Networks for Graphs
Takuya Akiba
プログラミングコンテストでの乱択アルゴリズム
プログラミングコンテストでの乱択アルゴリズム
Takuya Akiba
Datamining 5th knn
Datamining 5th knn
sesejun
「現実世界に活かす数学」 (麻布高等学校、教養総合、数学講義 5 回目)
「現実世界に活かす数学」 (麻布高等学校、教養総合、数学講義 5 回目)
Kensuke Otsuki
ae-10. 中間まとめ(ディープラーニング)
ae-10. 中間まとめ(ディープラーニング)
kunihikokaneko1
130323 slide all
130323 slide all
ikea0064
ディープニューラルネット入門
ディープニューラルネット入門
TanUkkii
Thinking in Cats
Thinking in Cats
Eugene Yokota
演習II.第1章 ベイズ推論の考え方 Part 2.講義ノート
演習II.第1章 ベイズ推論の考え方 Part 2.講義ノート
Wataru Shito
Hierarchical and Interpretable Skill Acquisition in Multi-task Reinforcement ...
Hierarchical and Interpretable Skill Acquisition in Multi-task Reinforcement ...
Keisuke Nakata
Similar to Deep sets
(20)
教師なしオブジェクトマッチング(第2回ステアラボ人工知能セミナー)
教師なしオブジェクトマッチング(第2回ステアラボ人工知能セミナー)
KDD2014 勉強会
KDD2014 勉強会
6 Info Theory
6 Info Theory
[DL輪読会]Encoder-Decoder with Atrous Separable Convolution for Semantic Image S...
[DL輪読会]Encoder-Decoder with Atrous Separable Convolution for Semantic Image S...
DeepCas
DeepCas
深層学習入門
深層学習入門
楕円曲線入門トーラスと楕円曲線のつながり
楕円曲線入門トーラスと楕円曲線のつながり
Generative adversarial nets
Generative adversarial nets
[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係について
Learning Convolutional Neural Networks for Graphs
Learning Convolutional Neural Networks for Graphs
Learning Convolutional Neural Networks for Graphs
Learning Convolutional Neural Networks for Graphs
プログラミングコンテストでの乱択アルゴリズム
プログラミングコンテストでの乱択アルゴリズム
Datamining 5th knn
Datamining 5th knn
「現実世界に活かす数学」 (麻布高等学校、教養総合、数学講義 5 回目)
「現実世界に活かす数学」 (麻布高等学校、教養総合、数学講義 5 回目)
ae-10. 中間まとめ(ディープラーニング)
ae-10. 中間まとめ(ディープラーニング)
130323 slide all
130323 slide all
ディープニューラルネット入門
ディープニューラルネット入門
Thinking in Cats
Thinking in Cats
演習II.第1章 ベイズ推論の考え方 Part 2.講義ノート
演習II.第1章 ベイズ推論の考え方 Part 2.講義ノート
Hierarchical and Interpretable Skill Acquisition in Multi-task Reinforcement ...
Hierarchical and Interpretable Skill Acquisition in Multi-task Reinforcement ...
Recently uploaded
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
sugiuralab
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
Recently uploaded
(9)
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Deep sets
1.
Deep Sets 2018/1/13 NIPS 読み会 ABEJA,
Inc. 高橋智洋
2.
自己紹介 • 高橋智洋 • 所属:
ABEJA, Inc. • Github: takat0m0 • 好きな framework は tensorflow • 興味を持っていること • 学生時代 -> 一般相対論,特に black hole physics • 前のお仕事 -> 数理計画,特に混合整数計画問題 • 今のお仕事 -> 機械学習
3.
学生時代 • Einstein 方程式
を満たす4次元の擬リーマン多様 体を探すお話.通常対称性を課す. 二次元の球対称性を課すと Black hole 解が得られる. 空間的な一様等方性を課すと 宇宙の発展方程式を得られる. (https://en.wikipedia.org/wiki/Black_hole) (https://www.astrosociety.org/education/astronomy-resource-guides /cosmology-the-origin-evolution-ultimate-fate-of-the-universe/)
4.
前のお仕事 • 混合整数計画問題をやっていた. • 一般的な解法は
branch and bound • 興味を持っていたのは,対称性. • 例えば,変数 z_0 と z_1 を入れ替えても問題が変わらないことが分かっ た場合に,tree に調べる必要のない部分がある. • orbital branching という綺麗な手法が提案されていたりする. … … z_0 = 0 z_0 = 1 z_1 = 0 z_1 = 1 z_1 = 0 z_1 = 1
5.
今のお仕事 • 機械学習の research
に従事. • 機械学習においても,対称性でなんかできないかなぁ
6.
今日の論文 (以下,画像の引用はこの論文からしている.)
7.
概要 • Deep learning
において対称性がある系で対称性を保証するためには network などがどのような制限を受けるかを議論. • 2つのケースについて考えている. • Invariant model (今日は触れない.隠し slide 参照) • m個の input に対して scalar を返す関数が input の permutation に対して変わらない. • Equivariant model (今日の main の話) • 次の slide 以降で.
8.
Equivariant model • m
個の input に対して m 個の output がある • Input の permutation に伴って output も同じように permutation するようなケースを考える.
9.
例えば • Set anomaly
detection (仲間はずれ探し) Inputs Outputs ○ ○ ○ × この問題においては,equivariance が要求される.
10.
R^M,一層の場合 x_1 x_2 x_3 y_1 y_2 y_3 (x_i, y_i ∈
R) これを以下のように書くことにする. このとき,以下が成立する. f が permutation equivariance <=> (σは何らかの non-linear function)
11.
証明の前に • Permutation equivariance
は と書ける. • さらに,以下に注意すれば, x_1 x_2 x_3 y_1 y_2 y_3 (x_i, y_i ∈ R) これを以下のように書くことにする. (σは何らかの non-linear function)
12.
証明 前半 => • 任意の
permutation は 互換の積で書けるので,互換だけ見れば十分 • 互換が OK なのは例えば以下の例を見れば明らか.
13.
証明 後半1 => • まずは対角成分が一致することを確認. •
Permutation として (k, l) の互換を持ってくると,以下のように見れ ば, が言える. k l k l k l k l
14.
証明 後半2 => • 非対角成分の一致は二つの互換の積
を使えば良い . i i’ j j’ i i’ j j’ i i’ j j’ i i’ j j’
15.
拡張 -次元- x_1 x_2 x_3 y_1 y_2 y_3 (x_i, y_i
∈ R) x_1 x_2 x_3 y_1 y_2 y_3 (x_i ∈ R^D, y_i ∈ R^D’) D 次元 vector D’ 次元 vector • 同様に考えれば,次元も拡張できる.
16.
これを積み上げれば • この構造を積み上げれば,permutation equivariant
に M 個の D 次元 vector -> M 個の scalar 256次元 vector1 256次元 vector2 256次元 vector3 Scalar output1 Scalar output2 Scalar output3
17.
画像を入力としたければ • 「画像 ->
D 次元 vector」 という deep neural network を かませば良い.ただし,共有する必要あり. DNN DNN DNN 共有の DNN Scalar output1 Scalar output2 Scalar output3
18.
確率値としたければ • Softmax 層は
permutation equivariant probability1DNN DNN DNN 共有の DNN probability2 probability3 Softmax
19.
実験 • データ • CelebA
をベースに作成.このデータには各 figure に 40 種類の boolean 属性が付いてい る. • 16 枚 の1セットを 18,000 セット作成. • 各セットを作成する際に,属性を 2 つ random に選び,1つ目の属性を満たすものを 15 枚,もう一つの属性を満たすものを 1 枚選んでいる. • Train set に出てきている人は test set には出てこないようにしている. • Network • 先のやつと同じ. • Softmax は,仲間外れの入力番目が 1 となるように学習.
20.
実験結果 Test accuracy =
75% 程度
21.
比較実験結果 • 比較のために以下を行なった. • 同じデータ. •
permutation equivariant layer を対応する fully connected layer に 変更. • 結果は以下の通り. Test accuracy = 6.3% 程度 (random choice とほぼ同じ)
22.
まとめ • Permutation equivariance
という条件がある場合に network がどのよ うな制限を受けるかを見た. • 今後としては,別の条件の時にはどう制限を受けるのかが気になる. • 画像の回転に対して invariant な output を出力する network ? • Graph の node の permutation に対して invariant な output を出力 する network ? • Graph の対称性を detect できる Mackey’s algorithm まで絡んで くると面白そう.
23.
24.
Invariant Model • m
個の input に対して,scalar 量を返す関数を考える. • このとき,input の permutation に対して不変になるよう にしたい.
25.
Invariant Model • Wierstrass
の近似定理と対称式の基本定理を用いると先 の f は以下のような形で近似的に書ける. • このことは以下の network で表すことができる.
26.
Wierstrass の近似定理 • 有界閉集合上の連続関数は,任意精度で多項式近似でき る. •
この定理を使えば,invariant な関数は対称多項式で近似 できると考えられる.
27.
対称式の基本定理 • 任意の対称多項式は基本対称式系 の積の和で表すこ とができる. •
ここに基本対称式とは以下. …
28.
基本対称式の別表現 • 基本対称式は でも表すことができる. •
以上まとめると
29.
書き換えると • さらに, を用意すると •
以上より,
30.
31.
拡張1 -maxpooling- • Maxpooling
などは明らかに input の permutation に対して 同じ値を出力する.なので例えば以下の拡張は可能.
Download now