Recommended
More Related Content
What's hot
What's hot (20)
Similar to 深層学習(講談社)のまとめ 第８章
Similar to 深層学習(講談社)のまとめ 第８章 (14)
More from okku apot
Recently uploaded
Recently uploaded (8)
深層学習(講談社)のまとめ 第８章
- 1. ８． ボルツマンマシン
- 4. ８. ボルツマンマシン 仮に、⼿書き数字画像のようなデータ集合𝒙+, 𝒙-, 𝒙., ⋯ , 𝒙0を考える。そのとき、 その広がりは「数字」という制約がある分だけベクトルxの空間全体に広がっては いないことが分かる。この「偏り」を表現するために個々のデータが未知の 確率分布𝑝"(𝑥)に従って⽣成されていると考える。 真の𝑝"(𝑥)は分からないため、分布を表す適当な関数p (𝑥|𝜃)を⽤意し、このパラメータ θを変動させることによって真の分布に近づけることを考える。 パラメータθはデータから求めるが、⼀般的にはモデル分布p (𝑥|𝜃)からデータ集合が ⽣成されたとするときに最も尤もらしいθを推定値に選ぶ最尤推定を⽤いる。 仮に同⼀のp (𝑥|𝜃)からデータが独⽴に⽣成しているとすると、以下の尤度関数を 最⼤化するθを推定値として選択する。 𝐿 𝜃 = 3 p (𝑥4|𝜃) 0 45+ ・データの⽣成モデル
- 5. ８. ボルツマンマシン 右図のような無向グラフを考える。各ユニットは ０か１の２種類の値を状態としてとる⼆値ユニットで ある。ボルツマンマシンとは、各ユニットがとる状態を 確率変数として⾒なしたときにグラフにあるM個の ユニットすべての状態𝒙 = [𝑥+ ⋯ 𝑥7]が次の確率分布で 与えられるものである。 𝑝 𝒙 𝜽 = 1 𝑍(𝜽) exp {−Φ 𝒙, 𝜽 } Φ 𝒙, 𝜽 はエネルギー関数と呼び、以下のように定義される。 Φ 𝒙, 𝜽 = − B 𝑏D 𝑥D 7 D5+ − B 𝑤DF 𝑥D 𝑥F (D,F)∈I ・ボルツマンマシン 𝑥- 𝑥J 𝑥+ 𝑥. 𝑥K
- 6. ８. ボルツマンマシン 𝜀はグラフのユニット間の結合（エッジ）で、θは重み𝑤DFとバイアス𝑏Dである。 𝑍(𝜽)はモデル分布が条件∑ 𝑝 𝒙 𝜽𝒙 = 1を満たすための規格化定数で、 𝑍 𝜽 = B ⋯ B exp {−Φ 𝒙, 𝜽 } NO5P,+NQ5P,+ と定義され、分配関数と呼ぶ。 また、𝑝 𝒙 𝜽 の形の分布をボルツマン分布またはギブス分布と呼ぶ。この分布の 具体的な形はエネルギー関数によって決まり、エネルギー関数が⼩さい状態ほど ⽣起しやすい状態ということになる。 このモデル分布𝑝 𝒙 𝜽 が真の分布に最も近くなるように最尤推定を⾏う。今回は 尤度関数𝐿 𝜃 を最⼤化する代わりに対数尤度関数log 𝐿 𝜃 を最⼤化する。 ・ボルツマンマシンの学習
- 7. ８. ボルツマンマシン 対数尤度関数は log 𝐿 𝜽 = B log 𝑝 𝒙4 𝜽 = B{−Φ 𝒙4, 𝜽 − 𝑙𝑜𝑔𝑍 𝜽 } 0 45+ 0 45+ を最⼤化する。この関数のバイアスと重みに関する勾配はそれぞれ 𝜕log 𝐿 𝜽 𝜕𝑏D = B 𝑥4D − 𝑁𝐸[[𝑥D] 0 45+ 𝜕log 𝐿 𝜽 𝜕𝑤DF = B 𝑥4D 𝑥4F − 𝑁𝐸[[𝑥D 𝑥F] 0 45+ と表せる。𝑥4Dと𝑥4Fはそれぞれ𝒙4のi成分とj成分を表す。 𝐸[[]は𝜽を指定した モデル分布に関する期待値で、 𝐸[ 𝑥D = B 𝑥D 𝑝(𝒙|𝜽) 𝒙 𝐸[ 𝑥D 𝑥F = B 𝑥D 𝑥F 𝑝(𝒙|𝜽) 𝒙 である。
- 8. ８. ボルツマンマシン 表記を簡潔にするために経験分布 𝑞 𝑥 = 1 𝑁 B 𝛿(𝒙, 𝒙4) 0 45+ を導⼊する。 𝛿()は次のように定義される。 𝛿 𝒙, 𝒚 = ` 0 𝒙 ≠ 𝒚 1 𝒙 = 𝒚 これによって 1 𝑁 B 𝑥4D 𝑥4F 0 45+ = B 𝑥D 𝑥F 𝑞(𝒙) 𝒙 と経験分布の期待値で表せる。ここで経験分布の期待値を cded、モデル分布の 期待値を fgchiとすると勾配の式は以下のように表せる 1 𝑁 𝜕log 𝐿 𝜽 𝜕𝑏D = 𝑥D cded − 𝑥D fgchi 1 𝑁 𝜕log 𝐿 𝜽 𝜕𝑤DF = 𝑥D 𝑥F cded − 𝑥D 𝑥F fgchi
- 9. ８. ボルツマンマシン ボルツマンマシンの勾配法ではモデル分布の期待値の計算が含まれているが、これは ユニット数の増加とともに爆発的に増えていき、困難である。 そこで、あるパラメータθが与えられたときのモデル分布からxをサンプルし、それを 使って計算の難しい期待値を近似的に求めることを考える。⼀般的には多変数の 確率分布からサンプルをとるのは難しいが、ボルツマンマシンでは局所マルコフ性と 呼ばれる性質からこのギブスサンプリングと呼ばれる⼿法を⽤いることができる。 ここで、ユニット i 以外の全ユニットの変数を並べたベクトルを𝒙jDと書き、 𝒙jDの 値を指定したときの変数𝑥Dの分布を考えると、 𝑝 𝑥D 𝒙jD, 𝜽 = 𝑝(𝒙, 𝜽) ∑ 𝑝(𝒙, 𝜽)Nk5P,+ と表せる。 ・ギブスサンプリング
- 10. ８. ボルツマンマシン また、書き換えると 𝑝 𝑥D 𝒙jD, 𝜽 = 𝑒𝑥𝑝 𝑏D + ∑ 𝑤DF 𝑥FF∈0k 𝑥D 1 + 𝑒𝑥𝑝 𝑏D + ∑ 𝑤DF 𝑥FF∈0k と表せる。ただし𝑁Dはユニット i と結合を持つユニットの集合。このように、 ユニット i 以外の全ユニットの状態を指定した条件付き分布は𝑁Dのユニットのみの 状態を指定した条件付き分布で与えられる。このため、与えられた𝒙jDを元に 確率𝑝 𝑥D = 1 𝒙jD, 𝜽 を計算し、区間[0,1]の⼀様乱数を⽣成し、その値がこの確率を 下回れば𝑥D = 1、そうでなければ０とすることで𝑝 𝑥D 𝒙jD, 𝜽 の分布にしたがう𝑥Dを 得られる。ギブスサンプリングではこの変数𝑥Dのサンプリングを各変数（𝑖 = 1, … , 𝑀) について繰り返し⾏うことで元の同時分布𝑝 𝒙 𝜽 に従うｘの値をサンプルする。 具体的にはまず、各成分をランダムに決めて初期化し𝒙(P)とする。その後、各成分 𝑥Dについて𝑖 = 1, … , 𝑀の順に上述のサンプリングを⾏い、⼀巡したらまた初めから 同じことを繰り返す。
- 11. ８. ボルツマンマシン なお、ｔ巡⽬の𝑥D (e)は 𝑝 𝑥D 𝑥+ (e), … , 𝑥Dj+ e , 𝑥Dq+ ej+ , … , 𝑥7 (ej+) からサンプルする。 tを⼗分に⼤きくとると、得られる𝒙(e)はモデル分布𝑝 𝒙 𝜽 に従うことが知られている。 また、ｔが⼩さい間はその精度は⼗分ではない。また、複数のサンプルを得るためには t巡⽬とt’巡⽬の間隔は⼗分空ける必要がある。 ギブスサンプリングは精度を⾼めるためにｔを⼗分⼤きくとる必要があるため、 計算コストの⾼い⼿法だが、 𝑝 𝒙 𝜽 に従う変数を⽣成することのできる貴重な⼿法で ある。これによって、分布に関する期待値や周辺分布などを近似的に計算できる。
- 12. ８. ボルツマンマシン これまではグラフのユニットの全状態がデータｘの 全成分と対応する場合のみを扱ってきたが, これからはグラフに直接データと関係しない ユニットを持つ場合を考える。 前者を可視変数 𝒗 と表し、後者を隠れ変数 𝒉 と表す。 隠れ変数は外部から⾒ることができず、可視変数だけ が観測できる。また、この２つを組み合わせて１つの ベクトルを作る。例えば𝒛 = 𝑧+, 𝑧-, 𝑧., 𝑧J, 𝑧K v = 𝑣+, 𝑣-, 𝑣., ℎ+, ℎ- vと表す。 すると、エネルギー関数は Φ 𝒗, 𝒉, 𝜽 = Φ 𝒛, 𝜽 = − B 𝑏D 𝑧D D − B 𝑤DF 𝑧D 𝑧F D,F と表現できる。 ・隠れ変数を持つボルツマンマシン ℎ+ ℎ- ℎ.𝑣- 𝑣. 𝑣J 𝑣+ 𝑣+
- 13. ８. ボルツマンマシン 全ユニットの状態は、確率分布 𝑝 𝒗, 𝒉 𝜽 = 𝑝 𝒛 𝜽 = 1 𝑍(𝜽) exp {−Φ 𝒛, 𝜽 } によって定義される。 隠れ変数を持つボルツマンマシンは⼀般に⾼い⾃由度を持ち、より複雑なデータの ⽣成分布を⾼い精度で近似することができ得る。実際に隠れ変数の数を⼗分に ⼤きくとればどんな分布も表現できることが証明されている。 隠れ変数を持たない場合と同様に、最尤推定によって学習を⾏う。まず、モデルに データと関係ない隠れ変数ｈが含まれているため、以下のように周辺化する。 𝑝 𝒗 𝜽 = B 𝑝 𝒗, 𝒉 𝜽 𝒉 ・隠れ変数を持つボルツマンマシンの学習
- 14. ８. ボルツマンマシン 対数尤度関数は log 𝐿 𝜽 ∝ 1 𝑁 B log B exp {−Φ(𝒗4, 𝒉, 𝜽 𝒉 } − log 𝑍(𝜽) 0 45+ と定義される。この式を𝜽で微分する。右辺 内の第１項を𝑤DFで微分すると 𝜕 log ∑ exp {−Φ(𝒗, 𝒉, 𝜽𝒉 } 𝜕𝑤DF = B 𝑧D 𝑧F 𝑝(𝒉|𝒗, 𝜽) 𝒉 とできる。また、バイアスも同様に求められる。 ここで、重みの場合について経験分布の期待値で書き換えると 𝜕log 𝐿 𝜽 𝜕𝑤DF ∝ 𝑧D 𝑧F cded − 𝑧D 𝑧F fgchi と表せる。ここで、期待値 cdedは 𝑔(𝒗, 𝒉) cded = B B 𝑔 𝒗, 𝒉 𝑝 𝒗 𝒉, 𝜽 𝑞(𝒗) 𝒉𝒗 である。バイアスに関しても同様に導出できる。
- 15. ８. ボルツマンマシン 隠れ変数のもつボルツマンマシンで、隠れ変数のユニットと可視変数のユニット間 のみに結合があり、隠れ変数同⼠や可視変数同⼠では結合を持たないものを 制約ボルツマンマシンという。 ここで、可視ユニットをインデックス i ,隠れユニットをインデックス j とすると エネルギー関数は Φ 𝒗, 𝒉, 𝜽 = − B 𝑎D 𝑣D D − B 𝑏FℎF F − B B 𝑤DF 𝑣DℎF FD と⽰される。また、構造は下図。 ・制約ボルツマンマシン（RBM） 𝑣+ 𝑣- 𝑣. 𝑣J 𝑣K ℎ+ ℎ- ℎ.
- 16. ８. ボルツマンマシン ここで、可視変数を指定したときの隠れ変数の条件付き分布は 𝑝 𝒉 𝒗, 𝜽 = 3 𝑝 ℎF 𝒗, 𝜽 F 𝑝 ℎF 𝒗, 𝜽 = 𝑒𝑥𝑝 𝑏F + ∑ 𝑤DF 𝑣DD ℎF 1 + 𝑒𝑥𝑝 𝑏F + ∑ 𝑤DF 𝑣DD と表せる。この式から分かるように、隠れユニットは他の隠れユニットの状態から 独⽴であり、可視変数をすべて指定すると隠れ変数の確率分布は個別に定まる。 反対に隠れ変数をすべて指定すると可視変数の分布が定まる。 ℎF = 1となる確率はロジスティック関数で表せる 𝑝 ℎF = 1 𝒗, 𝜽 = 𝜎 𝑏F + B 𝑤DF 𝑣D D 反対に、 𝑣D = 1となる確率もロジスティック関数で表せる 𝑝 𝑣D = 1 𝒉, 𝜽 = 𝜎 𝑎D + B 𝑤DFℎF F ２値の変数が確率pで１を１－ｐで０をとるとき、この変数の分布をベルヌーイ分布 と呼ぶ。このため、このRBMをベルヌーイRBMと呼ぶ。
- 17. ８. ボルツマンマシン RBMのパラメータ学習も最尤推定を⽤いて⾏う。隠れ変数の条件付き分布の独⽴性か ら、各微分は以下のように表せる。 𝜕log 𝐿 𝜽 𝜕𝑤DF = 1 𝑁 B 𝑣4D 𝑝 ℎF = 1 𝒗4 0 45+ − B 𝑣DℎF 𝑝(𝒗, 𝒉|𝜽) 𝒗,𝒉 𝜕log 𝐿 𝜽 𝜕𝑎D = 1 𝑁 B 𝑣4D 0 45+ − B 𝑣D 𝑝(𝒗, 𝒉|𝜽) 𝒗,𝒉 𝜕log 𝐿 𝜽 𝜕𝑏F = 1 𝑁 B 𝑝 ℎF = 1 𝒗4 0 45+ − B ℎF 𝑝(𝒗, 𝒉|𝜽) 𝒗,𝒉 また、期待値を⽤いて表すと ∆𝑤DF = 𝜖 𝑣DℎF cded − 𝑣DℎF fgchi ∆𝑎D = 𝜖 𝑣D cded − 𝑣D fgchi ∆𝑏F = 𝜖 ℎF cded − ℎF fgchi と⽰される ・RBMの学習
- 18. ８. ボルツマンマシン また、これまでのBM同様に期待値の計算は困難であるが、可視ユニットと 隠れユニット同⼠が結合を持たないことからブロックサンプリングと呼ばれる⼿法 を⽤いて効率化を図ることができる。 具体的には、まず𝒗にランダムな初期値𝒗(P)をセットする。次に前述の式を⽤いて 𝑝F ≡ 𝑝 ℎF = 1 𝒗(P) の値を算出し、２値の ℎF をサンプルする。このサンプリングを各 j について順に⾏い、 得られた２値ベクトルを𝒉(P)とする。次に今度はこれをもとに 𝑝D ≡ 𝑝 𝑣D = 1 𝒉(P) の値を算出し、２値ベクトル𝒗(+)を求める。この⼿続きを 𝒗(P) → 𝒉(P) → 𝒗(+) → ⋯ → 𝒗(v) → 𝒉(v) のように繰り返す。⼗分に⼤きなTに対する𝒗(v)と𝒉(v)は、𝑝 𝒗, 𝒉 𝜽 をサンプルした ものに近くなることが保証されている。
- 19. ８. ボルツマンマシン ギブスサンプリングは⼗分な精度を得るために反復回数Tを⼤きくする必要があり、 かなりの計算コストを要するが、⼿順をわずかに修正することで⼩さいTでも 良い更新量を計算できる。その⼿法をコントラスティブダイバージェンスと呼ぶ。 ⼿順としては、最初に可視ユニットにセットする𝒗(P)を訓練サンプル𝒗(P) = 𝒗4とし ギブスサンプリングと同じ隠れ変数と可視変数のサンプリングをT回繰り返す。 Tは通常⼩さく、T=1でも問題ない。こうして得た𝒗(v)、 𝒉(v)を使って期待値の 近似を⾏う。 ここまでは、パラメータの⼀度の更新にN個の訓練サンプルすべてを⽤いていたが、 ミニバッチ単位での更新を繰り返す⼿法が有効である。ミニバッチ単位での更新 の際は、ミニバッチに含まれるサンプル１つ１つを𝒗(P) ≡ 𝒗4とセットして 𝒗(v)、 𝒉(v)を得る。 ・コントラスティブダイバージェンス
- 20. ８. ボルツマンマシン その後各パラメータを ∆𝑤DF = 𝜖 𝑣D (P) 𝑝F (P) − 𝑣D (v) 𝑝F (v) ∆𝑎D = 𝜖 𝑣D (P) − 𝑣D (v) ∆𝑏F = 𝜖 𝑝F (P) − 𝑝F (v) と更新する。この右辺の値の平均を各パラメータの更新量とする。 よりギブスサンプリングに近いやり⽅で近似を求めるCDの改良⼿法。毎回新しい 訓練サンプル𝒗4を起点にするのではなく、前回のパラメータ更新時にサンプルした 𝒗を起点に𝒉と𝒗のサンプルを⾏って期待値を求める。また、PCDでは cdedの評価と fgchiの評価を独⽴に⾏う。 ・持続的CD（PCD）
- 21. ８. ボルツマンマシン これまでは状態が０と１の２値をとる⼆値ユニットのみを考えてきたが、それ以外の 値をとるユニットについて、以下の２つを考える。 ・ガウシアンユニット ・ReLU ⼆値だけでなく連続値をとれるユニットとして考案された。今回はこのユニットを 可視層に使い、隠れ層は⼆値ユニットのままにしたガウシアン・ベルヌーイRBMに ついて考える。エネルギー関数は以下のように定義される。 Φ 𝒗, 𝒉, 𝜽 = − B 𝑣D − 𝑎D - 2𝜎D - D − B 𝑏FℎF F − B B 𝑤DF FD 𝑣D 𝜎D ℎF は後述するガウス分布（正規分布）の標準偏差である。 ・その他のユニット ・ガウシアンユニット
- 22. ８. ボルツマンマシン ガウシアン・ベルヌーイRBMでは、可視変数𝑣Dの条件付き分布は以下のように 計算される 𝑝(𝑣D|𝒉) ∝ exp − 𝑣D − 𝑎D − ∑ 𝑤DFℎFF - 2𝜎D - すなわち、可視変数𝑣Dは平均𝑎D + ∑ 𝑤DFℎFF 、分散𝜎D - のガウス分布に従う。隠れ変数は これまでのRBMと同様。𝜎Dは未知のパラメータとして最尤推定することも可能だが、 訓練データの平均を０、分散を１とする正規化を⾏った上で𝜎D = 1と固定するのが ⼀般的。パラメータの更新式は以下のようになる。 ∆𝑤DF = 𝜖 𝑣D (P) 𝑝F (P) − 𝑝D (v) 𝑝F (v) ∆𝑎D = 𝜖 𝑣D (P) − 𝑝D (v) ∆𝑏F = 𝜖 𝑝F (P) − 𝑝F (v)
- 23. ８. ボルツマンマシン 同⼀のパラメータを持つ複数の⼆値ユニットによって表現される⼆項ユニットを 考える。⼆項ユニット内の⼆値ユニットは重みとバイアスを共有しており、同⼀の ⼊⼒を受け取るため状態の条件付き確率pは全く同じだが、個々のユニットの状態は あくまで確率的に決まる。⼆項ユニットの状態はこれらの⼆値ユニットの状態の和と して定義される。K個の⼆値ユニットで表現するとき、⼆項ユニットの状態の 期待値は𝐾𝑝 、分散は𝐾𝑝(1 − 𝑝)である。 この⼆項ユニットを拡張したのが正規化線形ユニット（Rectified Linear Unit）である。 無限の⼆値ユニットによって表現し、かつそれぞれのユニットのバイアスに 異なるオフセットを加算する。 ReLUの期待値は、各⼆値ユニットが状態１をとる条件付き確率の和 B 𝜎(𝑥 − 𝑖 + 0.5) D で表せる。xは各ユニットが受け取る総⼊⼒ ・ReLU
- 24. ８. ボルツマンマシン ReLUの期待値は以下のように近似できる。 B 𝜎(𝑥 − 𝑖 + 0.5) D ≈ log (1 + 𝑒N) このことから、ReLUの状態は総⼊⼒xに対して決まるlog (1 + 𝑒N)にノイズを 加算し、整数化したものとみなせる。ノイズを加算するのは、期待値を⽤いるため 実現値は⼀定の分散𝜎(𝑥)を伴ってばらつくため。 実際に状態を前述の⽅式で求めると計算コストが⼤きくなるため、 log (1 + 𝑒N)を 正規化線形関数で近似することで状態を max (0, 𝑥 + 𝑁 0, 𝜎 𝑥 ) と表すことによって求める。
- 25. ８. ボルツマンマシン ユニットを右図のように層状に並べ、最上位層のみ 層間を無向エッジで結び、それ以外の層を有効エッジ で結んだ構造を持つ。上位層から下位層へと情報が 伝達され、最下位の可視層の状態が決定される。 ⼊⼒データを可視層にセットしたときに最上位層の 状態をそのデータを表現とみなし、クラス分類などの 推論に⽤いられる。 DBNの全ユニットの同時確率分布は 𝑝 𝒉 P , ⋯ , 𝒉 ‡ ; 𝜽 = 3 𝑝(𝒉 i | 𝒉 iq+ ) ‡j- i5P 𝑝 𝒉 (‡j+) , 𝒉 (‡) ・ディープビリーフネットワーク（DBN） 𝒉(.) 𝒉(-) 𝒉(+) 𝒗 𝑾(.) 𝑾(-) 𝑾(+) （𝒉(P) ）
- 26. ８. ボルツマンマシン ここで、有効エッジで結ばれている部分の条件付き分布は 𝑝 𝒉 i D = 1 𝒉 iq+ = 𝜎 𝑏D (i) + B 𝑤DF (iq+)ℎF (iq+) F と与えられる。𝑝(𝒉 ‡j+ , 𝒉 ‡ )はRBMの分布関数と同じ。 DBNは隠れ変数間に結合があり、総数が多いため𝑝(𝒉|𝒗)の計算は容易ではない。 そこで、隣接層間での条件付き分布を以下のように近似する。 𝑝 ℎ i F = 1 𝒉 ij+ = 𝜎 𝑏F (i) + B 𝑤DF (ij+)ℎF (ij+) D これを⽤いて、𝒉 P = 𝒗とし𝑙 = 1, … , 𝐿の順に状態を計算する。 DBNの学習は多層順伝播型ネットワークと同様に、事前学習を⾏う。 与えられたデータ𝒗+, … , 𝒗4に対して、１番下の層のパラメータを単体のRBMと⾒て 最適化する。次に求めたパラメータを⽤いて、データそれぞれに対する𝑙 = 1層 の状態を⽣成し、その１つ上の層のパラメータを𝑙 = 1と𝑙 = 2を単体のRBMとみなして 最適化する。これを繰り返して事前学習を⾏う。
- 27. ８. ボルツマンマシン ・ディープボルツマンマシン DBNの有効エッジをすべて無向エッジで置き換えた構造 を持ち、RBMを積み重ねた構造であるボルツマンマシン をディープボルツマンマシンと呼ぶ。 DBMはDBN同様に最下層が可視層である。 また、隠れ層が２つあるDBMのエネルギー関数は Φ 𝒗, 𝒉(+), 𝒉(-) = − B 𝑎D 𝑣D D − B 𝑏F + ℎF + F − B B 𝑤DF + 𝑣DℎF + FD − B 𝑏Š - ℎŠ - Š − B B 𝑤FŠ - ℎF + ℎŠ - ŠF と表せる。DBMでは、隠れユニット間に相互結合があるため、各ユニットの状態 の条件付き分布を計算することはできない。そこで平均場近似を⽤いる。
- 28. ８. ボルツマンマシン 平均場近似とは、変数間に依存関係があるグラフィカルモデルに対して、それらの 変数が互いに独⽴であると仮定して、各変数の周辺分布を近似的に計算する⼿法。 ２層の隠れ層を持つDBMを例にとると、条件付き分布𝑝 𝒉(+), 𝒉(-)|𝒗 を以下の 𝑞 𝒉(+), 𝒉(-)|𝒗 = 3 𝑞 ℎF (+) |𝒗 F 3 𝑞 ℎŠ (-) |𝒗 Š 分布で近似する。この近似分布は違う層の隠れ変数が互いに独⽴であることを表す。 平均場近似では、最もにKDダイバージェンスの近い近似分布を求める。 今隠れ変数はニ値をとるので、各隠れ変数の分布はそれが１である確率 𝜇F (i) = 𝑞(ℎF (i) = 1|𝒗) によって完全に表現される。つまり、近似が最も正確になるようなパラメータ𝜇F (i) を 決めればよい。
- 29. ８. ボルツマンマシン 具体的には、以下の固定点⽅程式を繰り返し計算し、 𝜇F (i) が収束するまで計算する。 𝜇F (i) = 𝜎 𝑏F (i) + B 𝑤DF (i) 𝜇D (ij+) D + B 𝑤FŠ (iq+) 𝜇Š (iq+) Š DBMの学習はDBNと同様に層ごとの事前学習とその後の微調整の２段階で⾏われる。 ただし、隠れ層での条件付き分布が修正され、 𝑙 = 1のときは今まで通りであるが、 中間層は 𝑝 ℎ i F = 1 𝒉 ij+ = 𝜎 𝑏F (i) + 2 B 𝑤DF (i)ℎD (ij+) F と修正される。これはDBMが上下の層から影響を受けるためである。 微調整においては、これまでと同様に勾配降下法を⽤いる。 𝑝 𝒉 𝒗 の計算には平均場 近似を⽤いて計算し、サンプル１つの勾配において各項は以下のように求められる。 𝑧D 𝑧F cded = −𝑣D 𝜇F i 、 𝑧D cded = −𝑣D、 𝑧F cded = −𝜇F i 𝑧D 𝑧F fgchi はRBM同様にCDによって計算する