Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

深層学習オートエンコーダー

2,894 views

Published on

MLPシリーズ深層学習輪講会「オートエンコーダー」後半のスライド

Published in: Data & Analytics
  • Login to see the comments

深層学習オートエンコーダー

  1. 1. MLP深層学習 自己符号化器 後半 曽和 修平
  2. 2. 前提知識 [対角行列] 対角成分以外が0の正方行列 [対称行列] 自身の転置行列と一致するような正方行列 [共分散行列] 対角成分に分散、それ以外の部分に共分散が並ぶ行列
  3. 3. 前提知識(2) [直交行列] 転置行列と逆行列が等しくなる正方行列 AT A = AAT = I が成り立つ [固有値,固有ベクトル] 正方行列Aに対して が成り立つ時xを固有ベクトル,λを固有値という 固有ベクトルはあるベクトルAの方向は変えず大きさだけ変 えるような線形変換を施すベクトル 固有値はその変換倍率を表している
  4. 4. 白色化
  5. 5. 白色化とは • 成分間の相関をなくす処理
 
 • 自己符号化器が良い特徴を学習できるかどうかに大き く影響する可能性
  6. 6. 成分間の相関をなくすとは?(1) • 特徴量としてテストの点数
 (国語,算数,理科,社会,英語)をとるとする 国語の点数が高い人は英語の点数も高い傾向がある 相関あり 白色化は任意の2成分間で相関をなくす処理
  7. 7. 成分間の相関をなくすとは?(2) • 任意の2成分間で相関を0に • 共分散行列の非対角成分を全て0にする 1成分と3成分間の分散
  8. 8. 具体的な考え方 • 考え方 データに対してある線形変換Pを施す 施した後のデータの共分散行列の非対角成分が0に
 なっている このような変換行列Pを見つけ出せば良い
  9. 9. 線形変換Pの導出(1) • ここまでを数式化する ・データXの共分散行列
 (データは各成分の平均値を引いた状態) ・線形変換Pを施した後のデータu ・線形変換Pを施した後のデータの共分散行列
  10. 10. 線形変換Pの導出(2) • ΦU が対角行列に成ることが目標 • ここで、目標とする対角行列をI(=単位行列)にする 変換には を用いている
  11. 11. 線形変換Pの導出(3) • ΦXは固有ベクトルの定義に従って下記に分解できる 固有ベクトルの定義 E・・固有ベクトルを列ベクトルに持つ行列 D・・固有値を対角に並べた対角行列 E−1 AE = D Aが対称行列,エルミート行列の時Eは直交行列
 になることが知られている Φxは対称行列なので、Eは直交行列
  12. 12. 線形変換Pの導出(4) PT P = Φ−1 XΦ−1 X = ED−1 ET と を用いて の逆行列を求める Qは任意のPと同じサイズの直交行列 Qの任意性の分だけPは無数に存在 対称行列の逆行列も対称行列
 よって、Pは対称行列なので
 P P^t = P^2 Pt P = ED−1 ET , P2 = ED−1 ET , P = ED−1/2 ET
  13. 13. 線形変換Pの例 ・PCA白色化 共分散行列の固有ベクトルを用いる事から
 主成分分析と似ているためこう呼ばれる Q = I ・ZCA白色化 Pが対称行列になっていることから、
 ゼロ位相白色化(ZCA白色化)とよぶ。 Q = E
  14. 14. PCA白色化とZCA白色化の違い ・以下はPCA白色化とZCA白色化のPの行ベクトルを画像化し たもの (引用)http://stats.stackexchange.com/questions/117427/what-is-the-difference-between-zca-whitening-and-pca-whitening (ZCA) フィルタ部分とその他の部分の画素の
 差を強調するようになっている
 (オンセンタと呼ばれる) (PCA) 高周波成分を強調するようになっている。 元画像とは全く違う見た目になる。
  15. 15. PCA白色化とZCA白色化の違い PCA白色化 ZCA白色化 元画像
  16. 16. ディープネットの事前学習
  17. 17. 概要 • 勾配消失問題のため多層の順伝搬型ネットワークは学 習が難しい • 順伝搬型ネットワークでは学習開始時の重みはランダム で初期化 • 学習開始時の重みをもっと良い値で初期化してやれば 学習がうまくいく(経験則)
 =積層自己符号化器
  18. 18. 積層型自己符号化器の構築 W 2 W 3 W 4 この多層順伝播型ネットワークの重みを事前学習する
  19. 19. 積層型自己符号化器の構築(2) (1)1層ずつに分割し、それぞれを自己符号化器とみなして 教師なし学習を行う W 2 W 3 W 4 Z 2 Z 3 Z 4 ここで得られる重みW2~4とバイアスb2~4が初期値となる
  20. 20. 積層型自己符号化器の構築(3) W 2 in (補足) out この層が次のネットワークの 入力 自己符号化器に分割した状態 W’ 2
  21. 21. 積層型自己符号化器の構築(4) (2)学習した重みW2~W4とバイアスb2~b4に初期化した ネットワークを構築する ただし、最後にランダムに初期化した層を1層追加する W 2 W 3 W 4 W 5
  22. 22. その他の自己符号化器
  23. 23. その他の自己符号化器 • 多層自己符号化器
 これまでの自己符号化器は単層であったが、それを
 多層にしたもの
 勾配消失問題のリスクが伴う
 • デノイジング自己符号化器
 学習に確率的な要素を取り入れ性能を向上したもの
  24. 24. 多層自己符号化器 W W’ 単層 W 2 W 3 W’ 3 W’ 2 多層
  25. 25. デノイジング自己符号化器 ・ノイズを除去する能力を備えた特徴を得る事が期待できる 
 ・ネットワークの構築方法は全く同じ ・入力と出力(教師)のデータにノイズを加える ・誤差関数を復号化したx’と元のサンプルxの差にする
  26. 26. デノイジング自己符号化器 (出力) ・活性化関数が恒等写像なら (誤差関数) ・シグモイド関数なら ˆx(ˆx) = ˆf( ˆWf(W ˆx + b) + ˆb) 二乗誤差 交差エントロピー ||ˆx(ˆx) − x||2 C(ˆx(ˆx), x)
  27. 27. ノイズの例 ・ガウシアンノイズ 平均x,分散σ^2のガウス分布に従う値を加算する ・マスク状のノイズ 適当な割合で要素をランダムに選出し,0にする ・ソルト&ペッパーノイズ 適当な割合で要素をランダムに選出し,上限値or下限値
 どちらかにランダムでする

×