Recommended
More Related Content
Similar to Prml12-2
More from Tsukasa Fukunaga
More from Tsukasa Fukunaga (9)
Recently uploaded
Recently uploaded (9)
Prml12-2
- 1. PRML 第12章 連続潜在変数 後半 東京大学 大学院新領域創成科学研究科 情報生命科学専攻 博士一年 福永 津嵩
- 2. 前半の復習 • 主成分分析 – D次元の観測変数をM次元の空間に直行射影 する事 • 確率的主成分分析 – M次元の潜在変数を線形変換してD次元の観 測変数を生成するというモデル – 確率モデルを用いて定式化することで、EMア ルゴリズムを用いて解を求める事が出来る
- 3. 次元Mをどのように決めるか？ • 可視化が目的 – M = 2 • データ集合の固有値スペクトルをプロッ トし、境目を見いだす – よくわからない事も多い • クロスバリデーション – 計算時間が大変 • ベイズ的に取り扱う事で、モデル選択を 行うのが自然
- 4. ベイズ的主成分分析 • Wの各列ベクトルに対して、独立なガウス 分布を事前分布として設定 • パラメーターを最適化していくと、いく つかの は無限大となるため、 が0とな る – 次元が自動的に決定される – 関連度自動決定(第7章参照)
- 5. パラメーターの推定 • 周辺尤度 • ラプラス近似(第4章)後に周辺尤度を最大 化 • パラメーターをEMアルゴリズムで再推定 (Mステップのみ変化) • 反復
- 6. 因子分析と主成分分析 • 観測変数の出力分布の共分散行列を、等 方的でない対角行列にしたモデルを、因 子分析という • 主成分分析とは異なり、データの共分散 構造を考える事が出来る。 • 解は主成分分析とは異なり閉じた解では 求まらず、EMアルゴリズムを用いる必要 がある。(詳細は略)
- 7. 使い分け？ • ネットで調べると出てくる「主成分分析 と因子分析の違い」は、独立因子の解釈 に重点を置いているため、数理的に多分 問題がある。 – 回転普遍性による識別不可能性 • 「潜在変数空間の形に興味がある」 – とは？
- 8. カーネル主成分分析 • カーネル化する事で非線形性を取り扱う 事が出来る(第６章) • N×N行列の固有ベクトルを見いだす必要 がある→近似手法の開発 • 初めに、データ集合の平均が0であると仮 定してカーネル主成分分析を導く
- 13. 独立成分分析 • 潜在変数がガウス分布に従う時、独立因 子を見いだす事は出来ない – 潜在変数空間の回転が尤度関数に取って不変 なため • よく使われる分布 • 潜在変数と観測変数が一致せず、ノイズ が含まれているとするモデル→独立因子 分析
- 15. 自己連想ニューラルネットワーク 隠れユニットが一層であるとき、活性化 関数を非線形としても、非線形主成分分析 にはならない。非線形主成分分析を行うた めには、ユニットを多層化する必要があ る。
- 16. 混合確率主成分分析 • K-meansなどでクラスタリングし、デー タを局所的に分割した後に主成分分析、 因子分析 • 確率モデル化→混合確率主成分分析、混 合因子分析 • 変分推定によりベイズ的な取り扱いが可 能
- 17. 主成分曲線 • 主成分分析→二乗和誤差最小の線形部分 空間を見いだす • 主成分曲線→二乗和誤差最小の非線形曲 線を見いだす • 曲線は弧長をパラメーターとして採用す る • 多次元への拡張は難しい
- 18. 多次元尺度構成法 • ２個のデータ点間の距離を保存するよう に、距離行列の固有ベクトルを求め、射 影行列を見いだす • ユークリッド距離なら主成分分析と等し い • 可視化が目的として使われる • MDSと略される
- 20. 等長特徴写像 • 測地線距離を用いたMDS • Ex) 弦の長さではなく弧長 • 近傍点をつないだ近傍グラフを構成し、 最短経路に沿って弧長を求める
- 21. 潜在特性モデル • 潜在変数が連続で観測変数が離散である モデル • 潜在変数の周辺化は解析的に難しく洗練 された手法が必要らしい • やはりデータ集合の可視化に用いられる
- 22. 密度ネットワーク • ニューラルネットワークを用いて、潜在 変数の分布を非線形に変換 • 尤度関数が求められない→サンプリング によるモンテカルロ積分を行い擬似的に 尤度を求める • 計算が大変
- 23. 自己組織化マップ(SOM) • ２次元の離散的な格子を考える、各点は 入力ベクトルと同次元のベクトルを持つ • 入力ベクトルが与えられると、その近傍 の点が学習を行う。 • 訓練が進むと、最初はランダムだった点 が、入力データに併せてクラスター化し ていく • 保証はない！