論文紹介 Deterministic Independent Component Analysis
•Download as PPTX, PDF•
5 likes•2,238 views
ICML2015読み会の論文紹介資料です
Recommended
Recommended
More Related Content
Viewers also liked
Viewers also liked (13)
Similar to 論文紹介 Deterministic Independent Component Analysis
Similar to 論文紹介 Deterministic Independent Component Analysis (8)
Recently uploaded
Recently uploaded (8)
論文紹介 Deterministic Independent Component Analysis
- 1. “Deterministic Independent Component Analysis” Ruitong Huang, András György, Csaba Szepesvári ICML 2015読み会 紹介者: 福地 一斗
- 2. 自己紹介 • 福地 一斗 • 筑波大学D1 • 佐久間研究室: 機械学習におけるプライバシー • 研究分野： • 機械学習：特に学習理論 (公平配慮学習における理論)
- 3. 紹介する論文 • Deterministic Independent Component Analysis Ruitong Huang, András György, Csaba Szepesvári • 証明付き資料はここから • http://www.ualberta.ca/~szepesva/publications.html • Learning Theoryトラックでの発表 • 独立成分分析(ICA)をさらに一般化した問題を考案 • その問題の理論解析 • 解析をもとにしたアルゴリズムの導出
- 4. 独立成分分析 (ICA) モデル 𝑋 = 𝐴𝑆 + 𝜖 𝑋 ∈ ℝ 𝑑: 観測変数 𝑆 ∈ ℝ 𝑑 : 𝑑個の独立成分 𝐴 ∈ ℝ 𝑑×𝑑: 混合行列 𝜖 ∈ ℝ 𝑑 ~ 𝒩(0, Σ): ガウシアンノイズ 𝑇個の𝑋のiidサンプルから𝑆および𝐴を求める問題
- 5. Deterministic ICA モデル 𝑡 ∈ 𝑇 = 1,2, … , 𝑇 𝑥 𝑡 = 𝐴𝑠 𝑡 + 𝜖 𝑡 𝑥: ℕ → ℝ 𝑑: 観測変数 𝑠: ℕ → [−𝐶, 𝐶] 𝑑 : 𝑑個の独立成分 𝐴 ∈ ℝ 𝑑×𝑑: 混合行列 𝜖: ℕ → ℝ 𝑑 : ノイズ 𝑇個の系列𝑥(𝑡) から𝑠(𝑡)および𝐴を求める問題 ただし，Assumption 2.1 + Assumption 2.3
- 6. なぜDICAか 線形混合信号 Mix. 1, Mix. 2から元の信号を復元 時系列データを独立成分へ分解 元の信号は時系列データ • iidサンプルではない ICA仮定が満たされない
- 8. どの範囲まで扱えるのか？ Assumption 2.1 • 𝑠 𝑡 , 𝜖 𝑡 は漸近的に経験期待値0 • 𝜖 𝑡 の構造が簡単 (ガウスノイズでなくてもよい) • 2,3次元モーメントが抑えられている • 尖度が漸近的に0 Assumption 2.3 • 𝑠 𝑡 , 𝜖 𝑡 は漸近的に4次モーメントまで独立 𝑠(1) 𝑠(2) 𝑠(3) 𝑠(4) 𝑠(5) マルコフ性を持つような𝑠 𝑡 も扱うことが可能
- 9. HKICAアルゴリズム [Hus+ 2013] 行列𝑀の固有ベクトルがスケールした𝐴と一致 𝑚 𝑝 𝜈 𝜂 = 𝔼 𝑋~𝜈 𝜂 𝑇 𝑋 𝑝 , 𝑓𝜈 𝜂 = (𝑚4 𝜈 𝜂 − 3𝑚2 𝜈 𝜂 2)/12 𝑀 = 𝛻2 𝑓𝜈 𝜙 𝛻2 𝑓𝜈 𝜓 −1 ただし， 𝜙 𝑇 𝐴𝑖 𝜓 𝑇 𝐴𝑖が互いに異なる 𝐴の𝑖番目の列ベクトル 𝜙, 𝜓を生成 𝛻2 𝑓𝜈を経験評価
- 12. HKICAのDICA設定での解析 ならば サンプルが十分にある 𝑠 𝑡 が十分独立と見なせる アルゴリズムに依存するパラメータ 𝛾 𝐴 = min 𝑖,𝑗:𝑖≠𝑗 𝜙 𝑇 𝐴𝑖 𝜓 𝑇 𝐴𝑖 2 − 𝜙 𝑇 𝐴𝑗 𝜓 𝑇 𝐴𝑗 2 その他は問題にのみ依存
- 13. DICAアルゴリズム HKICA 収束速度は𝛾 𝐴に大きく依存 𝛾 𝐴 = min 𝑖,𝑗:𝑖≠𝑗 𝜙 𝑇 𝐴𝑖 𝜓 𝑇 𝐴𝑖 2 − 𝜙 𝑇 𝐴𝑗 𝜓 𝑇 𝐴𝑗 2 𝐴は問題設定によるため𝛾 𝐴をコントロールできない 𝐴をコントロールしやすい行列𝑅に置き換えられないか？ 𝛾 𝑅 = min 𝑖,𝑗:𝑖≠𝑗 𝜙 𝑇 𝑅𝑖 𝜓 𝑇 𝑅𝑖 2 − 𝜙 𝑇 𝑅𝑗 𝜓 𝑇 𝑅𝑗 2
- 14. DICA すると， Rが対角行列かつ 𝛾 𝑅 ≥ 𝛿 2𝑑2 𝑤. 𝑝. 1 − 𝛿 計算量は𝑂 𝑑3 𝑇 𝛻2 𝑓𝜈 𝜓 をコレスキー分解 𝐵をもとに𝑀を計算
- 15. DICAの解析結果 ならば
- 16. DICAの解析結果 ならば サンプルが十分にある 𝑠 𝑡 が十分独立と見なせる ICA設定ならば 𝐷4 𝜇, 𝜈 𝑇 ≤ 𝑂 1 𝑇 , 𝑔 𝑇 ≤ 𝑂 1 𝑇
- 17. 𝑂 1 𝑇 よりはやくなる? 線形混合信号 Mix. 1, Mix. 2から元の信号を復元 時系列データを独立成分へ分解 𝐷4 𝜇, 𝜈 𝑇 ≤ 𝑂 1 𝑇 𝑔 𝑇 は元の信号やノイズに依存
- 18. その他の改良方法 • 再帰バージョン • 𝑀を求める際に再帰的なアルゴリズムを用いる • 𝑀の推定誤差を減らすことができる • Modified DICA • DICAに𝑀の推定誤差を減らす工夫を取り入れたもの
- 19. 実験 • 6次元の信号の人工データ • 𝐴を複数用意: 𝐴1, … , 𝐴4 • 𝐴1にくらべ𝐴4は1/𝛾 𝐴が大きい • また， 対角行列𝐴 = 𝑅も用意 • 元の信号 • ランダムに +1, −1 を設定した信号𝑞(𝑡) • 周期の異なるサイン波sin 𝑝𝑖 𝑡 𝑝 = ( 2, 5, 7, 11, 13, 19) • 信号𝑠𝑖 𝑡 = 𝑞 𝑡 𝑖 ⋅ sin 𝑝𝑖 𝑡 • サンプル数𝑇 = 20000
- 20. 実験結果 𝐴1𝑅 ノイズの大きさ 大きい小さい 大きい エ ラ ー 𝛾 𝐴が小さい場合FastICAの性能が良い𝛾 𝐴が小さい場合FastICAの性能が良い
- 21. 実験結果 𝐴3𝐴2 𝐴4 ノイズや𝛾 𝐴が大きくなると再帰版の修正DICA が一番よくなる ノイズや𝛾 𝐴が大きくなると再帰版の修正DICA が一番よくなる
- 22. まとめ • Deterministic ICA • iidでないような時系列データにも対応したICA • ガウシアンノイズ出なくてもよい • DICAアルゴリズム • コレスキー分解を使ってHKICAを改良 • 再帰版や修正版によって高い性能