Submit Search
Upload
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 4.2節
•
Download as PPTX, PDF
•
0 likes
•
2,172 views
Hakky St
Follow
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ)の勉強会の資料です。 4.2節のスライドです。
Read less
Read more
Data & Analytics
Report
Share
Report
Share
1 of 16
Download now
Recommended
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 3.3節と3.4節
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 3.3節と3.4節
Hakky St
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 2.3節〜2.5節
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 2.3節〜2.5節
Hakky St
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 1章
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 1章
Hakky St
20100619 wakhok important_of_io_with_jror
20100619 wakhok important_of_io_with_jror
Yoshiharu Hashimoto
もっと気軽に勉強会を
もっと気軽に勉強会を
Lee Choong Geun
スパース性に基づく機械学習 2章 データからの学習
スパース性に基づく機械学習 2章 データからの学習
hagino 3000
勉強会旅人のススメ
勉強会旅人のススメ
and hyphen
北海道の南端で勉強会やります
北海道の南端で勉強会やります
deflis
Recommended
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 3.3節と3.4節
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 3.3節と3.4節
Hakky St
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 2.3節〜2.5節
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 2.3節〜2.5節
Hakky St
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 1章
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 1章
Hakky St
20100619 wakhok important_of_io_with_jror
20100619 wakhok important_of_io_with_jror
Yoshiharu Hashimoto
もっと気軽に勉強会を
もっと気軽に勉強会を
Lee Choong Geun
スパース性に基づく機械学習 2章 データからの学習
スパース性に基づく機械学習 2章 データからの学習
hagino 3000
勉強会旅人のススメ
勉強会旅人のススメ
and hyphen
北海道の南端で勉強会やります
北海道の南端で勉強会やります
deflis
Diet networks thin parameters for fat genomic
Diet networks thin parameters for fat genomic
Hakky St
Deep Recurrent Q-Learning(DRQN) for Partially Observable MDPs
Deep Recurrent Q-Learning(DRQN) for Partially Observable MDPs
Hakky St
Hands-On Machine Learning with Scikit-Learn and TensorFlow - Chapter8
Hands-On Machine Learning with Scikit-Learn and TensorFlow - Chapter8
Hakky St
An overview of gradient descent optimization algorithms
An overview of gradient descent optimization algorithms
Hakky St
劣モジュラ最適化と機械学習 3章
劣モジュラ最適化と機械学習 3章
Hakky St
劣モジュラ最適化と機械学習 2.4節
劣モジュラ最適化と機械学習 2.4節
Hakky St
劣モジュラ最適化と機械学習 2.5節
劣モジュラ最適化と機械学習 2.5節
Hakky St
劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章
Hakky St
強くなるロボティック・ ゲームプレイヤーの作り方3章
強くなるロボティック・ ゲームプレイヤーの作り方3章
Hakky St
Reducing the dimensionality of data with neural networks
Reducing the dimensionality of data with neural networks
Hakky St
Boosting probabilistic graphical model inference by incorporating prior knowl...
Boosting probabilistic graphical model inference by incorporating prior knowl...
Hakky St
【機械学習プロフェッショナルシリーズ】グラフィカルモデル2章
【機械学習プロフェッショナルシリーズ】グラフィカルモデル2章
Hakky St
【機械学習プロフェッショナルシリーズ】グラフィカルモデル1章
【機械学習プロフェッショナルシリーズ】グラフィカルモデル1章
Hakky St
Tensorflow
Tensorflow
Hakky St
Creating basic workflows as Jupyter Notebooks to use Cytoscape programmatically.
Creating basic workflows as Jupyter Notebooks to use Cytoscape programmatically.
Hakky St
More Related Content
More from Hakky St
Diet networks thin parameters for fat genomic
Diet networks thin parameters for fat genomic
Hakky St
Deep Recurrent Q-Learning(DRQN) for Partially Observable MDPs
Deep Recurrent Q-Learning(DRQN) for Partially Observable MDPs
Hakky St
Hands-On Machine Learning with Scikit-Learn and TensorFlow - Chapter8
Hands-On Machine Learning with Scikit-Learn and TensorFlow - Chapter8
Hakky St
An overview of gradient descent optimization algorithms
An overview of gradient descent optimization algorithms
Hakky St
劣モジュラ最適化と機械学習 3章
劣モジュラ最適化と機械学習 3章
Hakky St
劣モジュラ最適化と機械学習 2.4節
劣モジュラ最適化と機械学習 2.4節
Hakky St
劣モジュラ最適化と機械学習 2.5節
劣モジュラ最適化と機械学習 2.5節
Hakky St
劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章
Hakky St
強くなるロボティック・ ゲームプレイヤーの作り方3章
強くなるロボティック・ ゲームプレイヤーの作り方3章
Hakky St
Reducing the dimensionality of data with neural networks
Reducing the dimensionality of data with neural networks
Hakky St
Boosting probabilistic graphical model inference by incorporating prior knowl...
Boosting probabilistic graphical model inference by incorporating prior knowl...
Hakky St
【機械学習プロフェッショナルシリーズ】グラフィカルモデル2章
【機械学習プロフェッショナルシリーズ】グラフィカルモデル2章
Hakky St
【機械学習プロフェッショナルシリーズ】グラフィカルモデル1章
【機械学習プロフェッショナルシリーズ】グラフィカルモデル1章
Hakky St
Tensorflow
Tensorflow
Hakky St
Creating basic workflows as Jupyter Notebooks to use Cytoscape programmatically.
Creating basic workflows as Jupyter Notebooks to use Cytoscape programmatically.
Hakky St
More from Hakky St
(15)
Diet networks thin parameters for fat genomic
Diet networks thin parameters for fat genomic
Deep Recurrent Q-Learning(DRQN) for Partially Observable MDPs
Deep Recurrent Q-Learning(DRQN) for Partially Observable MDPs
Hands-On Machine Learning with Scikit-Learn and TensorFlow - Chapter8
Hands-On Machine Learning with Scikit-Learn and TensorFlow - Chapter8
An overview of gradient descent optimization algorithms
An overview of gradient descent optimization algorithms
劣モジュラ最適化と機械学習 3章
劣モジュラ最適化と機械学習 3章
劣モジュラ最適化と機械学習 2.4節
劣モジュラ最適化と機械学習 2.4節
劣モジュラ最適化と機械学習 2.5節
劣モジュラ最適化と機械学習 2.5節
劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章
強くなるロボティック・ ゲームプレイヤーの作り方3章
強くなるロボティック・ ゲームプレイヤーの作り方3章
Reducing the dimensionality of data with neural networks
Reducing the dimensionality of data with neural networks
Boosting probabilistic graphical model inference by incorporating prior knowl...
Boosting probabilistic graphical model inference by incorporating prior knowl...
【機械学習プロフェッショナルシリーズ】グラフィカルモデル2章
【機械学習プロフェッショナルシリーズ】グラフィカルモデル2章
【機械学習プロフェッショナルシリーズ】グラフィカルモデル1章
【機械学習プロフェッショナルシリーズ】グラフィカルモデル1章
Tensorflow
Tensorflow
Creating basic workflows as Jupyter Notebooks to use Cytoscape programmatically.
Creating basic workflows as Jupyter Notebooks to use Cytoscape programmatically.
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 4.2節
1.
スパース性に基づく機械学習 4.2節 機械学習プロフェッショナルシリーズ @St_Hakky
2.
自己紹介と告知 • Twitter :
@St_Hakky • ブログ:http://st-hakky.hatenablog.com/ • 関西で機械学習勉強会を実施中!! • 団体のモットー: • 圧倒的スピード感で大量の書物と論文をぶった切る • 「えっ、まだ読んでないの?」と煽り奉り、輪講会を乱立させる • 過去のイベント例 • PRML輪講会、PRML上巻/下巻一気読み • データ解析のための統計モデリング入門の輪講会 • わかりやすいパターン認識(続)の輪講会 • 参加したい方は、Facebookのグループにまずは参加を。 • URL :https://www.facebook.com/groups/1767916400127792/
3.
スパース性に基づく機械学習の 4.2節をやります
4.
コンテンツ • 4.2 :
幾何学的考察
5.
今回の最小化問題 • (4.2)の最小化問題を考える • この問題の幾何学的考察を行うために、まずは図 の説明を行う。
6.
幾何学的考察を行うための図の説明 𝑤∗ : 真のベクトル 𝑤∗ =
(1, 0) 𝑇 𝑤∗ = (1, 0) 𝑇 𝑤∗ = (0.5, 0.5) 𝑇 スパース! スパース! スパースじゃない!
7.
幾何学的考察を行うための図の説明 ピンク色の直線は、最小化問題(4.2)の等式制約を満たす𝑤の集合、 を示す。
8.
幾何学的考察を行うための図の説明 水色の領域は真のベクトル𝑤∗を中心として、𝑙1ノルムが減少する方 向からなる錐 を表す。ただし、cl(・)は集合の閉包を表す。
9.
錐・凸錐 ここで、𝐷( ・ 1;
𝒘∗)を𝑙1ノルムの点𝒘∗における降下錐と呼ぶ
10.
d=2の場合の幾何学的考察 どちらも𝑤∗ = (1,
0) 𝑇が真のスパースベクトル。 (a)と(b)の比較 (a):ピンク色の直線𝑁(𝑤∗ )が水色の領域𝐷( ・ 1; 𝒘∗ )と唯一𝒘∗ で交わる (b):𝑤∗を端点とする線分で、水色領域の内部で交わる
11.
d=2の場合の幾何学的考察 水色の領域の内部は𝑙1ノルムが真のスパースベクトル𝑤∗ よりも減少す る方向なので、共通部分があるということは𝑤∗が𝑙1ノルム最小化問題 の解ではないことを意味する。 𝑤∗ が𝑙1ノルム最小化問題の解 𝑤∗ が𝑙1ノルム最小化問題の 解ではない
12.
一般の𝑙1ノルム最小化問題 一般に真のスパースベクトル𝑤∗が𝑙1ノルム最小化問題(4.2)の唯一の 解である必要十分条件は、 である(Chandrasekaran[15])。 この条件を満たすためには、直感的には部分空間N(𝒘∗)及び降下錐 𝐷( ・ 1;
𝒘∗)は小さければ小さいほどいいということがわかる。
13.
一般の𝑙1ノルム最小化問題 部分空間N(𝒘∗):この次元は𝑑 − 𝑛なので、
N(𝒘∗)はサンプル数が増 えるほど小さくなる。
14.
一般の𝑙1ノルム最小化問題 降下錐𝐷( ・ 1;
𝒘∗):真のスパースベクトル𝒘∗ がスパースであればあるほど小さくなる 例えば図(c)のように𝒘∗がスパースでない場合は𝐷( ・ 1; 𝒘∗)半平面と なり、 N(𝒘∗)と𝐷( ・ 1; 𝒘∗)は𝑛 ≥ 𝑑でない限り必ず𝒘∗以外の共通部分 を持つ
15.
参考文献 • [15] Chandrasekaran,
Venkat, et al. "The convex geometry of linear inverse problems." Foundations of Computational mathematics 12.6 (2012): 805-849. • http://link.springer.com/article/10.1007/s10208-012-9135-7
16.
おしまい
Download now