スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ)の勉強会の資料です。 1章のスライドです。

1. スパース性に基づく機械学習1章
機械学習プロフェッショナルシリーズ
@St_Hakky

2. 自己紹介と告知
• Twitter : @St_Hakky
• ブログ：http://st-hakky.hatenablog.com/
• 関西で機械学習勉強会を実施中!!
• 団体のモットー：
• 圧倒的スピード感で大量の書物と論文をぶった切る
• 「えっ、まだ読んでないの？」と煽り奉り、輪講会を乱立させる
• 過去のイベント例
• PRML輪講会、PRML上巻/下巻一気読み
• データ解析のための統計モデリング入門の輪講会
• わかりやすいパターン認識(続)の輪講会
• 参加したい方は、Facebookのグループにまずは参加を。
• URL :https://www.facebook.com/groups/1767916400127792/

3. スパース性に基づく機械学習の
1章をやります

4. スパース性とは
• スパース性とは
• 日本語訳は疎性。まばらであること
• 多くの変数のうちほとんどがゼロでごく一部だけが非ゼ
ロの値をとることを意味する

5. 基本的なスパース性：要素単位のスパース性
• 多くの要素がゼロで少数の要素が非ゼロで、これらが特に
構造もなく並んでいる
• 本スライドで出てくる図は、灰色が０で色があるのが値があ
るものとする。

6. スパース性が有効である例
• ゲノムの個人差からの予測
• 例：特定の病気のかかりやすさ、治療の有効性など
• ゲノムの個人間の変異は数百万箇所で起こりうる
• しかし、特定の病気のかかりやすさに関連しているのはそのごく一
部
• 数百万箇所全ての変異が特定の病気にどのように影響す
るのかを推定するには？
• その数と同じオーダーの被験者(サンプル)を集める必要がある
• こんなのコスト的にも無理w → んじゃ、どうするのか？

7. スパース性が有効である例(続き)
• 病気と関連している変異が少数であるという仮定を用いる
• このようなスパース性の仮定を用いる
• この仮定で、少ないサンプル数から調べることが可能
• 注意：この仮定を用いたからといって、病気と関連している
変数の目星がついているわけではない。
• 病気と関連している変数の数が数十や数百であったとして
も、組み合わせの数は膨大。

8. スパース性を考える時のポイント
• 統計的な問題
• 如何に現実的な仮定を用いて少ないサンプル数での推定を可能
にするか
• 計算量の問題
• 如何に組み合わせ爆発を防いで現実的な計算量で推定を行うか
• 上の二つを考える必要がある

9. スパース性の拡張
• スパース性の定義
• 「高次元ベクトルのほとんどの要素がゼロである」
• 上記の定義にとどまらず、様々な拡張が現在は考えられて
いる。

10. スパース性の拡張：グループ単位のスパース性
• 各行があらかじめ定義した1つのグループに対応
• 各行が全てゼロか、全て値を含むかのどちらか一方

11. スパース性の拡張：行列の低ランク性
• これが使える問題設定
• 共通のd変数の上に定義されたT個の関連する学習課題を同時に
解きたい
• スパースじゃない方法
• 推定すべき係数の数：dT個。多い。
• 行列の低ランク性を用いたスパースな方法
• 各列にd個の係数を持つd行T列の行列を推定する問題と考える
• 行列のランクがrだとすると、T個の学習課題に対して、 r個の要因が
存在することを意味する
• →スパース！！！

12. スパース性の拡張：行列の低ランク性
• 低ランク行列は、ベクトルとしてみるとスパースではない
• しかし、行列の特異値と見ると、以下のような特徴が見れ
る
• 行列のランクに等しい特異値だけが非ゼロ
• 残りの特異値はゼロ

13. スパース性の拡張：行列の低ランク性
• グループ単位のスパース性との比較
• グループ単位のスパース性
• あらかじめグループを定義しておく必要があった
• 行列の低ランク性によるスパース性
• 変数のグループや複数の課題に共通する要因を含めて学習できる

14. スパース性の拡張：行列の低ランク性
• 実際の適応例
• 時空間データの分析、推薦システム
• こういった適用先でも、行列が低ランクであることを利用し
て、以下の二つの問題を考えるようにすること。
• 統計的な問題
• より小さいサンプル数で推定できないか
• 計算量の問題
• 低ランク性という非凸制約から来る計算の困難さを回避して多項式
時間で推定を行うか
• そうしないと、旨味がなくなってしまう

15. 一般的にスパースと言われているけどこの本では
扱わないもの
• 自然言語処理分野
• 高次元かつスパースな特徴ベクトルが存在
• 例：単語、n-グラム
• データがスパースといっても、分類器が少数の変数の組み合わせ
からなるとは言えない。
• 例：同義語のように、本来は1つの変数で済むものが別々に表現され
ているせいで、スパースに見えているなど
• データのスパース性が利用できるので計算量の上では好ましい状
況。しかし、スパースなデータを対象とするからといって、前に述べ
た統計的な問題が生じるとは限らない

16. おしまい