Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

201703NC

201 views

Published on

2017年3月のニューロコンピューティング研究会で発表.非負値行列分解のBayes汎化誤差の理論的な不等式に対し数値実験を実施し,非負値制約の観点から厳密値を見積もった.in Japanese

Published in: Science
  • Login to see the comments

201703NC

  1. 1. 非負値行列分解における 実対数閾値の実験的考察 林 直輝* (東京工業大学 数理・計算科学系) 渡辺澄夫 (東京工業大学 数理・計算科学系) 12017/3/13 NC研究会
  2. 2. 1.背景 2017/3/13 NC研究会 2
  3. 3. 背景/NMF • 非負値行列分解(Non-negative Matrix Factorization, NMF)はデータから構造を知るた めの分析技術として広く応用されている • 購買データ→購買解析 • 画像や音声→スペクトル解析・信号処理 • テキスト→テキストマイニング • 遺伝子データ→バイオインフォマティクス 2017/3/13 NC研究会 3
  4. 4. 背景/NMF • NMFは知識発見手法として広く応用されている • NMFの数学的基礎は未解明 – Cohenら(1993)による非負値ランク(後述)の研究などは されている – NMFの学習理論は未解明 • NMFは特異統計モデル →Bayes法によるNMFを考える – 特異モデルでは汎化誤差を小さくできる意味で最尤推定 や事後確率最大化よりもBayes推定が有効 2017/3/13 NC研究会 4
  5. 5. 背景/Bayes学習と特異モデル • 一般のBayes学習における定理 – n個の独立確率変数 – ある学習モデルで学習を行った際の汎化誤差𝑮 𝒏 その平均値は次の挙動を持つ: 𝔼 𝑮 𝒏 = 𝝀 𝒏 + 𝒐 𝟏 𝒏 • λは学習係数あるいは実対数閾値と呼ばれる定数 • 実対数閾値を用いたモデル選択手法がDrtonら (2017)により提案されている 2017/3/13 NC研究会 5
  6. 6. 背景/目的 • NMFの数学的基礎を解明する – 先の研究において実対数閾値が満たす不等式を証明* • 数学的基礎を数値的にも確認する – *で等号が成立するとき数値実験を行う – *で等号が成立しないとき、縮小ランク回帰との関係性を 実験的に確かめる • 縮小ランク回帰:要素が非負とは限らない場合の行列分解と同じ 実対数閾値を持つ特異統計モデル。すべての場合の実対数閾 値が解明されている[青柳&渡辺,2005] 2017/3/13 NC研究会 6
  7. 7. 2.理論 2017/3/13 NC研究会 7
  8. 8. 理論/非負値行列分解 X,YをそれぞれM×H,H×Nの非負値行列とする。 A,BをそれぞれM×H0,H0×Nの正値行列とする。 行列の成分はコンパクト集合の元とする。 M×N行列ABを観測行列とし、XYを再構成行列と するNMFを考える。すなわち真の分解(最小の内 部次元H0を与える)がA,Bであるものとする。 定義(非負値ランク)[Cohenら1993] 上のH0を行列ABの非負値ランクといい、rank+AB と書く。 2017/3/13 NC研究会 8
  9. 9. 理論/非負値行列分解 定理(非負値ランクとランク)[Cohenら1993] M×N非負値行列Cの非負値ランクとランクについ て次の関係が成立する: rankC≦rank+C≦min{M,N} 特にrankC≦2またはM≦3またはN≦3のとき rankC = rank+C が成立する。 2017/3/13 NC研究会 9
  10. 10. 理論/ゼータ函数 一般に、平均誤差函数をK、事前分布をφとすると き、学習理論のゼータ函数は次で定義される: ζ(z)=∫K(w)zφ(w)dw この一変数複素関数はRe(z)>0の範囲で正則であ るが、複素数平面全体に有理型函数として解析接 続することができる。さらにその極はすべて負の 有理数となる。そのなかで最も原点に近いものの 絶対値を実対数閾値と呼ぶ。 2017/3/13 NC研究会 10
  11. 11. 理論/NMFのゼータ函数 行列の要素は正規分布に従うものとする。つまり p(W|X,Y)∝exp(-||W-XY||2/2):モデル q(W)∝exp(-||W-AB||2/2):真の分布 とする。 事前分布は原点含むコンパクト集合上で正のもの 、たとえば φ(X,Y) ∝ exp(-s||X||2/2-s||Y||2/2) とする(s:ハイパーパラメータ)。 2017/3/13 NC研究会 11
  12. 12. 理論/NMFのゼータ函数 NMFの実対数閾値を調べるためには次のゼータ函 数を考えればよい: ζ(z)=∫∫||XY-AB||2zdXdY • 事前分布は0にならないため極に影響を与えない • 平均誤差函数はフロベニウスノルムによる二乗 誤差と同じ実対数閾値を持つ 定義(NMFのゼータ函数と実対数閾値) 上のζをNMFのゼータ函数と呼び、その最大極(-λ) の絶対値λをNMFの実対数閾値と呼ぶ。 2017/3/13 NC研究会 12
  13. 13. 理論/主定理 主定理(NMFの実対数閾値)[林&渡辺,arXiv1612.04112] X,YをそれぞれM×H,H×Nの非負値行列とする。 A,BをそれぞれM×H0,H0×Nの正値行列とする。 行列の成分はコンパクト集合の元とする。 真の分解(最小の内部次元H0を与える)がA,Bの とき、NMFの実対数閾値λは次の不等式を満たす: 𝝀 ≤ 𝟏 𝟐 𝑯 − 𝑯 𝟎 𝐦𝐢𝐧 𝑴, 𝑵 + 𝑯 𝟎 𝑴 + 𝑵 − 𝟏 • 𝑯 = 𝑯 𝟎 = 𝟏のとき等号が成立する。 – 𝑯 𝟎 = 0でも成立する。このときはA,Bの成分は0でもよい 2017/3/13 NC研究会 13
  14. 14. 理論/縮小ランク回帰 線型写像y=ABxをy=XYxで縮小ランク回帰する。 行列X,Y,A,Bの成分は非負だけでなく負でもよい ものとする(サイズは先ほどと同様)。 この問題は行列ABをXYに分解する問題と同じ実 対数閾値を持つ。縮小ランク回帰のゼータ函数を ζ(z)=∫∫||XY-AB||2zdXdY とするとき、その実対数閾値は青柳&渡辺(2005) によって解明されている。 2017/3/13 NC研究会 14
  15. 15. 3.実験 2017/3/13 NC研究会 15
  16. 16. 実験/方法 • NMFは特異モデルなのでBayes法が有効 • Bayes法では事後分布の実現が必要 • NMFの事後分布は解析的に計算できない φ(X,Y) ∝ exp(-s||X||2/2-s||Y||2/2):事前分布 p(W|X,Y)∝exp(-||W-XY||2/2):モデル p(X,Y|W)=(1/Z) φ(X,Y) Πn i=1 p(Wi|X,Y):事後分布 2017/3/13 NC研究会 16
  17. 17. 実験/方法 • NMFの事後分布は解析的に計算できない →Markov連鎖モンテカルロ法(MCMC) – 本研究ではMetropolis法を用いた • 事後分布、予測分布を数値的に計算した。 • 人工データを変えながら汎化誤差𝑮 𝒏を計算し、 その平均値から実対数閾値𝝀を計算した。 𝔼 𝑮 𝒏 = 𝝀 𝒏 + 𝒐 𝟏 𝒏 ⇔ 𝝀 ≈ 𝒏 𝔼 𝑮 𝒏 – 汎化誤差:真の分布と予測分布とのカルバックライブラ情報量 – 学習データはn=200個を人工的に用意した。 2017/3/13 NC研究会 17
  18. 18. 実験/方法 • 本研究におけるMetropolis法の実験条件 – 各ステップで再構成行列の成分を[0,10]に制約 • 剰余演算により実装 – サンプリング周期20、バーンイン20000により1000個の サンプルを生成 • 汎化誤差計算の実験条件 – テストデータを20000用意しその有限和で近似 – 学習データ抽出100回の平均を計算 • 全体で100*(40000+20000*1000)≒2×109回 2017/3/13 NC研究会 18
  19. 19. 実験/結果 • 主定理の等号が成立しているとき: • H=H0=1のときの結果 – 縮小ランク回帰:縮小ランク回帰の実対数閾値 実験結果でも等号が成立している 2017/3/13 NC研究会 19
  20. 20. 実験/結果 • 主定理の等号が成立しているとき: • H0=0のとき、すなわち零行列のNMFを行うとき – Metropolis法における採択確率が安定せず事後分布を 実現できなかった – 観測行列が零行列の時は顕著に初期値に対して鋭敏な 結果であり、真の分解を初期値に与えた時汎化誤差が0 となり実対数閾値を計算できなかった。 2017/3/13 NC研究会 20
  21. 21. 実験/結果 • 主定理の等号が成立しないとき: • rank=rank+のときの結果 – 縮小ランク回帰:縮小ランク回帰の実対数閾値 縮小ランク回帰の実対数閾値に等しい 2017/3/13 NC研究会 21
  22. 22. 実験/結果 • 主定理の等号が成立しないとき: • rank≠rank+のときの結果 – 縮小ランク回帰:縮小ランク回帰の実対数閾値 縮小ランク回帰の実対数閾値より大きい 2017/3/13 NC研究会 22
  23. 23. 実験/結果 • 主定理で等号が成立するとき: – H=H0=1のとき: 数値実験結果でも等号が成立した – H0=0(観測行列が零行列)のとき: 事後分布が数値的に実現できなかった • 主定理で等号が成立しないとき: – ランクと非負値ランクが等しいとき: NMFの実対数閾値は縮小ランク回帰のそれに等しい – ランクと非負値ランクが等しくないとき: NMFの実対数閾値は縮小ランク回帰のそれより大きい 2017/3/13 NC研究会 23
  24. 24. 実験/考察 • 主定理で等号が成立するとき: 事後分布が実現できているとき、確かに等号が 成立した→プログラムミスはない。 観測行列が零行列のとき、事後分布の実現がで きなかった理由は不明。 – 確かに0成分は定義域の境界上の点であるが、本実験で は剰余演算によりMCMCの探索範囲をトーラスにしてい るため境界のない多様体上を探索しているはずである。 • d次元立方体上で一辺の長さを法とする剰余演算を施すと、端点 を同一視して作るd次元トーラスと等価になるという意味でトーラ スとしている。 2017/3/13 NC研究会 24
  25. 25. 実験/考察 • 主定理で等号が成立しないとき: ランクと非負値ランクが等しいとき: 実対数閾値が等しいという意味でNMFと縮小ラ ンク回帰は等価と考えられる。 2017/3/13 NC研究会 25
  26. 26. 実験/考察 • NMFと縮小ランク回帰は等価 – 縮小ランク回帰の実対数閾値を求めるにあたり、真の行 列を標準形に変形する正則行列P,Qを利用した「特異点 解消の標準形」が作られている[青柳&渡辺,2005] →非負値ランクも真のランクに等しいならば成分が非負 であっても同様に「特異点解消の標準形」を構成できる 2017/3/13 NC研究会 26
  27. 27. 実験/考察 • NMFと縮小ランク回帰は等価 – 非負値制約により、上述した「標準形」の持つ特異点の座 標がすべて非負であれば縮小ランク回帰の実対数閾値 の導出と同様にして実験結果を証明できるがそのことは 非自明(P,Qの成分に非負制約はない) 2017/3/13 NC研究会 27
  28. 28. 実験/考察 • 主定理で等号が成立しないとき: ランクと非負値ランクが等しくないとき: 実対数閾値が等しくないという意味でNMFと縮 小ランク回帰は等価ではないと考えられる。 2017/3/13 NC研究会 28
  29. 29. 実験/考察 • NMFと縮小ランク回帰は等価ではない – 「特異点解消の標準形」はランクがrであることを用いて作 られる。非負値ランクがrよりも大きいことから、内部次元r の非負値分解は決して行うことはできないことを意味する ため、この「標準形」は意味をなさない。 • 非負値ランク次元の単位行列を作るような正則行列の存在も保 証されない 2017/3/13 NC研究会 29
  30. 30. 実験/考察 • NMFと縮小ランク回帰は一般には等価ではない • ランクが非負値ランクに等しいとき等価である と考えられるが非自明 – 理論値を比較すると、H=H0=1のときNMFと縮小ランク回 帰は同じ実対数閾値を持つ – 理論値の比較において、H0=0のときのNMFの実対数閾 値は縮小ランク回帰のそれより真に大きい場合もある 2017/3/13 NC研究会 30
  31. 31. 4.結論 2017/3/13 NC研究会 31
  32. 32. 結論/総括 • NMFの実対数閾値について、理論式に基づき実 験的な考察を行った • 以下の結果を得た: – 理論式で等号が成立するとき: 確かに等号が成立した(観測行列が零のとき計算できず) – 理論式で等号が成立しないとき: ランクと非負値ランクが等しければ縮小ランク回帰に等し く、ランクが非負値ランクに等しくなければ縮小ランク回帰 より大きい実対数閾値となった 2017/3/13 NC研究会 32
  33. 33. 結論/展望 • 観測行列が零行列のときの事後分布の実現 – 「最悪のスパース行列」に対するBayes法によるNMF • より大きな行列に対する実験 – 学習理論の研究ではデータ抽出に対する平均操作が要 • 本実験結果の数学的証明 – NMFにおけるすべての場合の実対数閾値の解明 2017/3/13 NC研究会 33
  34. 34. 2017/3/13 NC研究会 34
  35. 35. 付録/NMFの購買解析への適用 2017/3/13 NC研究会 35 • 顧客/商品の購入数 行列XをA,Bという 非負成分の行列の積 に分解する • 各顧客の購買パター ンを与える因子及び 各因子の代表的な商 品がわかる →購買パターン構造の 抽出が可能! 引用元:[【解説記事】幸島匡宏, 松林達史, 澤田 宏: “複合データ分析技術とNTF[I]――複合デー タ分析技術とその発展――”,電子情報通信学会誌, Vol.99,No.6,pp.543-550 (2016.06),図3]

×