2017年3月のニューロコンピューティング研究会で発表．非負値行列分解のBayes汎化誤差の理論的な不等式に対し数値実験を実施し，非負値制約の観点から厳密値を見積もった．in Japanese

1. 非負値行列分解における
実対数閾値の実験的考察
林 直輝* (東京工業大学 数理･計算科学系)
渡辺澄夫 (東京工業大学 数理･計算科学系)
12017/3/13 NC研究会

2. １．背景
2017/3/13 NC研究会 2

3. 背景/NMF
• 非負値行列分解(Non-negative Matrix
Factorization, NMF)はデータから構造を知るた
めの分析技術として広く応用されている
• 購買データ→購買解析
• 画像や音声→スペクトル解析・信号処理
• テキスト→テキストマイニング
• 遺伝子データ→バイオインフォマティクス
2017/3/13 NC研究会 3

4. 背景/NMF
• NMFは知識発見手法として広く応用されている
• NMFの数学的基礎は未解明
– Cohenら(1993)による非負値ランク(後述)の研究などは
されている
– NMFの学習理論は未解明
• NMFは特異統計モデル
→Bayes法によるNMFを考える
– 特異モデルでは汎化誤差を小さくできる意味で最尤推定
や事後確率最大化よりもBayes推定が有効
2017/3/13 NC研究会 4

5. 背景/Bayes学習と特異モデル
• 一般のBayes学習における定理
– n個の独立確率変数
– ある学習モデルで学習を行った際の汎化誤差𝑮 𝒏
その平均値は次の挙動を持つ:
𝔼 𝑮 𝒏 =
𝝀
𝒏
+ 𝒐
𝟏
𝒏
• λは学習係数あるいは実対数閾値と呼ばれる定数
• 実対数閾値を用いたモデル選択手法がDrtonら
(2017)により提案されている
2017/3/13 NC研究会 5

6. 背景/目的
• NMFの数学的基礎を解明する
– 先の研究において実対数閾値が満たす不等式を証明＊
• 数学的基礎を数値的にも確認する
– ＊で等号が成立するとき数値実験を行う
– ＊で等号が成立しないとき、縮小ランク回帰との関係性を
実験的に確かめる
• 縮小ランク回帰：要素が非負とは限らない場合の行列分解と同じ
実対数閾値を持つ特異統計モデル。すべての場合の実対数閾
値が解明されている[青柳&渡辺,2005]
2017/3/13 NC研究会 6

7. ２．理論
2017/3/13 NC研究会 7

8. 理論/非負値行列分解
X,YをそれぞれM×H,H×Nの非負値行列とする。
A,BをそれぞれM×H0,H0×Nの正値行列とする。
行列の成分はコンパクト集合の元とする。
M×N行列ABを観測行列とし、XYを再構成行列と
するNMFを考える。すなわち真の分解（最小の内
部次元H0を与える）がA,Bであるものとする。
定義（非負値ランク）[Cohenら1993]
上のH0を行列ABの非負値ランクといい、rank+AB
と書く。
2017/3/13 NC研究会 8

9. 理論/非負値行列分解
定理（非負値ランクとランク）[Cohenら1993]
M×N非負値行列Cの非負値ランクとランクについ
て次の関係が成立する：
rankC≦rank+C≦min{M,N}
特にrankC≦2またはM≦3またはN≦3のとき
rankC = rank+C
が成立する。
2017/3/13 NC研究会 9

10. 理論/ゼータ函数
一般に、平均誤差函数をK、事前分布をφとすると
き、学習理論のゼータ函数は次で定義される：
ζ(z)=∫K(w)zφ(w)dw
この一変数複素関数はRe(z)>0の範囲で正則であ
るが、複素数平面全体に有理型函数として解析接
続することができる。さらにその極はすべて負の
有理数となる。そのなかで最も原点に近いものの
絶対値を実対数閾値と呼ぶ。
2017/3/13 NC研究会 10

11. 理論/NMFのゼータ函数
行列の要素は正規分布に従うものとする。つまり
p(W|X,Y)∝exp(-||W-XY||2/2):モデル
q(W)∝exp(-||W-AB||2/2):真の分布
とする。
事前分布は原点含むコンパクト集合上で正のもの
、たとえば
φ(X,Y) ∝ exp(-s||X||2/2-s||Y||2/2)
とする（s:ハイパーパラメータ）。
2017/3/13 NC研究会 11

12. 理論/NMFのゼータ函数
NMFの実対数閾値を調べるためには次のゼータ函
数を考えればよい：
ζ(z)=∫∫||XY-AB||2zdXdY
• 事前分布は0にならないため極に影響を与えない
• 平均誤差函数はフロベニウスノルムによる二乗
誤差と同じ実対数閾値を持つ
定義（NMFのゼータ函数と実対数閾値）
上のζをNMFのゼータ函数と呼び、その最大極(-λ)
の絶対値λをNMFの実対数閾値と呼ぶ。
2017/3/13 NC研究会 12

13. 理論/主定理
主定理（NMFの実対数閾値）[林&渡辺,arXiv1612.04112]
X,YをそれぞれM×H,H×Nの非負値行列とする。
A,BをそれぞれM×H0,H0×Nの正値行列とする。
行列の成分はコンパクト集合の元とする。
真の分解（最小の内部次元H0を与える）がA,Bの
とき、NMFの実対数閾値λは次の不等式を満たす:
𝝀 ≤
𝟏
𝟐
𝑯 − 𝑯 𝟎 𝐦𝐢𝐧 𝑴, 𝑵 + 𝑯 𝟎 𝑴 + 𝑵 − 𝟏
• 𝑯 = 𝑯 𝟎 = 𝟏のとき等号が成立する。
– 𝑯 𝟎 = 0でも成立する。このときはA,Bの成分は0でもよい
2017/3/13 NC研究会 13

14. 理論/縮小ランク回帰
線型写像y=ABxをy=XYxで縮小ランク回帰する。
行列X,Y,A,Bの成分は非負だけでなく負でもよい
ものとする（サイズは先ほどと同様）。
この問題は行列ABをXYに分解する問題と同じ実
対数閾値を持つ。縮小ランク回帰のゼータ函数を
ζ(z)=∫∫||XY-AB||2zdXdY
とするとき、その実対数閾値は青柳&渡辺(2005)
によって解明されている。
2017/3/13 NC研究会 14

15. ３．実験
2017/3/13 NC研究会 15

16. 実験/方法
• NMFは特異モデルなのでBayes法が有効
• Bayes法では事後分布の実現が必要
• NMFの事後分布は解析的に計算できない
φ(X,Y) ∝ exp(-s||X||2/2-s||Y||2/2):事前分布
p(W|X,Y)∝exp(-||W-XY||2/2):モデル
p(X,Y|W)=(1/Z) φ(X,Y) Πn
i=1 p(Wi|X,Y):事後分布
2017/3/13 NC研究会 16

17. 実験/方法
• NMFの事後分布は解析的に計算できない
→Markov連鎖モンテカルロ法（MCMC）
– 本研究ではMetropolis法を用いた
• 事後分布、予測分布を数値的に計算した。
• 人工データを変えながら汎化誤差𝑮 𝒏を計算し、
その平均値から実対数閾値𝝀を計算した。
𝔼 𝑮 𝒏 =
𝝀
𝒏
+ 𝒐
𝟏
𝒏
⇔ 𝝀 ≈ 𝒏 𝔼 𝑮 𝒏
– 汎化誤差：真の分布と予測分布とのｶﾙﾊﾞｯｸﾗｲﾌﾞﾗ情報量
– 学習データはn=200個を人工的に用意した。
2017/3/13 NC研究会 17

18. 実験/方法
• 本研究におけるMetropolis法の実験条件
– 各ステップで再構成行列の成分を[0,10]に制約
• 剰余演算により実装
– サンプリング周期20、バーンイン20000により1000個の
サンプルを生成
• 汎化誤差計算の実験条件
– テストデータを20000用意しその有限和で近似
– 学習データ抽出100回の平均を計算
• 全体で100*(40000+20000*1000)≒2×109回
2017/3/13 NC研究会 18

19. 実験/結果
• 主定理の等号が成立しているとき：
• H=H0=1のときの結果
– 縮小ランク回帰:縮小ランク回帰の実対数閾値
実験結果でも等号が成立している
2017/3/13 NC研究会 19

20. 実験/結果
• 主定理の等号が成立しているとき：
• H0=0のとき、すなわち零行列のNMFを行うとき
– Metropolis法における採択確率が安定せず事後分布を
実現できなかった
– 観測行列が零行列の時は顕著に初期値に対して鋭敏な
結果であり、真の分解を初期値に与えた時汎化誤差が0
となり実対数閾値を計算できなかった。
2017/3/13 NC研究会 20

21. 実験/結果
• 主定理の等号が成立しないとき：
• rank=rank+のときの結果
– 縮小ランク回帰:縮小ランク回帰の実対数閾値
縮小ランク回帰の実対数閾値に等しい
2017/3/13 NC研究会 21

22. 実験/結果
• 主定理の等号が成立しないとき：
• rank≠rank+のときの結果
– 縮小ランク回帰:縮小ランク回帰の実対数閾値
縮小ランク回帰の実対数閾値より大きい
2017/3/13 NC研究会 22

23. 実験/結果
• 主定理で等号が成立するとき：
– H=H0=1のとき：
数値実験結果でも等号が成立した
– H0=0（観測行列が零行列）のとき：
事後分布が数値的に実現できなかった
• 主定理で等号が成立しないとき：
– ランクと非負値ランクが等しいとき：
NMFの実対数閾値は縮小ランク回帰のそれに等しい
– ランクと非負値ランクが等しくないとき：
NMFの実対数閾値は縮小ランク回帰のそれより大きい
2017/3/13 NC研究会 23

24. 実験/考察
• 主定理で等号が成立するとき：
事後分布が実現できているとき、確かに等号が
成立した→プログラムミスはない。
観測行列が零行列のとき、事後分布の実現がで
きなかった理由は不明。
– 確かに0成分は定義域の境界上の点であるが、本実験で
は剰余演算によりMCMCの探索範囲をトーラスにしてい
るため境界のない多様体上を探索しているはずである。
• d次元立方体上で一辺の長さを法とする剰余演算を施すと、端点
を同一視して作るd次元トーラスと等価になるという意味でトーラ
スとしている。
2017/3/13 NC研究会 24

25. 実験/考察
• 主定理で等号が成立しないとき：
ランクと非負値ランクが等しいとき：
実対数閾値が等しいという意味でNMFと縮小ラ
ンク回帰は等価と考えられる。
2017/3/13 NC研究会 25

26. 実験/考察
• NMFと縮小ランク回帰は等価
– 縮小ランク回帰の実対数閾値を求めるにあたり、真の行
列を標準形に変形する正則行列P,Qを利用した「特異点
解消の標準形」が作られている[青柳&渡辺,2005]
→非負値ランクも真のランクに等しいならば成分が非負
であっても同様に「特異点解消の標準形」を構成できる
2017/3/13 NC研究会 26

27. 実験/考察
• NMFと縮小ランク回帰は等価
– 非負値制約により、上述した「標準形」の持つ特異点の座
標がすべて非負であれば縮小ランク回帰の実対数閾値
の導出と同様にして実験結果を証明できるがそのことは
非自明（P,Qの成分に非負制約はない）
2017/3/13 NC研究会 27

28. 実験/考察
• 主定理で等号が成立しないとき：
ランクと非負値ランクが等しくないとき：
実対数閾値が等しくないという意味でNMFと縮
小ランク回帰は等価ではないと考えられる。
2017/3/13 NC研究会 28

29. 実験/考察
• NMFと縮小ランク回帰は等価ではない
– 「特異点解消の標準形」はランクがrであることを用いて作
られる。非負値ランクがrよりも大きいことから、内部次元r
の非負値分解は決して行うことはできないことを意味する
ため、この「標準形」は意味をなさない。
• 非負値ランク次元の単位行列を作るような正則行列の存在も保
証されない
2017/3/13 NC研究会 29

30. 実験/考察
• NMFと縮小ランク回帰は一般には等価ではない
• ランクが非負値ランクに等しいとき等価である
と考えられるが非自明
– 理論値を比較すると、H=H0=1のときNMFと縮小ランク回
帰は同じ実対数閾値を持つ
– 理論値の比較において、H0=0のときのNMFの実対数閾
値は縮小ランク回帰のそれより真に大きい場合もある
2017/3/13 NC研究会 30

31. ４．結論
2017/3/13 NC研究会 31

32. 結論/総括
• NMFの実対数閾値について、理論式に基づき実
験的な考察を行った
• 以下の結果を得た：
– 理論式で等号が成立するとき：
確かに等号が成立した（観測行列が零のとき計算できず）
– 理論式で等号が成立しないとき：
ランクと非負値ランクが等しければ縮小ランク回帰に等し
く、ランクが非負値ランクに等しくなければ縮小ランク回帰
より大きい実対数閾値となった
2017/3/13 NC研究会 32

33. 結論/展望
• 観測行列が零行列のときの事後分布の実現
– 「最悪のスパース行列」に対するBayes法によるNMF
• より大きな行列に対する実験
– 学習理論の研究ではデータ抽出に対する平均操作が要
• 本実験結果の数学的証明
– NMFにおけるすべての場合の実対数閾値の解明
2017/3/13 NC研究会 33

34. 2017/3/13 NC研究会 34

35. 付録/NMFの購買解析への適用
2017/3/13 NC研究会 35
• 顧客/商品の購入数
行列XをA,Bという
非負成分の行列の積
に分解する
• 各顧客の購買パター
ンを与える因子及び
各因子の代表的な商
品がわかる
→購買パターン構造の
抽出が可能！
引用元：[【解説記事】幸島匡宏, 松林達史, 澤田
宏: “複合データ分析技術とNTF［I］――複合デー
タ分析技術とその発展――”，電子情報通信学会誌，
Vol.99，No.6，pp.543-550 (2016.06)，図3]