More Related Content Similar to 低ランク行列補完のためのマトロイド理論 Similar to 低ランク行列補完のためのマトロイド理論 (20) 低ランク行列補完のためのマトロイド理論2. 低ランク行列補完
• 協調フィルタリング (collaborative filtering)
Star
Wars
Titanic
Blade
Runner
…
User
1
5
2
4
User
2
1
4
2
User
3
5
?
?
Movies
Users
2006-2009: Netflix Prize (www.netflixprize.com)
7. マスク Ω
• 行列表現 M
– 見えている要素 =1、見えていない要素=0
– 観測は A * M(要素ごとの積)
• 2部グラフ表現 G = (V, W, E)
– V, W は行列の行・列に対応する頂点集合
– E は見えている要素 (I,j) = 枝 の集合
2部グラフGの組み合わせ的な性質が重要!
(でもそれだけではない・・・)
8. 行列表現と2部グラフ表現
• 行列表現 • 2部グラフ表現
0
B
B
B
B
@
1 1 1 1
1 1 1 1
1 1 0 0
1 1 0 0
1 1 0 0
1
C
C
C
C
A
観測要素が1、非観測要素が0
10. 部分観測から低ランク行列を復元
するということ
• 観測 Ω の逆写像を見つけること
M(r; m ⇥ n) 3 A = UV T
7! ⌦(A)
Generic fiber dimension = dimM ‒ dimΩ(A)
= 0 : 穴埋め可能(一意とは限らない)
Generic fiber dimension はどの点Aで評価するかによらず一定
(M(r; mxn) が irreducible algebraic variety であるため)
実は一意でないときの解の個数もどの点Aで評価するかによらず一定
11. 必要条件
• 観測の数 #E ≥ r(m+n-r)
• 各行、各列に r 個以上の観測が必要
• グラフ G が r-edge connected := 任意
の r-1 本の枝を取り除いても連結
• (証明)より強い以下の条件から
12. 十分条件: r-closure
• ランク≤r行列
– 任意の (r+1) x (r+1) 小行列式がゼロ
• (r+1) x (r+1) 部分マスクで枝が一本だけ欠けてい
るもの
– 欠けている要素を復元できる
– 復元した要素に対応する枝を加える
• r-closable: この操作を繰り返してマスクが完全グ
ラフになる(一意穴埋め可能の十分条件)
• 一般にはO(nr+1)の計算。速いアルゴリズムを作れ
る(宇野さん)
13. 2-closable な例
0
B
B
@
1 1 1 1
1 1 1 1
1 1 0 0
1 1 0 0
1
C
C
A
0
B
B
@
1 1 1 1
1 1 1 1
1 1 0 0
1 1 0 0
1
C
C
A
0
B
B
@
1 1 1 1
1 1 1 1
1 1 0 0
1 1 0 0
1
C
C
A
0
B
B
@
1 1 1 1
1 1 1 1
1 1 0 0
1 1 0 0
1
C
C
A
0
B
B
@
1 1 1 1
1 1 1 1
1 1 0 0
1 1 0 0
1
C
C
A
0
B
B
@
1 1 1 1
1 1 1 1
1 1 1 1
1 1 1 1
1
C
C
A
14. 1-closable 連鎖を伴う例
0
@
1 1 0
1 0 1
0 1 0
1
A
0
@
1 1 0
1 1 1
0 1 0
1
A
0
@
1 1 1
1 1 1
0 1 0
1
A
0
@
1 1 1
1 1 1
1 1 0
1
A
0
@
1 1 1
1 1 1
1 1 1
1
A
Start
Finish
※ 最後のステップは最初のステップが先に必要
18. 数値例 (100 x 100 ランク 3)
0 1000 2000 3000 4000 5000 6000
0
0.2
0.4
0.6
0.8
1
Number of edges
Successprobability
100 x 100
Degree>=3
3−connected
finitely completable
3−closable
nuclear norm
1 step 3−closable
Finitely closable は後述のヤコビアンを用いて計算
19. 数値例 (500x500 ランク 2)
1000 2000 3000 4000 5000 6000 7000
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Number of edges
Successprobability
500 x 500
Degree>=2
2−connected
finitely completable
2−closable
20. 数値例 (40x50 ランク10)
0 500 1000 1500 2000
0
0.2
0.4
0.6
0.8
1
Number of measurements
Successprobability
m=40, n=50, r=10
r−connectivity
r−closability
OptSpace
Nuclear norm
21. 連鎖が非常に長くなる例
3000 4000 5000 6000 7000 8000 9000 10000 11000 12000
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Number of edges
Successprobability
1
2
3
4
5
6
7
8
9
10
11
12
13
closable
23. Determinantal matroid
• E=行列の要素全体の集合
• F=ランクrで独立に選べる要素の集合
• 結論
– 穴埋め可能(一意とは限らない)
未観測要素のすべてが観測要素に従属
観測要素の中で独立なものの数が r(m+n-r)以上
– 復元できる要素とできない要素
• 観測要素に従属な要素 復元可能
• 観測要素に独立な要素 復元不可能
partial completability
24. 独立性/従属性の判定
• ランダムサンプル
– A = UVT(U Rmxr, V Rnxr)
• 非線形写像 (U,V) → A
– ヤコビアン J Rmn x r(m+n)
[Singer and Cucuringu 2010; Kiraly et al. 2012]
daij = hvj, duii + huj, dvji
Jは mn x r(m+n) 行列
27. Movielens (100k) データセット
• 映画の評価
– ユーザ数 943人
– 映画の数 1682
– 観測要素の数 100,000 (=100k)
• 直接 100,000 x 2625r 行列のSVDは無理
• 最も密な190x178部分行列が与えられたラ
ンクで穴埋め可能かチェック
– 可能であれば 190x178二部クリークが得られる。
これを種としてr-closableかどうかチェック(十
分条件)