低ランク性および平滑性を用いたテンソル補完 (Tensor Completion based on Low-rank and Smooth Structures)
•Download as PPTX, PDF•
9 likes•7,400 views
2016年度9月MI研究会の招待公演で発表しました。
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (14)
Recently uploaded
Recently uploaded (8)
低ランク性および平滑性を用いたテンソル補完 (Tensor Completion based on Low-rank and Smooth Structures)
- 1. Tensor Completion based on Low-rank and Smooth Structures 低ランク性および平滑性を用いた テンソルデータ補完 横田 達也 名古屋工業大学 2016年9月16日 MI研招待講演 1
- 2. 行列・テンソル補完の研究について紹介 主な研究成果 行列補完 T. Yokota, A. Cichocki. A fast automatic rank determination algorithm for noisy low-rank matrix completion. In Proceedings of Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC 2015), pp. 43-46, 2015. テンソル補完 T. Yokota, A. Cichocki. Tensor Completion via Functional Smooth Component Deflation. In Proceedings of 41st International Conference on Audio, Speech, and Signal Processing (ICASSP2016), pp. 2514-2518, 2016. T. Yokota, Q. Zhao, C. Li, and A. Cichocki. Smooth PARAFAC Decomposition for Tensor Completion, IEEE Transactions on Signal Processing, vol. 64, issue 20, pp. 5423-5436, 2016. 2 本日の講演内容
- 3. 3 導入編
- 4. データ(配列)の失われた値を埋め完全なデータにすること 失われた値(missing values)を埋めるためには， 参照可能値(available values), 構造的事前情報(priors), を活用する． 4 補完とは 損失(20%) 補完 補完されたデータ 原データ (未知) 観測データ (未完データ) カラ松 名 姓 松野 ID 9612 チョロ松9613 カラ松 名 姓 松野 ID 9612 チョロ松 松野9613 事前情報: 彼らは兄弟である. おそ松 松野9611 おそ松 松野9611 -- 補完問題 -- -- 例 -- 参照可能 空白 参照可能 推定値
- 5. リコメンデーション (Netflix問題) データ：商品(動画)を購入したユーザがつけた評価ポイント (1~10) 問題：ユーザが次に買ってくれそうな商品(動画)はどれか？ 5 補完の例① User ID 001 User ID 002 User ID 003 User ID 004 10 92 10 89 8 13 1 … … … … …… … … … …
- 6. 画像穴埋め (Image Inpainting) パッチ処理 (局所的類似性)を用いるアプローチ [Criminisi+ 2008] 6 補完の例② 原画像 未完画像 復元画像 [Criminisi+ 2008] A. Criminisi, P. Patrick, and K. Toyama. "Region filling and object removal by exemplar-based image inpainting." IEEE Transactions on image processing, 13.9 (2004): 1200-1212.
- 7. 画像補完 (Image completion) ランク最小化(凸最適化) を用いるアプローチ [Gandy+ 2008] 7 補完の例③ 原画像 未完画像 復元画像 [Gandy+ 2008] S. Gandy, B. Recht, and I. Yamada. "Tensor completion and low-n-rank tensor recovery via convex optimization." Inverse Problems 27.2 (2011): 025010.
- 8. 補完(completion)：不完全なものを「完全」にすること 補間(interpolation)：「間」を埋めること 補間といっても良いし，補完といっても良い例は多い． (私の認識) 補間は特殊，補完は一般， 補完⊃補間 要素の「位置」に意味がある場合には補間と言って良い 要素の「位置」を任意に入れ替え可能な場合は補間とは言わない Netflix問題は「補間ではない補完」の代表的な例 8 補完と補間の違い User ID 001 User ID 002 User ID 003 User ID 004 User ID 001 User ID 003 User ID 002 User ID 004 入れ替え可能 入れ替え可能 入れ替え可能 入れ替え可能
- 9. 9 理論編
- 10. ベクトルデータ補完 (補間または回帰) 未完データを完全にしたい(補完) 事前情報 : この信号変化は滑らかである(隣り合う値の差が小さい) “線形補間” および “多項式補間” による補完 10 ベクトルの補完(補間)
- 11. 行列補完技術 11 行列の補間 1 0 1 1 1 0 0 1 1 1 011 1 0 01 1 1 0 1 1 1 0 01 1 10 1 1 1 0 01 1 1 0 1 1 1 0 0 1 1 入力 出力行列 観測行列 指示行列 復元作用素
- 12. ベクトル補完ができれば，行列補完もできるじゃん？？ No !! ダメ，絶対!! ダメな理由：行列でしか定義できない構造があるから 行列ランク 横方向の連続性 縦方向の連続性 etc 12 行列補完 vs ベクトル補完 ・・・ ・・・ ベクトル展開 行列化 ベクトル補完行列補間
- 13. リコメンダーシステム (Netflix 問題) Netflix, Amazon, 楽天… Rating (1~10) 13 低ランク性に基づく補完の例 User ID 001 User ID 002 User ID 003 User ID 004 10 92 10 89 8 13 1 … … … … …… … … … …
- 14. 14 未完行列の低ランク近似 User ID 001 User ID 002 User ID 003 User ID 004 青いタイプの商品を好む 赤いタイプの商品を好む 青いタイプのみの成分行列 赤いタイプのみの成分行列 青のユーザ 分布ベクトル … … 青の代表スコアベクトル 赤のユーザ 分布ベクトル … … 赤の代表スコアベクトル
- 15. 15 未完行列の低ランク近似 (2) User ID 001 User ID 002 User ID 003 User ID 004 青の成分行列 赤の成分行列 = + ≒ + + +・・・ 一般化 (I*J)-行列 ランク-R 行列近似
- 16. 与えられた未完行列が「低ランク」であると仮定する 問題を定式化 16 低ランク性に基づく行列補完 + + +・・・ ランク-R 行列 ≒ NP困難 [Gillis+ 2011] -- アプローチ1 -- 固定ランクの行列モデル を使って未完行列を近似する -- アプローチ2 -- ランク最小化の代わりに 核ノルムを最小化する
- 18. 行列核ノルム 定義： 最適化問題 核ノルムは凸だが微分できないため近接分離(proximal splitting)に基づ いた凸最適化手法が用いられる． 18 核ノルム最小化による行列補完 =
- 19. 19 低ランク性に基づく行列補完(例) 原画像 未完画像 復元画像 [Li+ 2014] W. Li, L. Zhao, Z. Lin, D. Xu, and D. Lu. "Non‐Local Image Inpainting Using Low‐Rank Matrix Completion." Computer Graphics Forum. Vol. 34, No. 6, pp. 111-122, 2015.
- 21. 平滑性 画像に関しては，核ノルムより本質 Total Variation(TV) による平滑性の評価 最適化問題 TVノルムは凸だが微分できないので近接分離 (proximal splitting)に基づいた凸最適化手法が 用いられる． 21 平滑性を用いた行列補完 -- [Li+ 2014] -- Smooth(TV) method Original Missing Results
- 22. 22 低ランクと平滑性の組み合わせ 原画像 未完画像 核ノルム&TV -- An example of result by LTVNN method [Han et al., 2014] -- 核ノルムのみ TVのみ
- 24. 24 理論編その二：テンソル補完
- 28. 28 テンソルデータの例 Time series signal Multiple channels of time series signal 1階テンソル(ベクトル) 筋電図、心電図 モノラル音声 2階テンソル(行列) 脳電図、脳磁図 X線、濃淡画像 3階テンソル MRI、CT、PET カラー画像 4階テンソル 機能的MRI カラー動画像 Gray-scale image Color image ・・・ MRI，Functional MRI 時間軸
- 29. 与えられたデータが高次元配列(高階テンソル)の場合でも，行列展開 してから行列補完技術を適用すれば補完自体はできる．しかし，それ が良いアプローチかというとそうではない． 例: カラーRGB画像 (3階テンソル) 29 テンソル補完 vs 行列補完 comp. comp. comp. comp. 未完カラー画像 ・赤チャネル ・青チャネル ・緑チャネル 復元後の カラー画像 … … comp. ① ② ③ ① 各チャネル画像間の類似性 を活用できない ② 赤の列，青の列，緑の列の 間の類似性を活用できない ③ 単一チャネル画像の低ラン ク性を活用できない
- 34. HaLRTC [Liu et al., TPAMI 2013] 34 テンソル核ノルム最小化による補完 最適化問題 Augmented Lagrangian function 重み付きテンソル核ノルム
- 35. STDC [Chen et al., TPAMI 2014] 35 Tucker分解に基づくテンソル補完 最適化問題 Augmented Lagrangian function 低ランクなTcuker分解 因子行列Uについての制約
- 37. 37 最適化問題 固定ランクCP分解(平滑制約付き) 最適なRを求める基準 ・ Smoothness constraint ・ PARAFAC decomposition ・ Low rank based model selection
- 38. Algorithm [Yokota et al., IEEE-TSP 2016] 階層的交互最小二乗法 (HALS) インクレメンタルなアプローチでRを求める 38 最適化アルゴリズム RR+1ランク増加
- 39. 39 応用編(実験結果)
- 40. 40 人工データ
- 41. 41 Results: Color Image Completion Matrix completion Tensor completion New 80% 95% Text Scratch
- 42. 42 Results: Color Image Completion Matrix completion Tensor completion New 95% 99%
- 48. 48 CP分解の中身 = = ・・・ ・・・ すごく滑らか -------------------------- 滑らかでない 0 20 40 60 80 100 120 ランク1テンソル のスケール減衰
- 49. 49 Results: Face Filling Problem Figure is referred from [Geng et al., 2011 ] Data size: 30 × 11 × 21 × 1024 peoples, poses, illuminations, pixels
- 50. 50 Results: MRI completion HaLRTC [Liu et al. 2013] STDC [Chen et al. 2014] Proposed (SV) 95% missing -- Signal to Distortion Ratio [dB] --
- 51. 51 拡大 未完MRI (4スライス) 補完結果 (4スライス)