Submit Search
Upload
Greed is Good: 劣モジュラ関数最大化とその発展
•
Download as PPTX, PDF
•
25 likes
•
8,575 views
Yuichi Yoshida
Follow
Greed is Good: 劣モジュラ関数最大化とその発展
Read less
Read more
Science
Report
Share
Report
Share
1 of 36
Download now
Recommended
劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章
Hakky St
[DL輪読会]1次近似系MAMLとその理論的背景
[DL輪読会]1次近似系MAMLとその理論的背景
Deep Learning JP
レプリカ交換モンテカルロ法で乱数の生成
レプリカ交換モンテカルロ法で乱数の生成
Nagi Teramo
強化学習その1
強化学習その1
nishio
双対性
双対性
Yoichi Iwata
線形計画法入門
線形計画法入門
Shunji Umetani
はじめてのKrylov部分空間法
はじめてのKrylov部分空間法
tmaehara
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
弘毅 露崎
Recommended
劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章
Hakky St
[DL輪読会]1次近似系MAMLとその理論的背景
[DL輪読会]1次近似系MAMLとその理論的背景
Deep Learning JP
レプリカ交換モンテカルロ法で乱数の生成
レプリカ交換モンテカルロ法で乱数の生成
Nagi Teramo
強化学習その1
強化学習その1
nishio
双対性
双対性
Yoichi Iwata
線形計画法入門
線形計画法入門
Shunji Umetani
はじめてのKrylov部分空間法
はじめてのKrylov部分空間法
tmaehara
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
弘毅 露崎
機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門
hoxo_m
最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向
ohken
ブースティング入門
ブースティング入門
Retrieva inc.
深層学習の数理
深層学習の数理
Taiji Suzuki
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
劣モジュラ最適化と機械学習 3章
劣モジュラ最適化と機械学習 3章
Hakky St
数式を使わずイメージで理解するEMアルゴリズム
数式を使わずイメージで理解するEMアルゴリズム
裕樹 奥田
機械学習モデルのハイパパラメータ最適化
機械学習モデルのハイパパラメータ最適化
gree_tech
全域木いろいろ
全域木いろいろ
HCPC: 北海道大学競技プログラミングサークル
ノンパラベイズ入門の入門
ノンパラベイズ入門の入門
Shuyo Nakatani
最適輸送入門
最適輸送入門
joisino
よくわかるフリストンの自由エネルギー原理
よくわかるフリストンの自由エネルギー原理
Masatoshi Yoshida
Sliced Wasserstein距離と生成モデル
Sliced Wasserstein距離と生成モデル
ohken
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
Deep Learning JP
Chokudai search
Chokudai search
AtCoder Inc.
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料
「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料
Ken'ichi Matsui
最適輸送の解き方
最適輸送の解き方
joisino
整数計画法に基づく説明可能性な機械学習へのアプローチ
整数計画法に基づく説明可能性な機械学習へのアプローチ
Kentaro Kanamori
Crfと素性テンプレート
Crfと素性テンプレート
Kei Uchiumi
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西
Keigo Nishida
CVPR2016読み会 Sparsifying Neural Network Connections for Face Recognition
CVPR2016読み会 Sparsifying Neural Network Connections for Face Recognition
Koichi Takahashi
More Related Content
What's hot
機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門
hoxo_m
最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向
ohken
ブースティング入門
ブースティング入門
Retrieva inc.
深層学習の数理
深層学習の数理
Taiji Suzuki
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
劣モジュラ最適化と機械学習 3章
劣モジュラ最適化と機械学習 3章
Hakky St
数式を使わずイメージで理解するEMアルゴリズム
数式を使わずイメージで理解するEMアルゴリズム
裕樹 奥田
機械学習モデルのハイパパラメータ最適化
機械学習モデルのハイパパラメータ最適化
gree_tech
全域木いろいろ
全域木いろいろ
HCPC: 北海道大学競技プログラミングサークル
ノンパラベイズ入門の入門
ノンパラベイズ入門の入門
Shuyo Nakatani
最適輸送入門
最適輸送入門
joisino
よくわかるフリストンの自由エネルギー原理
よくわかるフリストンの自由エネルギー原理
Masatoshi Yoshida
Sliced Wasserstein距離と生成モデル
Sliced Wasserstein距離と生成モデル
ohken
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
Deep Learning JP
Chokudai search
Chokudai search
AtCoder Inc.
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料
「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料
Ken'ichi Matsui
最適輸送の解き方
最適輸送の解き方
joisino
整数計画法に基づく説明可能性な機械学習へのアプローチ
整数計画法に基づく説明可能性な機械学習へのアプローチ
Kentaro Kanamori
Crfと素性テンプレート
Crfと素性テンプレート
Kei Uchiumi
What's hot
(20)
機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門
最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向
ブースティング入門
ブースティング入門
深層学習の数理
深層学習の数理
PRML第6章「カーネル法」
PRML第6章「カーネル法」
劣モジュラ最適化と機械学習 3章
劣モジュラ最適化と機械学習 3章
数式を使わずイメージで理解するEMアルゴリズム
数式を使わずイメージで理解するEMアルゴリズム
機械学習モデルのハイパパラメータ最適化
機械学習モデルのハイパパラメータ最適化
全域木いろいろ
全域木いろいろ
ノンパラベイズ入門の入門
ノンパラベイズ入門の入門
最適輸送入門
最適輸送入門
よくわかるフリストンの自由エネルギー原理
よくわかるフリストンの自由エネルギー原理
Sliced Wasserstein距離と生成モデル
Sliced Wasserstein距離と生成モデル
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
Chokudai search
Chokudai search
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料
「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料
最適輸送の解き方
最適輸送の解き方
整数計画法に基づく説明可能性な機械学習へのアプローチ
整数計画法に基づく説明可能性な機械学習へのアプローチ
Crfと素性テンプレート
Crfと素性テンプレート
Viewers also liked
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西
Keigo Nishida
CVPR2016読み会 Sparsifying Neural Network Connections for Face Recognition
CVPR2016読み会 Sparsifying Neural Network Connections for Face Recognition
Koichi Takahashi
On the Dynamics of Machine Learning Algorithms and Behavioral Game Theory
On the Dynamics of Machine Learning Algorithms and Behavioral Game Theory
Rikiya Takahashi
20170819 CV勉強会 CVPR 2017
20170819 CV勉強会 CVPR 2017
issaymk2
Stochastic Variational Inference
Stochastic Variational Inference
Kaede Hayashi
LCA and RMQ ~簡潔もあるよ!~
LCA and RMQ ~簡潔もあるよ!~
Yuma Inoue
sublabel accurate convex relaxation of vectorial multilabel energies
sublabel accurate convex relaxation of vectorial multilabel energies
Fujimoto Keisuke
プログラミングコンテストでのデータ構造 2 ~動的木編~
プログラミングコンテストでのデータ構造 2 ~動的木編~
Takuya Akiba
DeepLearningTutorial
DeepLearningTutorial
Takayoshi Yamashita
PRML輪読#14
PRML輪読#14
matsuolab
ウェーブレット木の世界
ウェーブレット木の世界
Preferred Networks
Fractality of Massive Graphs: Scalable Analysis with Sketch-Based Box-Coverin...
Fractality of Massive Graphs: Scalable Analysis with Sketch-Based Box-Coverin...
Kenko Nakamura
Practical recommendations for gradient-based training of deep architectures
Practical recommendations for gradient-based training of deep architectures
Koji Matsuda
ORB-SLAMを動かしてみた
ORB-SLAMを動かしてみた
Takuya Minagawa
強化学習その2
強化学習その2
nishio
多項式あてはめで眺めるベイズ推定~今日からきみもベイジアン~
多項式あてはめで眺めるベイズ推定~今日からきみもベイジアン~
tanutarou
最小カットを使って「燃やす埋める問題」を解く
最小カットを使って「燃やす埋める問題」を解く
shindannin
LiDAR点群とSfM点群との位置合わせ
LiDAR点群とSfM点群との位置合わせ
Takuya Minagawa
画像認識モデルを作るための鉄板レシピ
画像認識モデルを作るための鉄板レシピ
Takahiro Kubo
Viewers also liked
(19)
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西
CVPR2016読み会 Sparsifying Neural Network Connections for Face Recognition
CVPR2016読み会 Sparsifying Neural Network Connections for Face Recognition
On the Dynamics of Machine Learning Algorithms and Behavioral Game Theory
On the Dynamics of Machine Learning Algorithms and Behavioral Game Theory
20170819 CV勉強会 CVPR 2017
20170819 CV勉強会 CVPR 2017
Stochastic Variational Inference
Stochastic Variational Inference
LCA and RMQ ~簡潔もあるよ!~
LCA and RMQ ~簡潔もあるよ!~
sublabel accurate convex relaxation of vectorial multilabel energies
sublabel accurate convex relaxation of vectorial multilabel energies
プログラミングコンテストでのデータ構造 2 ~動的木編~
プログラミングコンテストでのデータ構造 2 ~動的木編~
DeepLearningTutorial
DeepLearningTutorial
PRML輪読#14
PRML輪読#14
ウェーブレット木の世界
ウェーブレット木の世界
Fractality of Massive Graphs: Scalable Analysis with Sketch-Based Box-Coverin...
Fractality of Massive Graphs: Scalable Analysis with Sketch-Based Box-Coverin...
Practical recommendations for gradient-based training of deep architectures
Practical recommendations for gradient-based training of deep architectures
ORB-SLAMを動かしてみた
ORB-SLAMを動かしてみた
強化学習その2
強化学習その2
多項式あてはめで眺めるベイズ推定~今日からきみもベイジアン~
多項式あてはめで眺めるベイズ推定~今日からきみもベイジアン~
最小カットを使って「燃やす埋める問題」を解く
最小カットを使って「燃やす埋める問題」を解く
LiDAR点群とSfM点群との位置合わせ
LiDAR点群とSfM点群との位置合わせ
画像認識モデルを作るための鉄板レシピ
画像認識モデルを作るための鉄板レシピ
Greed is Good: 劣モジュラ関数最大化とその発展
1.
Greed is Good: 劣モジュラ関数最大化と その発展 𠮷田
悠一 国立情報学研究所 6月11日 @ PFIセミナー
2.
自己紹介 𠮷田 悠一 国立情報学研究所 情報学プリンシプル研究系
准教授 専門 理論的・実用的に速いアルゴリズムを作ること (理論の道具を使って実用分野を荒らす)
3.
今日のメッセージ 貪欲にやれば大抵うまくいく
4.
例:アンテナ配置問題 目標:B個のアンテナを選んで被覆される人の数を最大化
5.
アンテナ配置問題に対する貪欲法 貪欲法: 「被覆できる人数が一番増えるアンテナを選ぶ」 ことをB回繰り返す。 例: B=2
6.
貪欲法の性能 小さい実データでの実験: (被覆人数ではなくアンテナから得られる情報を最大化)
7.
貪欲法の近似保証 貪欲法は1-1/e近似を与える =最適に配置した場合と比べて 1-1/e ≈ 63%の人を被覆できる 証明のイメージ:最適値との差が毎回1/B割合縮まる 最適値 1
2 3 B0 … 被覆 人数 センサー個数 1 1/B 1 1/B kステップ後の 最適値との差: (1-1/B)B ≤ 1/e割合 1/e
8.
なぜ貪欲法が上手くいくか? アンテナ配置問題には 単調劣モジュラ性 があるから
9.
劣モジュラ関数 V: n個の要素集合 集合関数f: 2V
→ ℝ fが劣モジュラ: 任意のS, T ⊆ Vに対して f(S) + f(T) ≥ f(S ∪ T) + f(S ∩ T) S f(S) T S∪T S∩T ≥ V
10.
劣モジュラ関数の等価な定義 fが劣モジュラ ⇔ 任意のS
⊆ T ⊆ V, v ∈ V Tに対して f(S + v) – f(S) ≥ f(T + v) – f(T) (限界効用逓減性) ≥ S + v v S v ー T + v v T v ー
11.
アンテナ配置問題の単調性 • V =
アンテナの集合 • f(S) =アンテナ集合Sが被覆する人数 アンテナを配置すればするほど被覆できる人数が増える →単調性を満たす
12.
アンテナ配置問題の劣モジュラ性 • V =
アンテナの集合 • f(S) =アンテナ集合Sが被覆する人数 新たにアンテナを配置するときに被覆できる人数は、既に 選んだアンテナが少なければ少ないほど多い。 → 限界効用逓減性=劣モジュラ性を満たす
13.
劣モジュラ関数最大化 入力:単調劣モジュラ関数f: 2V →
ℝ, 整数B 目的:大きさBの集合S ⊆ Vで、f(S)を最大にするものを計算 貪欲法: 「現段階で値が最も上がる要素を集合に加える」 ことをB回繰り返す。 貪欲法は1-1/e近似を与える =最適な集合S*と比べて 1-1/e ≈ 63%の値を達成できる ※1-1/e+ε近似はNP困難
14.
劣モジュラ関数に関する最適化問題 劣モジュラ関数最小化 • 強多項式時間 [Schrijver’00,
Iwata et al.’01] • 最小ノルム点アルゴリズム: 実用的に高速, 擬多項式時間 [Fujishige’80, Chakrabarty et al.’14] 劣モジュラ関数最大化 機械学習分野に多数の応用 • バイラル・マーケティング • センサー配置 • 文書要約 • 広告割当 • 素性選択 これからの内容 • 整数格子上の 劣 モジュラ関数 • k劣モジュラ関数
15.
整数格子上の 劣モジュラ関数最大化
16.
アンテナ配置問題の一般化 先ほどはアンテナを「使う」と「使わない」の二択だった もう少し細やかな配置は出来ないか? • アンテナに強度(0〜100)を許す • 強度の強いアンテナに囲まれた人は満足度が高い
17.
強度付きアンテナ配置問題 人の満足度:その人を被覆するアンテナ強度の和 (ただし100を越えない) 全体の満足度:各人の満足度の和 60 60 60 60 100
18.
強度付きアンテナ配置問題 人の満足度:その人を被覆するアンテナ強度の和 (ただし100を越えない) 全体の満足度:各人の満足度の和 • 三つのアンテナの強度100 →
全体の満足度 = 500 • 全アンテナの強度50 → 全体の満足度 = 600
19.
強度付きアンテナ配置問題 目標:アンテナ強度の和 ≤ Bという制約のもとで全体の 満足度を最大化 (言い換え) 目標:Σv
xv ≤ Bという制約のもとで、f(x)を最大化 f(x) = アンテナvを強度xvで使う時の全体の満足度
20.
強度付きアンテナ配置問題に対する貪欲法 貪欲法: 「全体の満足度が最も上がる様にアンテナの強度 を1ずつ上げる」ことをB回繰り返す。 貪欲法は1-1/e近似を与える なぜ貪欲法は上手く行くか? 強度付きアンテナ配置問題には 単調性&限界効用逓減制 があるから
21.
整数格子上の劣モジュラ関数 fは単調かつ限界効用逓減性を持つ 単調: ∀x ≤
y ∈ ℤV, f(x) ≤ f(y) 0 v1 v2 x y
22.
整数格子上の劣モジュラ関数 fは単調かつ限界効用逓減性を持つ 限界効用逓減性: ∀x ≤
y ∈ ℤV, v ∈ V, f(x + χv) – f(x) ≥ f(y + χv) – f(y) (χv: v方向の単位ベクトル) 0 v1 v2 x+χv1 y+χv1y x 実は整数格子では 劣モジュラ ≠限界効用逓減性
23.
貪欲法の問題点 強度の種類を細かくするとBは非常に大きくなりうる • 強度の種類が100 →
B ≈ 100n • 強度の種類が10000 → B ≈ 10000n 貪欲法の計算時間はÕ(Bn) 遅すぎる!
24.
ほぼ線形時間アルゴリズム [相馬-𠮷田’15a] (1 − 1/e
− ε) 近似解を求めるほぼ線形時間アルゴリズム 正確な計算時間O(n/ε ∙ log B/ε)時間で得る アイデア: 閾値を徐々に下げながら貪欲法 [Badanidiyuru-Vondrák’14] • 満足度の上がり方が閾値以上なら一気に強度を上げる • どこまで上げるかは限界効用逓減性を利用した二分探索
25.
(関連問題の)実験の設定 [相馬-𠮷田’15b] Σxv ≤
Bのもとでf(x)を最大化 ⇔ f(x) ≥ αのもとで Σxvを最小化 Battle of the Water Sensor Networks (BWSN)を用いて実験 • 水の汚染をセンサーで検出 • 汚染を発見するまでにかかる 時間を最小化 • センサー強度 =汚染を検出する確率に対応 http://www.water-simulation.com/wsp/blog/page/9/
26.
実験結果 貪欲法は解の質が良い 改善手法は単純な貪欲法より 数十倍高速化
27.
k劣モジュラ関数最大化
28.
アンテナ配置問題の一般化 アンテナを「使う」と「使わない」の二択 アンテナに種類を許すことは出来ないか? – 強度は強いが貴重なアンテナ – 特定の環境に強いアンテナ 今回はi種目のアンテナはi種目の人に届く設定を考える
29.
k種アンテナ配置問題 アンテナの種類={緑, 黄, 赤} 緑色のアンテナを配置
→ 範囲内の緑の人を被覆 一つのアンテナには一種類の色しか割り当てられない
30.
k種アンテナ配置問題 目標:各アンテナの色を選んで被覆される人の数を最大化 貪欲法: 「被覆できる人数が一番増える様にアンテナに 色を塗る」ことを、全てのアンテナに色を塗り 終わるまで繰り返す
31.
貪欲法の近似保証 なぜ貪欲法は上手く行くか? k種アンテナ配置問題には 単調k劣モジュラ性 があるから • 貪欲法は1/2近似解を与える • (k+1)/2k+ε近似はNP困難 [岩田-谷川-𠮷田’15]
32.
k劣モジュラ性 単調k劣モジュラ ⇔ 単調
& 象限劣モジュラ 象限劣モジュラ: 各アンテナの使える色を一つに限定することで得られる 関数f: 2V → ℝが劣モジュラ 使わない or 黄色 使わない or 緑色 使わない or 赤色
33.
サイズ制約付きk劣モジュラ関数最大化 制約①:アンテナを計B個まで使える 制約②:i種目のアンテナはBi個まで使える 自明な貪欲法はO(knB)時間かかって遅すぎる • 貪欲法は制約①に対して1/2近似解を与える • 貪欲法は制約②に対して1/3近似解を与える •
①に対するO(kn log2B)時間アルゴリズム • ②に対するO(k2nlog2B)時間アルゴリズム [大坂-𠮷田’15] (k+1)/2k+ε近似はNP困難 [岩田-谷川-𠮷田’15]
34.
実験の設定 Intel Lab Dataを用いて実験 部屋の54カ所に置かれたセンサーから得られた湿度、温 度、光量のデータ 湿度センサー、温度センサー、光量センサーをそれぞれ1 個〜18個置いた時に得られる情報量を最大化 http://db.csail.mit.edu/labdata/labdata.html
35.
実験結果 貪欲法は一種のセンサー のみを使う手法よりも 性能が高い 改善手法は単純な 貪欲手法より数割高速
36.
まとめ 機械学習の様々な問題は単調劣モジュラ性を持つ → 貪欲法が上手く動く 様々な拡張 • 整数格子:1-1/e近似
& ほぼ線形時間 • k劣モジュラ:1/2近似 & ほぼ線形時間 今後の方向性 • 実用的には99%ぐらいの近似度。何故か? • 最小化への応用?
Editor's Notes
多項式時間
Download now