More Related Content
More from Taiji Suzuki (14)
機械学習におけるオンライン確率的最適化の理論
- 29. 関連手法
29
Composite Objective Mirror Descent
Adaptive Subgradient Methods
[Duchi+etal,10]
KL-divergenceを用いればexponentiated gradient descent
あまり発火しない特徴量を強調する.
[Duchi+etal,10]
(FOBOS型)
(RDA型)
- 52. Stochastic Dual Coordinate Ascent
52
1. をランダムに選択
2.次元 方向に最適化
3. 上の1,2を繰り返す.
が強凸で が滑らかな時,
双対ギャップの期待値
[Shalev-Shwartz&Zhang,2012]
指数的収束
関連手法:Lacoste-Julien et al., 2012 (Stochastic block-coordinate Frank-Wolfe法)
(一次元最適化)
※ 正則化関数(の双対関数)を線形近似することも可能.