リプシッツ連続性に基づく勾配法・ニュートン型手法の計算量解析
•
9 likes•8,376 views
リプシッツ連続性に基づく勾配法・ニュートン型手法の計算量解析 2011年 RAMP シンポジウム講演資料 制約なし最適化問題に対するアルゴリズムの計算量解析について紹介しています． 研究室ＨＰ http://www-optima.amp.i.kyoto-u.ac.jp
Recommended
More Related Content
What's hot
What's hot (20)
More from 京都大学大学院情報学研究科数理工学専攻
More from 京都大学大学院情報学研究科数理工学専攻 (19)
リプシッツ連続性に基づく勾配法・ニュートン型手法の計算量解析
- 1. リプシッツ連続性に基づく 勾配法・ニュートン型手法の計算量解析 京都大学大学院 情報学研究科 数理工学専攻 上田 健詞， 山下信雄 ２０１１年 ＲＡＭＰシンポジウム 講演資料
- 2. 平成28年度 数理工学専攻説明会 第１回： 平成２８年５月 ７日(土) １３：３０～ 第２回： 平成２８年５月３０日(月) １７：００～ 場所、プログラムの詳細は以下の専攻ＨＰをご覧ください。 http://www.amp.i.kyoto-u.ac.jp ＊説明会は教員とのコネクションを作るチャンスです。 ＊本説明会は修士課程の説明会も兼ねています。 京都大学大学院 情報学研究科 数理工学専攻 博士後期課程の学生募集
- 6. 解法の評価基準 収束率 解の近傍での収束の速さ ： 解 ： を満たす定数 ： 0に収束する点列 ： を満たす定数 大域的収束性 どの初期点 から始めても解に収束する 1次収束 超1次収束 2次収束 5／57
- 10. 大域的反復回数 大域的反復回数 近似解を求めるまでに必要となる反復回数の上限 近似解の条件 が凸関数でない（非凸）とき （停留点の近似解） （ は近似解の精度） 最近、大域的反復回数の研究が盛んに行われている が凸関数のとき 9／57
- 11. 大域的反復回数の見方 大域的反復回数が （ が非凸のとき（ が近似解の条件）） （ が非凸のとき（ が近似解の条件）） 例（ のとき） 10／57
- 13. リプシッツ連続性 リプシッツ連続性 がリプシッツ連続 ＝ を満たす非負の定数 （リプシッツ定数）が存在する （定義） 本発表では、 や のリプシッツ連続性を使う ： のリプシッツ定数 ： のリプシッツ定数 行列 に対して 12／57
- 14. はリプシッツ連続（ （ の最大固有値）） 勾配・ヘッセ行列ともにリプシッツ連続となる例 2次関数 （ ：半正定値） もリプシッツ連続（ ） （一般に、） リプシッツ定数は問題の規模（次元 ）の影響を受けない 13／57
- 21. 大域的反復回数（再掲） 大域的反復回数 近似解を求めるまでに必要となる反復回数の上限 近似解の条件 （停留点の近似解） （ は近似解の精度） 最近、大域的反復回数の研究が盛んに行われている が凸関数のとき が凸関数でない（非凸）とき 20／57
- 24. 大域的反復回数を改善できるか？ 大域的反復回数＝反復回数の上限 よりも良い見積もりが与えられるかもしれない 定理2 [Cartisら（2010）] 任意の正の定数 に対して、 最急降下法の反復回数が となり、 がリプシッツ連続となる問題を構成できる よりも良くならない （追加の仮定が必要） 23／57
- 26. ニュートン法（＋信頼領域法） 反復点の更新 信頼半径の更新 （ が大きいとき） （ が小さいとき） （ が大きいとき） （ が小さいとき） から大きくする から小さくする 信頼半径をうまく更新して、大域的収束性を保証する 25／57
- 27. ニュートン法の探索方向の求め方 定理3 が制約つき部分問題の大域的最適解となるための 必要十分条件は を満たす が存在することである。 は半正定値行列 のとき、 となるため、 の解が のとき、 の方程式 を解き、 となる とする 26／57
- 28. ニュートン法の大域的反復回数 定理4 [Grattonら（2008）] がリプシッツ連続であるとき、大域的反復回数は 最悪の場合でも、 ニュートン法は最急降下法と同じ振る舞いをする ただし、 を求めるための計算量は考慮していない （ の非線形方程式） 27／57
- 29. ニュートン法の大域的反復回数 定理5 [Cartisら（2010）] 任意の正の定数 に対して、 ニュートン法の反復回数が となり、 がリプシッツ連続となる問題を構成できる よりも良くならない （追加の仮定が必要） 28／57
- 31. 3次正則化ニュートン法の探索方向の求め方 定理6 [Nesterovら（2006）] が制約なし部分問題の大域的最適解となるための 必要十分条件は を満たす が存在することである。 とした の方程式 を解き、 とする は半正定値行列 30／57
- 32. 3次正則化ニュートン法の大域的反復回数 定理7 [Nesterovら（2006）] がリプシッツ連続であるとき、大域的反復回数は 最急降下法やニュートン法よりも良い上限を持つ ただし、 を求めるための計算量は考慮していない （ の非線形方程式） 31／57
- 33. 3次正則化ニュートン法の大域的反復回数 定理8 [Cartisら（2010）] 任意の正の定数 に対して、 3次正則化ニュートン法の反復回数が で がリプシッツ連続となる問題を構成できる よりも良くならない （追加の仮定が必要） 32／57
- 35. 正則化ニュートン法の探索方向の特徴 は強凸関数なので、 1. 探索方向が陽に求まる 2. のとき、最急降下法の探索方向 3. のとき、ニュートン法の探索方向 解の近傍では、 34／57
- 37. 仮定の追加による大域的反復回数の改善 定理10 [上田・山下（2009）] がリプシッツ連続であり、かつ を満たす正の定数 と が存在するとき、 大域的反復回数は 最急降下法やニュートン法よりも良い上限を持つ 36／57
- 40. LM法の特徴 は強凸関数なので、 1. 探索方向が陽に求まる 2. 解の近傍では超1次収束する 3. の1階微分しか必要としない ニュートン法だと の2階微分が必要 最急降下法（1次収束）よりも局所的な振る舞いが良い 39／57
- 44. 大域的反復回数（再掲） 大域的反復回数 近似解を求めるまでに必要となる反復回数の上限 近似解の条件 （停留点の近似解） （ は近似解の精度） 最近、大域的反復回数の研究が盛んに行われている が凸関数のとき が凸関数でない（非凸）とき 43／57
- 49. 3次正則化ニュートン法の大域的反復回数 定理13 [Nesterovら（2006）] がリプシッツ連続であるとき、大域的反復回数は 最急降下法よりも良い上限を持つ ただし、 を求めるための計算量は考慮していない （ の非線形方程式） 48／57
- 55. 大域的反復回数 大域的反復回数 近似解を求めるまでに必要となる反復回数の上限 近似解の条件 が凸関数でない（非凸）とき （停留点の近似解） （ は近似解の精度） 最近、大域的反復回数の研究が盛んに行われている が凸関数のとき 54／57
- 56. リプシッツ連続性 リプシッツ連続性 がリプシッツ連続 ＝ を満たす非負の定数 （リプシッツ定数）が存在する （定義） 本発表では、 や のリプシッツ連続性を使う ： のリプシッツ定数 ： のリプシッツ定数 行列 に対して 55／57