Submit Search
Upload
CVIM#11 3. 最小化のための数値計算
•
27 likes
•
59,767 views
S
sleepy_yoshi
Follow
CVIM勉強会#11 1章バンドルアジャストメント 3. 最小化のための数値計算
Read less
Read more
Technology
Report
Share
Report
Share
1 of 50
Download now
Download to read offline
Recommended
20090924 姿勢推定と回転行列
20090924 姿勢推定と回転行列
Toru Tamaki
3Dマップを活用したVisual Localization
3Dマップを活用したVisual Localization
Hajime Taira
[DL輪読会]Control as Inferenceと発展
[DL輪読会]Control as Inferenceと発展
Deep Learning JP
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
Kenyu Uehara
Introduction to YOLO detection model
Introduction to YOLO detection model
WEBFARMER. ltd.
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
Hironobu Fujiyoshi
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
Recommended
20090924 姿勢推定と回転行列
20090924 姿勢推定と回転行列
Toru Tamaki
3Dマップを活用したVisual Localization
3Dマップを活用したVisual Localization
Hajime Taira
[DL輪読会]Control as Inferenceと発展
[DL輪読会]Control as Inferenceと発展
Deep Learning JP
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
Kenyu Uehara
Introduction to YOLO detection model
Introduction to YOLO detection model
WEBFARMER. ltd.
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
Hironobu Fujiyoshi
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
coordinate descent 法について
coordinate descent 法について
京都大学大学院情報学研究科数理工学専攻
三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)
Tomohiro Motoda
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
Deep Learning JP
Sift特徴量について
Sift特徴量について
la_flance
SuperGlue;Learning Feature Matching with Graph Neural Networks (CVPR'20)
SuperGlue;Learning Feature Matching with Graph Neural Networks (CVPR'20)
Yusuke Uchida
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
Yuta Kikuchi
3次元レジストレーション(PCLデモとコード付き)
3次元レジストレーション(PCLデモとコード付き)
Toru Tamaki
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII
動画像を用いた経路予測手法の分類
動画像を用いた経路予測手法の分類
Tsubasa Hirakawa
強化学習エージェントの内発的動機付けによる探索とその応用(第4回 統計・機械学習若手シンポジウム 招待公演)
強化学習エージェントの内発的動機付けによる探索とその応用(第4回 統計・機械学習若手シンポジウム 招待公演)
Shota Imai
機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門
hoxo_m
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII
[DL輪読会]YOLO9000: Better, Faster, Stronger
[DL輪読会]YOLO9000: Better, Faster, Stronger
Deep Learning JP
最適化超入門
最適化超入門
Takami Sato
劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章
Hakky St
Deep Learningと画像認識 ~歴史・理論・実践~
Deep Learningと画像認識 ~歴史・理論・実践~
nlab_utokyo
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
narumikanno0918
Graph Neural Networks
Graph Neural Networks
tm1966
2次元/3次元幾何学変換の統一的な最適計算論文
2次元/3次元幾何学変換の統一的な最適計算論文
doboncho
実践コンピュータビジョン 3章 画像間の写像
実践コンピュータビジョン 3章 画像間の写像
yaju88
More Related Content
What's hot
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
coordinate descent 法について
coordinate descent 法について
京都大学大学院情報学研究科数理工学専攻
三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)
Tomohiro Motoda
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
Deep Learning JP
Sift特徴量について
Sift特徴量について
la_flance
SuperGlue;Learning Feature Matching with Graph Neural Networks (CVPR'20)
SuperGlue;Learning Feature Matching with Graph Neural Networks (CVPR'20)
Yusuke Uchida
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
Yuta Kikuchi
3次元レジストレーション(PCLデモとコード付き)
3次元レジストレーション(PCLデモとコード付き)
Toru Tamaki
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII
動画像を用いた経路予測手法の分類
動画像を用いた経路予測手法の分類
Tsubasa Hirakawa
強化学習エージェントの内発的動機付けによる探索とその応用(第4回 統計・機械学習若手シンポジウム 招待公演)
強化学習エージェントの内発的動機付けによる探索とその応用(第4回 統計・機械学習若手シンポジウム 招待公演)
Shota Imai
機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門
hoxo_m
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII
[DL輪読会]YOLO9000: Better, Faster, Stronger
[DL輪読会]YOLO9000: Better, Faster, Stronger
Deep Learning JP
最適化超入門
最適化超入門
Takami Sato
劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章
Hakky St
Deep Learningと画像認識 ~歴史・理論・実践~
Deep Learningと画像認識 ~歴史・理論・実践~
nlab_utokyo
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
narumikanno0918
Graph Neural Networks
Graph Neural Networks
tm1966
What's hot
(20)
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
coordinate descent 法について
coordinate descent 法について
三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
Sift特徴量について
Sift特徴量について
SuperGlue;Learning Feature Matching with Graph Neural Networks (CVPR'20)
SuperGlue;Learning Feature Matching with Graph Neural Networks (CVPR'20)
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
3次元レジストレーション(PCLデモとコード付き)
3次元レジストレーション(PCLデモとコード付き)
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
動画像を用いた経路予測手法の分類
動画像を用いた経路予測手法の分類
強化学習エージェントの内発的動機付けによる探索とその応用(第4回 統計・機械学習若手シンポジウム 招待公演)
強化学習エージェントの内発的動機付けによる探索とその応用(第4回 統計・機械学習若手シンポジウム 招待公演)
機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
[DL輪読会]YOLO9000: Better, Faster, Stronger
[DL輪読会]YOLO9000: Better, Faster, Stronger
最適化超入門
最適化超入門
劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章
Deep Learningと画像認識 ~歴史・理論・実践~
Deep Learningと画像認識 ~歴史・理論・実践~
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
Graph Neural Networks
Graph Neural Networks
Viewers also liked
2次元/3次元幾何学変換の統一的な最適計算論文
2次元/3次元幾何学変換の統一的な最適計算論文
doboncho
実践コンピュータビジョン 3章 画像間の写像
実践コンピュータビジョン 3章 画像間の写像
yaju88
Dimension Reduction And Visualization Of Large High Dimensional Data Via Inte...
Dimension Reduction And Visualization Of Large High Dimensional Data Via Inte...
wl820609
Methods of Manifold Learning for Dimension Reduction of Large Data Sets
Methods of Manifold Learning for Dimension Reduction of Large Data Sets
Ryan B Harvey, CSDP, CSM
Manifold learning with application to object recognition
Manifold learning with application to object recognition
zukun
Topic Models
Topic Models
Claudia Wagner
The Gaussian Process Latent Variable Model (GPLVM)
The Gaussian Process Latent Variable Model (GPLVM)
James McMurray
関東CV勉強会 Kernel PCA (2011.2.19)
関東CV勉強会 Kernel PCA (2011.2.19)
Akisato Kimura
Numpy scipyで独立成分分析
Numpy scipyで独立成分分析
Shintaro Fukushima
Self-organizing map
Self-organizing map
Tarat Diloksawatdikul
[Kim+ ICML2012] Dirichlet Process with Mixed Random Measures : A Nonparametri...
[Kim+ ICML2012] Dirichlet Process with Mixed Random Measures : A Nonparametri...
Shuyo Nakatani
基底変換、固有値・固有ベクトル、そしてその先
基底変換、固有値・固有ベクトル、そしてその先
Taketo Sano
WSDM2016読み会 Collaborative Denoising Auto-Encoders for Top-N Recommender Systems
WSDM2016読み会 Collaborative Denoising Auto-Encoders for Top-N Recommender Systems
Kotaro Tanahashi
Visualizing Data Using t-SNE
Visualizing Data Using t-SNE
Tomoki Hayashi
Hyperoptとその周辺について
Hyperoptとその周辺について
Keisuke Hosaka
AutoEncoderで特徴抽出
AutoEncoderで特徴抽出
Kai Sasaki
LDA入門
LDA入門
正志 坪坂
Viewers also liked
(17)
2次元/3次元幾何学変換の統一的な最適計算論文
2次元/3次元幾何学変換の統一的な最適計算論文
実践コンピュータビジョン 3章 画像間の写像
実践コンピュータビジョン 3章 画像間の写像
Dimension Reduction And Visualization Of Large High Dimensional Data Via Inte...
Dimension Reduction And Visualization Of Large High Dimensional Data Via Inte...
Methods of Manifold Learning for Dimension Reduction of Large Data Sets
Methods of Manifold Learning for Dimension Reduction of Large Data Sets
Manifold learning with application to object recognition
Manifold learning with application to object recognition
Topic Models
Topic Models
The Gaussian Process Latent Variable Model (GPLVM)
The Gaussian Process Latent Variable Model (GPLVM)
関東CV勉強会 Kernel PCA (2011.2.19)
関東CV勉強会 Kernel PCA (2011.2.19)
Numpy scipyで独立成分分析
Numpy scipyで独立成分分析
Self-organizing map
Self-organizing map
[Kim+ ICML2012] Dirichlet Process with Mixed Random Measures : A Nonparametri...
[Kim+ ICML2012] Dirichlet Process with Mixed Random Measures : A Nonparametri...
基底変換、固有値・固有ベクトル、そしてその先
基底変換、固有値・固有ベクトル、そしてその先
WSDM2016読み会 Collaborative Denoising Auto-Encoders for Top-N Recommender Systems
WSDM2016読み会 Collaborative Denoising Auto-Encoders for Top-N Recommender Systems
Visualizing Data Using t-SNE
Visualizing Data Using t-SNE
Hyperoptとその周辺について
Hyperoptとその周辺について
AutoEncoderで特徴抽出
AutoEncoderで特徴抽出
LDA入門
LDA入門
Similar to CVIM#11 3. 最小化のための数値計算
PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7
sleepy_yoshi
PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5
sleepy_yoshi
Cv 14th
Cv 14th
Junichi Ido
TokyoNLP#5 パーセプトロンで楽しい仲間がぽぽぽぽ~ん
TokyoNLP#5 パーセプトロンで楽しい仲間がぽぽぽぽ~ん
sleepy_yoshi
Chap12 4 appendix_suhara
Chap12 4 appendix_suhara
sleepy_yoshi
Chap12 4 appendix_suhara
Chap12 4 appendix_suhara
sleepy_yoshi
Zetavalue
Zetavalue
guest1637f9
086 独立性の検定
086 独立性の検定
t2tarumi
CVIM mean shift-3
CVIM mean shift-3
正志 坪坂
Pyramid
Pyramid
tomerun
University CodeSprint 4 - Magic value
University CodeSprint 4 - Magic value
satanic
WUPC2nd I問題
WUPC2nd I問題
Dai Hamada
コンピュータで全く使われない数表現
コンピュータで全く使われない数表現
Yu(u)ki IWABUCHI
Similar to CVIM#11 3. 最小化のための数値計算
(13)
PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5
Cv 14th
Cv 14th
TokyoNLP#5 パーセプトロンで楽しい仲間がぽぽぽぽ~ん
TokyoNLP#5 パーセプトロンで楽しい仲間がぽぽぽぽ~ん
Chap12 4 appendix_suhara
Chap12 4 appendix_suhara
Chap12 4 appendix_suhara
Chap12 4 appendix_suhara
Zetavalue
Zetavalue
086 独立性の検定
086 独立性の検定
CVIM mean shift-3
CVIM mean shift-3
Pyramid
Pyramid
University CodeSprint 4 - Magic value
University CodeSprint 4 - Magic value
WUPC2nd I問題
WUPC2nd I問題
コンピュータで全く使われない数表現
コンピュータで全く使われない数表現
More from sleepy_yoshi
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
sleepy_yoshi
KDD2013読み会: Direct Optimization of Ranking Measures
KDD2013読み会: Direct Optimization of Ranking Measures
sleepy_yoshi
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#15 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#13 前回までのあらすじ
PRML復々習レーン#13 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#12 前回までのあらすじ
PRML復々習レーン#12 前回までのあらすじ
sleepy_yoshi
ICML2013読み会: Distributed training of Large-scale Logistic models
ICML2013読み会: Distributed training of Large-scale Logistic models
sleepy_yoshi
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
sleepy_yoshi
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-
sleepy_yoshi
PRML復々習レーン#11 前回までのあらすじ
PRML復々習レーン#11 前回までのあらすじ
sleepy_yoshi
SMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装する
sleepy_yoshi
PRML復々習レーン#10 前回までのあらすじ
PRML復々習レーン#10 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#10 7.1.3-7.1.5
sleepy_yoshi
PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 6.3-6.3.1
sleepy_yoshi
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
sleepy_yoshi
SIGIR2012勉強会 23 Learning to Rank
SIGIR2012勉強会 23 Learning to Rank
sleepy_yoshi
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
sleepy_yoshi
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
sleepy_yoshi
PRML復々習レーン#3 前回までのあらすじ
PRML復々習レーン#3 前回までのあらすじ
sleepy_yoshi
More from sleepy_yoshi
(20)
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
KDD2013読み会: Direct Optimization of Ranking Measures
KDD2013読み会: Direct Optimization of Ranking Measures
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#13 前回までのあらすじ
PRML復々習レーン#13 前回までのあらすじ
PRML復々習レーン#12 前回までのあらすじ
PRML復々習レーン#12 前回までのあらすじ
ICML2013読み会: Distributed training of Large-scale Logistic models
ICML2013読み会: Distributed training of Large-scale Logistic models
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-
PRML復々習レーン#11 前回までのあらすじ
PRML復々習レーン#11 前回までのあらすじ
SMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装する
PRML復々習レーン#10 前回までのあらすじ
PRML復々習レーン#10 前回までのあらすじ
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
SIGIR2012勉強会 23 Learning to Rank
SIGIR2012勉強会 23 Learning to Rank
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
PRML復々習レーン#3 前回までのあらすじ
PRML復々習レーン#3 前回までのあらすじ
Recently uploaded
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
Shota Ito
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
iPride Co., Ltd.
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
osamut
プレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツール
sugiuralab
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
iPride Co., Ltd.
プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価
sugiuralab
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
Atomu Hidaka
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
Recently uploaded
(8)
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
プレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツール
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
CVIM#11 3. 最小化のための数値計算
1.
第11回CV勉強会 1章 バンドルアジャストメント 3. 最小化のための数値計算 (勉強会後修正版) 2011-04-16 Yoshihiko
Suhara @sleepy_yoshi
2.
目次 • 3. 最小化のための数値計算 –
3.1 最小二乗のためのニュートン法 – 3.2 ニュートン法以外の方法 – 3.3 実装方法 – 3.4 数値計算ライブラリの利用 2
3.
3. 最小化のための数値計算 3
4.
誤差の数値最小化 • 誤差関数の最小化 (最適化) –
観測データを用いて表現される誤差関数を最小化するパ ラメータを計算する • 今回の範囲では 𝐸 𝒙 = 1 2 𝑒𝑘 2 2𝑛𝑚 𝑘 – 誤差 • 二乗誤差 – パラメータ • カメラのパラメータ • 特徴点 4
5.
3.1. 最小二乗のためのニュートン法 5
6.
最小二乗法の計算 • 線形最小二乗法 – 閉じた解で求まる
(正規方程式) • 非線形最小二乗法 – 反復計算が必要 – 𝒙(𝑡+1) = 𝒙(𝑡) + 𝛿𝒙 6
7.
3.1.1 ガウス・ニュートン法 7
8.
最急降下法 • 一次微分 (一次近似)
を利用する方法 𝑥(𝑡+1) = 𝑥 𝑡 − 𝜂𝛻𝐸(𝑥 𝑡 ) • 誤差関数のパラメータに関する微分がわかればよい – ただし,進む方向しかわからないので,学習率が必要 – 学習率が大きいと最適解を飛び越えてしまう可能性 E(x) x 𝑥(1) 𝑥(2) 8
9.
ニュートン法 • 二次微分 (二次近似)
を利用する方法 𝑥(𝑡+1) = 𝑥 𝑡 − 𝐇−1 𝛻𝐸 𝑥 𝑡 – 解の周辺での収束が早い • 二階微分の情報 (ヘッセ行列) が必要 – さらにヘッセ行列の逆行列計算も必要 E(x) x 𝑥(1) 𝑥(2) 𝑥(3) 9
10.
ニュートン法 (一変数の場合) • テイラー展開
(二次の項まで) 𝑓 𝑥 + 𝛿𝑥 = 𝑓 𝑥 + 𝑓′ 𝑥 𝛿𝑥 + 1 2 𝑓′′ 𝑥 𝛿𝑥 2 • 𝑓 𝑥 + 𝑓′ 𝑥 𝛿𝑥 + 1 2 𝑓′′ 𝑥 𝛿𝑥 2 • これを最小化する𝛿𝑥を求める – 𝛿𝑥で微分して0とおく 𝑓′ 𝑥 + 𝑓′′ 𝑥 𝛿𝑥 = 0 𝛿𝑥 = − 𝑓′ 𝑥 𝑓′′ 𝑥 10
11.
ニュートン法 (多変数の場合) • 多変数の場合 •
𝐸 𝒙 + 𝛿𝒙 = 𝐸 𝒙 + 𝒈𝑇 𝛿𝒙 + 1 2 𝛿𝒙𝑇 H𝛿𝒙 • gはEの勾配ベクトル,Hはヘッセ行列 • 右辺を𝛿𝒙で微分して0とおくと以下を得る 𝛿𝒙 = −H−1 𝒈 11
12.
ヘッセ行列が正定値である必要性 • ヘッセ行列が正定値=二次微分が正 – 二次近似が全てのxについて凸関数になっていると いう保証 –
そうでなければ,どこかで凹となる次元が発生 E(x) x 𝑥(𝑘) 𝑥(𝑘+1) これはマズい 12
13.
ガウス・ニュートン法 ≠ ニュートン法 •
ガウス・ニュートン法 ∈ ニュートン法 – ニュートン法の実現方法の一種 • ガウス・ニュートン法を利用する目的 – ヘッセ行列を計算するのは大変 – 逆行列を計算してはいけない (数値計算の常識) – ヤコビ行列の積によって表現 13
14.
ガウス・ニュートン法とは • 𝐻 ≈
𝐽𝑇 𝐽という近似を用いたニュートン法 – 𝐽はヤコビ行列 • 𝐻 ≈ 𝐽𝑇 𝐽の精度が高くなるのは最小解付近や eの二階微分が小さい場合など (後で証明) 14
15.
ヤコビ行列 • J = 𝑑𝒆 𝑑𝒙 = 𝜕𝑒1 𝜕𝑥1 ⋯ 𝜕𝑒1 𝜕𝑥𝑛 ⋮
⋱ ⋮ 𝜕𝑒𝑘 𝜕𝑥1 ⋯ 𝜕𝑒𝑘 𝜕𝑥𝑛 • 𝐻 ≈ J𝑇J • J𝑇 J = 𝜕𝑒𝑖 𝜕𝑥1 2 𝑘 𝑖=1 ⋯ 𝜕𝑒𝑖 𝜕𝑥1 𝜕𝑒𝑖 𝜕𝑥𝑛 𝑘 𝑖=1 ⋮ ⋱ ⋮ 𝜕𝑒𝑖 𝜕𝑥𝑛 𝜕𝑒𝑖 𝜕𝑥1 𝑘 𝑖=1 ⋯ 𝜕𝑒𝑖 𝜕𝑥𝑛 2 𝑘 𝑖=1 15
16.
ヤコビ行列を使った表現 • 𝑎 ≡
−𝒈 = −J𝑇 𝒆 なぜ? • 𝒈 = 𝜕𝐸 𝜕𝒙1 ⋮ 𝜕𝐸 𝜕𝒙𝑛 𝜕𝐸 𝜕𝒙1 = 𝜕 1 2 𝒆𝑘 2 𝑘 𝜕𝒙1 = 𝒆𝑘 𝜕𝒆𝑘 𝜕𝒙1 𝑘 • JT = 𝜕𝑒1 𝜕𝑥1 ⋯ 𝜕𝑒𝑘 𝜕𝑥1 ⋮ ⋱ ⋮ 𝜕𝑒1 𝜕𝑥𝑛 ⋯ 𝜕𝑒𝑘 𝜕𝑥𝑛 𝒆 = 𝒆1 ⋮ 𝒆𝑘 16
17.
ガウス・ニュートン近似の導出 • 誤差関数𝐸を𝑥𝑖で微分 𝜕𝐸 𝜕𝑥𝑖 = 𝒆𝑘 𝜕𝒆𝑘 𝜕𝑥𝑖 𝑘 •
さらに𝑥𝑗で微分 𝜕𝐸 𝜕𝑥𝑖𝜕𝑥𝑗 = 𝜕𝒆𝑘 𝜕𝑥𝑖 𝜕𝒆𝑘 𝜕𝑥𝑗 +𝒆𝑘 𝜕2 𝒆𝑘 𝜕𝑥𝑖𝜕𝑥𝑗 𝑘 • 𝒙が解に近いと 𝒆𝑘 ≈ 0 ∀𝑘 より 𝜕𝐸 𝜕𝑥𝑖𝜕𝑥𝑗 ≈ 𝜕𝒆𝑘 𝜕𝑥𝑖 𝜕𝒆𝑘 𝜕𝑥𝑗 𝑘 17
18.
アルゴリズム 1. 適当な初期値𝒙を設定 2. パラメータ𝒙におけるJ𝑇 Jおよび−J𝑇 𝐞
を計算 3. JT J 𝛿𝒙 = −J𝑇 𝒆 を解いて 𝛿𝒙 を算出 4. 更新 𝒙 ← 𝒙 + 𝛿𝒙 5. 収束判定 – 変化量 𝛿𝐸 /|𝐸|あるいは 𝛿𝒙 / 𝒙 が十分小さ いとき終了.そうでなければ2へ. 18
19.
おさらい • 線形最小二乗法は閉じた解でパラメータが求 まる – そもそも反復計算がいらない •
ガウス・ニュートン法は誤差関数を二乗和の 形で表現できないと利用できない • よって,ガウス・ニュートン法はまさしく非線形 最小二乗法のための方法 19
20.
3.1.2. レベンバーグ・マーカート法 20
21.
レベンバーグ・マーカート法 • ガウス・ニュートン法+最急降下法 – 初期は最急降下法で進み,解の近くでガウス・ ニュートン法に切り替える –
ダンピングファクタ𝜆を利用 (𝜆 ≥ 0) • 𝜆大: 最急降下法 • 𝜆 = 0: ガウス・ニュートン法 – J𝑇J + 𝜆I 𝛿𝒙 = −J𝑇𝒆 • 解釈 – 𝛿𝒙 = − J𝑇J + 𝜆I −1 J𝑇𝒆 21
22.
𝜆の設定方法 1. 適当な値から始める 2. (21)式を解いて𝛿𝒙を求める 3.
E 𝒙 + 𝛿𝒙 ≥ 𝐸(𝒙)の場合,𝜆を10倍する.そ うでなければ,𝜆を0.1倍する 4. 収束しなければ2.に戻る E(x) x 上ってしまったら最急降下法気味に 下がる限りはガウス・ニュートン法気味に 22
23.
3.2. ニュートン法以外の方法 23
24.
ニュートン法以外の方法 • ニュートン法の派生アルゴリズムは,標準的 に使用すべし – 準ニュートン法 •
ヘッセ行列の分解コストが大きい場合にのみ 共役勾配法の使用を検討すればよい • ニュートン法の計算を削減することは可能 – 後述 24
25.
補足 • NLPや機械学習応用分野においては準 ニュートン法であるBFGS (L-BFGS)
法がよく使 われる – 基本的に誤差関数は凸関数であることが多い – 他には共役勾配法も有効な場合もある 25
26.
3.3. 実装方法 26
27.
3.3.1 更新量の計算 27
28.
線型方程式の計算 • ニュートン法における反復では,以下の線型 方程式を効率よく計算することがカギとなる A𝛿𝒙 =
𝒙 • 逆行列を使えば以下の式で求まるが,計算 量,精度で問題あり 𝛿𝒙 = A−1 𝒙 – 数値計算の常識 28
29.
線型方程式の解法 • 一般の行列Aに対する選択肢 – ガウスの消去法 –
LU分解 – コレスキー分解 • 行列Aが対称かつ正定値の場合 29
30.
LU分解とコレスキー分解 • LU分解 (A
= LU) A = ⋯ 𝟎 ⋮ ⋱ ⋮ ⋯ ⋯ ⋮ ⋱ ⋮ 𝟎 ⋯ • コレスキー分解 (A = LLT ) A = ⋯ 𝟎 ⋮ ⋱ ⋮ ⋯ ⋯ ⋮ ⋱ ⋮ 𝟎 ⋯ 𝐿 𝑈 𝐿𝑇 𝐿 30
31.
コレスキー分解を用いた解法 • 準備 – 𝑦
≡ L𝑇𝛿𝒙 とおく – A𝛿𝒙 = LL𝑇 𝛿𝒙 = L𝒚 = 𝒂 • 手順 1. Aをコレスキー分解し,Lを得る 2. L𝒚 = 𝒂 を𝒚について解く • Lが三角行列なので,Lの行を上から順番に処理すれ ば計算できる 3. LT δ𝒙 = 𝒚をδ𝒙について解く • 上記の逆 31
32.
補足: 前進代入と後退代入 = 𝑦1 𝑦2 𝑦𝑛 = 𝛿𝑥1 𝛿𝑥𝑛−1 𝛿𝑥𝑛 32
33.
コレスキー分解の処理 • 省略 – 行列の数値計算の文献を参照 •
行列の行数分だけ平方根の計算が必要 – 修正コレスキー分解 33
34.
その他の方法 • ガウスの消去法 – 計算量が若干大きい •
等価な線型最小二乗法を解く J𝛿𝒙 + 𝒆 2 → min. – 導出 • JTJ𝛿𝒙 = −JT𝒆 • J𝛿𝒙 + 𝒆 = 0 • 閉じた解で求めるために二乗 – その際のレベンバーグ・マーカート法は(23)となる • 優決定線型方程式の計算 34
35.
補足: 優決定,劣決定 • 優決定 –
変数の数<方程式の数 – 解が存在しない可能性 • 劣決定 – 変数の数>方程式の数 – 解は複数存在 35
36.
3.3.2 疎行列の扱い 36
37.
疎行列 • バンドル調整が対象とする多くの問題ではヤ コビ行列やヘッセ行列は疎行列になる – 𝑒𝑖が𝑥𝑗に依存していなければ𝜕𝑒𝑖/𝜕𝑥𝑗は常に0 •
SFMの例 – はある画像上の像の誤差 – この画像に関連しないカメラの姿勢に依存しない – 図1.3 37
38.
疎行列の活用方法 • (1) 行列の実装方法 –
非ゼロ成分だけを保存しておく – 例) Boost, Sparse BLAS – 図1.3(c) # y軸は対数スケール • (2) 得られる行列を疎行列にする – 元の行列が疎でも,計算途中で非ゼロ成分が発 生することがある (fill-in) – Aを直接コレスキー分解するよりも,PAPT を分解 する方が疎となるような置換Pを利用 • ただ,最適な置換Pを計算するのはNP 38
39.
3.3.4 パラメータの分割 39
40.
Resection-intersection • SFMの未知パラメータ 𝒙
の分割 – カメラのパラメータ 𝒙1 – 点の空間座標 𝒙2 • 片方を固定して交互にパラメータ探索 (1) 𝒙1を固定して,𝜕𝐸/𝜕𝒙2 = 𝟎の解𝒙2を計算 (2) 𝒙2を固定して,𝜕𝐸/𝜕𝒙1 = 𝟎の解𝒙1を計算 • 利点 – (1), (2)いずれかが線形に行える場合,反復計算なしに解 を求めれ,残ったパラメータを反復計算して求めることが できる 40
41.
ブロック分割の利用 A11 A12 A21 A22 𝛿𝒙1 𝛿𝒙2 = 𝒂1 𝒂2 …
(24) A11𝛿𝒙1 + A12𝛿𝒙2 = 𝒂1 A21𝛿𝒙1 + A22𝛿𝒙2 = 𝒂2 • 𝛿𝒙2 = 𝐴22 −1 (−𝐴21𝛿𝒙1 + 𝒂2) を代入し,以下を得る A11 − A12A22 −1 A21 𝛿𝒙1 = 𝒂1 − A12A22 −1 𝒂2 … (25a) A22𝛿𝒙2 = 𝒂2 − A21𝛿𝒙1… (25b) • これを順に計算すれば,(24)式を直接解いた𝛿𝒙が得られる 41
42.
補足: シューア補行列 • A11
− A12A22 −1 A21はA11のシューア補行列と 呼ばれる A11 A12 A21 A22 −1 ≡ 𝐵11 𝐵12 𝐵21 𝐵22 としたとき, • 𝐵11 = A11 − A12A22 −1 A21 となる性質がある 42
43.
ブロック小行列を用いた逆行列の計算 • ブロック分解を用いると,効率よく計算可能 • A22
= A1 ⋯ 𝟎 ⋮ ⋱ ⋮ 𝟎 ⋯ A𝑛 • A22 −1 = A1 −1 ⋯ 𝟎 ⋮ ⋱ ⋮ 𝟎 ⋯ 𝐴𝑛 −1 43
44.
3.4. 数値計算ライブラリの利用 44
45.
数値計算ライブラリ • 最適化ライブラリ – MATLAB
(Optimization Toolbox) • lsqnonlin関数 – Trust-region法,レベンバーグ・マーカート法,ガウス・ニュートン法 – R • optim関数 – Nelder-Mead法,BFGS法, L-BFGS-B法, CG法,SANN法 • 線型代数演算ライブラリ – LAPACK • 数値計算ライブラリ – BLAS – BLAS亜種 45
46.
まとめ 46
47.
まとめ • 非線形最小二乗法の最適化手法の紹介 – ガウス・ニュートン法 –
レベンバーグ・マーカート法 • 実装方法の解説 – コレスキー分解を用いた線型方程式の計算 – 疎行列の活用方法 – パラメータ分割 • 数値計算ライブラリの紹介 47
48.
感想 • フリーで利用可能な最適化ライブラリはかな り充実している – けど,何をどう選択すればよいのかわからない
• 解きたい問題をどう定式化するかによって利 用可能な/得意なツールは異なってくる – その勘所をつけたいなぁ • 数値計算の常識を身につけたい 48
49.
参考文献 • 金谷健一.これなら分かる最適化数学.共立 出版 (2005). –
ガウス・ニュートン近似やレベンバーグ・マーカー ト法の導出もあり • 伊理正夫・藤野和建.数値計算の常識.共立 出版 (1985). – 「逆行列よさようなら」 – 数値計算のノウハウが詰まっている 49
50.
Thank you! 50
Download now