Submit Search
Upload
“確率的最適化”を読む前に知っておくといいかもしれない関数解析のこと
•
7 likes
•
6,053 views
Hiroaki Kudo
Follow
Stochastic optimization http://owl-learn.connpass.com/event/28739/
Read less
Read more
Science
Report
Share
Report
Share
1 of 23
Download now
Download to read offline
Recommended
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
幾何と機械学習: A Short Intro
幾何と機械学習: A Short Intro
Ichigaku Takigawa
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
Deep Learning JP
組合せ最適化入門:線形計画から整数計画まで
組合せ最適化入門:線形計画から整数計画まで
Shunji Umetani
統計的学習理論チュートリアル: 基礎から応用まで (Ibis2012)
統計的学習理論チュートリアル: 基礎から応用まで (Ibis2012)
Taiji Suzuki
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習
Eiji Uchibe
[DL輪読会]Factorized Variational Autoencoders for Modeling Audience Reactions to...
[DL輪読会]Factorized Variational Autoencoders for Modeling Audience Reactions to...
Deep Learning JP
線形計画法入門
線形計画法入門
Shunji Umetani
Recommended
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
幾何と機械学習: A Short Intro
幾何と機械学習: A Short Intro
Ichigaku Takigawa
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
Deep Learning JP
組合せ最適化入門:線形計画から整数計画まで
組合せ最適化入門:線形計画から整数計画まで
Shunji Umetani
統計的学習理論チュートリアル: 基礎から応用まで (Ibis2012)
統計的学習理論チュートリアル: 基礎から応用まで (Ibis2012)
Taiji Suzuki
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習
Eiji Uchibe
[DL輪読会]Factorized Variational Autoencoders for Modeling Audience Reactions to...
[DL輪読会]Factorized Variational Autoencoders for Modeling Audience Reactions to...
Deep Learning JP
線形計画法入門
線形計画法入門
Shunji Umetani
Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages.
Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages.
Satoshi Kato
機械学習モデルのハイパパラメータ最適化
機械学習モデルのハイパパラメータ最適化
gree_tech
機械学習におけるオンライン確率的最適化の理論
機械学習におけるオンライン確率的最適化の理論
Taiji Suzuki
グラフニューラルネットワーク入門
グラフニューラルネットワーク入門
ryosuke-kojima
階層ベイズとWAIC
階層ベイズとWAIC
Hiroshi Shimizu
最適輸送入門
最適輸送入門
joisino
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
joisino
coordinate descent 法について
coordinate descent 法について
京都大学大学院情報学研究科数理工学専攻
Graph Neural Networks
Graph Neural Networks
tm1966
強化学習その1
強化学習その1
nishio
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
Deep Learning JP
社会心理学者のための時系列分析入門_小森
社会心理学者のための時系列分析入門_小森
Masashi Komori
強化学習その3
強化学習その3
nishio
最適輸送の解き方
最適輸送の解き方
joisino
PyData.Tokyo Meetup #21 講演資料「Optuna ハイパーパラメータ最適化フレームワーク」太田 健
PyData.Tokyo Meetup #21 講演資料「Optuna ハイパーパラメータ最適化フレームワーク」太田 健
Preferred Networks
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
[DL輪読会]Understanding Black-box Predictions via Influence Functions
[DL輪読会]Understanding Black-box Predictions via Influence Functions
Deep Learning JP
ブラックボックス最適化とその応用
ブラックボックス最適化とその応用
gree_tech
Fisher Vectorによる画像認識
Fisher Vectorによる画像認識
Takao Yamanaka
あなただけにそっと教える弊社の分析事情 #data analyst meetup tokyo vol.1 LT
あなただけにそっと教える弊社の分析事情 #data analyst meetup tokyo vol.1 LT
Hiroaki Kudo
WebDB Forum 2016 gunosy
WebDB Forum 2016 gunosy
Hiroaki Kudo
More Related Content
What's hot
Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages.
Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages.
Satoshi Kato
機械学習モデルのハイパパラメータ最適化
機械学習モデルのハイパパラメータ最適化
gree_tech
機械学習におけるオンライン確率的最適化の理論
機械学習におけるオンライン確率的最適化の理論
Taiji Suzuki
グラフニューラルネットワーク入門
グラフニューラルネットワーク入門
ryosuke-kojima
階層ベイズとWAIC
階層ベイズとWAIC
Hiroshi Shimizu
最適輸送入門
最適輸送入門
joisino
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
joisino
coordinate descent 法について
coordinate descent 法について
京都大学大学院情報学研究科数理工学専攻
Graph Neural Networks
Graph Neural Networks
tm1966
強化学習その1
強化学習その1
nishio
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
Deep Learning JP
社会心理学者のための時系列分析入門_小森
社会心理学者のための時系列分析入門_小森
Masashi Komori
強化学習その3
強化学習その3
nishio
最適輸送の解き方
最適輸送の解き方
joisino
PyData.Tokyo Meetup #21 講演資料「Optuna ハイパーパラメータ最適化フレームワーク」太田 健
PyData.Tokyo Meetup #21 講演資料「Optuna ハイパーパラメータ最適化フレームワーク」太田 健
Preferred Networks
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
[DL輪読会]Understanding Black-box Predictions via Influence Functions
[DL輪読会]Understanding Black-box Predictions via Influence Functions
Deep Learning JP
ブラックボックス最適化とその応用
ブラックボックス最適化とその応用
gree_tech
Fisher Vectorによる画像認識
Fisher Vectorによる画像認識
Takao Yamanaka
What's hot
(20)
Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages.
Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages.
機械学習モデルのハイパパラメータ最適化
機械学習モデルのハイパパラメータ最適化
機械学習におけるオンライン確率的最適化の理論
機械学習におけるオンライン確率的最適化の理論
グラフニューラルネットワーク入門
グラフニューラルネットワーク入門
階層ベイズとWAIC
階層ベイズとWAIC
最適輸送入門
最適輸送入門
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
coordinate descent 法について
coordinate descent 法について
Graph Neural Networks
Graph Neural Networks
強化学習その1
強化学習その1
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
社会心理学者のための時系列分析入門_小森
社会心理学者のための時系列分析入門_小森
強化学習その3
強化学習その3
最適輸送の解き方
最適輸送の解き方
PyData.Tokyo Meetup #21 講演資料「Optuna ハイパーパラメータ最適化フレームワーク」太田 健
PyData.Tokyo Meetup #21 講演資料「Optuna ハイパーパラメータ最適化フレームワーク」太田 健
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
[DL輪読会]Understanding Black-box Predictions via Influence Functions
[DL輪読会]Understanding Black-box Predictions via Influence Functions
ブラックボックス最適化とその応用
ブラックボックス最適化とその応用
Fisher Vectorによる画像認識
Fisher Vectorによる画像認識
Viewers also liked
あなただけにそっと教える弊社の分析事情 #data analyst meetup tokyo vol.1 LT
あなただけにそっと教える弊社の分析事情 #data analyst meetup tokyo vol.1 LT
Hiroaki Kudo
WebDB Forum 2016 gunosy
WebDB Forum 2016 gunosy
Hiroaki Kudo
パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成
Prunus 1350
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
Gunosyデータマイニング研究会 #118 これからの強化学習
Gunosyデータマイニング研究会 #118 これからの強化学習
圭輔 大曽根
機械学習で大事なことをミニGunosyをつくって学んだ╭( ・ㅂ・)و ̑̑
機械学習で大事なことをミニGunosyをつくって学んだ╭( ・ㅂ・)و ̑̑
Seiji Takahashi
A/B Testing at Pinterest: Building a Culture of Experimentation
A/B Testing at Pinterest: Building a Culture of Experimentation
WrangleConf
#cwt2016 Apache Kudu 構成とテーブル設計
#cwt2016 Apache Kudu 構成とテーブル設計
Cloudera Japan
「新製品 Kudu 及び RecordServiceの概要」 #cwt2015
「新製品 Kudu 及び RecordServiceの概要」 #cwt2015
Cloudera Japan
Apache Kudu - Updatable Analytical Storage #rakutentech
Apache Kudu - Updatable Analytical Storage #rakutentech
Cloudera Japan
爆速クエリエンジン”Presto”を使いたくなる話
爆速クエリエンジン”Presto”を使いたくなる話
Kentaro Yoshida
記事分類における教師データおよびモデルの管理
記事分類における教師データおよびモデルの管理
圭輔 大曽根
マイクロサービスとABテスト
マイクロサービスとABテスト
圭輔 大曽根
Gunosy における AWS 上での自然言語処理・機械学習の活用事例
Gunosy における AWS 上での自然言語処理・機械学習の活用事例
圭輔 大曽根
論文紹介@ Gunosyデータマイニング研究会 #97
論文紹介@ Gunosyデータマイニング研究会 #97
圭輔 大曽根
実践多クラス分類 Kaggle Ottoから学んだこと
実践多クラス分類 Kaggle Ottoから学んだこと
nishio
いまさら聞けない機械学習の評価指標
いまさら聞けない機械学習の評価指標
圭輔 大曽根
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017
Cloudera Japan
Viewers also liked
(18)
あなただけにそっと教える弊社の分析事情 #data analyst meetup tokyo vol.1 LT
あなただけにそっと教える弊社の分析事情 #data analyst meetup tokyo vol.1 LT
WebDB Forum 2016 gunosy
WebDB Forum 2016 gunosy
パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Gunosyデータマイニング研究会 #118 これからの強化学習
Gunosyデータマイニング研究会 #118 これからの強化学習
機械学習で大事なことをミニGunosyをつくって学んだ╭( ・ㅂ・)و ̑̑
機械学習で大事なことをミニGunosyをつくって学んだ╭( ・ㅂ・)و ̑̑
A/B Testing at Pinterest: Building a Culture of Experimentation
A/B Testing at Pinterest: Building a Culture of Experimentation
#cwt2016 Apache Kudu 構成とテーブル設計
#cwt2016 Apache Kudu 構成とテーブル設計
「新製品 Kudu 及び RecordServiceの概要」 #cwt2015
「新製品 Kudu 及び RecordServiceの概要」 #cwt2015
Apache Kudu - Updatable Analytical Storage #rakutentech
Apache Kudu - Updatable Analytical Storage #rakutentech
爆速クエリエンジン”Presto”を使いたくなる話
爆速クエリエンジン”Presto”を使いたくなる話
記事分類における教師データおよびモデルの管理
記事分類における教師データおよびモデルの管理
マイクロサービスとABテスト
マイクロサービスとABテスト
Gunosy における AWS 上での自然言語処理・機械学習の活用事例
Gunosy における AWS 上での自然言語処理・機械学習の活用事例
論文紹介@ Gunosyデータマイニング研究会 #97
論文紹介@ Gunosyデータマイニング研究会 #97
実践多クラス分類 Kaggle Ottoから学んだこと
実践多クラス分類 Kaggle Ottoから学んだこと
いまさら聞けない機械学習の評価指標
いまさら聞けない機械学習の評価指標
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017
Similar to “確率的最適化”を読む前に知っておくといいかもしれない関数解析のこと
Deep Q-LearningでFXしてみた
Deep Q-LearningでFXしてみた
Junichiro Katsuta
機械学習ゴリゴリ派のための数学とPython
機械学習ゴリゴリ派のための数学とPython
Kimikazu Kato
日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー
日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー
Hiroshi Senga
Watson summit 公開用
Watson summit 公開用
Izumi Akiyama
slackの会話ネットワークの分析、及びチャネル内活性化指標の提案
slackの会話ネットワークの分析、及びチャネル内活性化指標の提案
takutori
Slack data Analysis
Slack data Analysis
takutori
多変量解析の授業(駒場キャンパス)の演習で話すために作った資料
多変量解析の授業(駒場キャンパス)の演習で話すために作った資料
Toshiyuki Shimono
人の想像力3段階〜社会変革の思考法
人の想像力3段階〜社会変革の思考法
Takafumi Matsuda
データ分析というお仕事のこれまでとこれから(HCMPL2014)
データ分析というお仕事のこれまでとこれから(HCMPL2014)
Takashi J OZAKI
20160527_07_IoT勉強会 分析WG 配布用
20160527_07_IoT勉強会 分析WG 配布用
IoTビジネス共創ラボ
元ソシャゲプランナー幻談
元ソシャゲプランナー幻談
YukiSamuraki
Similar to “確率的最適化”を読む前に知っておくといいかもしれない関数解析のこと
(11)
Deep Q-LearningでFXしてみた
Deep Q-LearningでFXしてみた
機械学習ゴリゴリ派のための数学とPython
機械学習ゴリゴリ派のための数学とPython
日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー
日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー
Watson summit 公開用
Watson summit 公開用
slackの会話ネットワークの分析、及びチャネル内活性化指標の提案
slackの会話ネットワークの分析、及びチャネル内活性化指標の提案
Slack data Analysis
Slack data Analysis
多変量解析の授業(駒場キャンパス)の演習で話すために作った資料
多変量解析の授業(駒場キャンパス)の演習で話すために作った資料
人の想像力3段階〜社会変革の思考法
人の想像力3段階〜社会変革の思考法
データ分析というお仕事のこれまでとこれから(HCMPL2014)
データ分析というお仕事のこれまでとこれから(HCMPL2014)
20160527_07_IoT勉強会 分析WG 配布用
20160527_07_IoT勉強会 分析WG 配布用
元ソシャゲプランナー幻談
元ソシャゲプランナー幻談
“確率的最適化”を読む前に知っておくといいかもしれない関数解析のこと
1.
“確率的最適化” を読む前に知っておくと いいかもしれない関数解析のこと 新年度!実務家が集まる春の機械学習LT大会! 工藤 啓朗 (Gunosy
Inc.) 2016/04/08
2.
自己紹介 くどう ひろあき (@Hmj_kd) 株式会社Gunosy
データ分析部 所属 - 北海道釧路市出身, 30代, 妻子あり - 高専 : 情報工学科 - 大学 : ブラックホール, インフレーション宇宙論 - 前職 : プログラマー → Pandas データマエショリスト, データ分析 - 現在 : 3ヶ月目 - 好きな食べ物 : 中本の蒙古タンメン、二郎
3.
以前 こんな発表をした者です・・・ http://www.slideshare.net/owllearnbiz/lagrange-50543837
4.
自己紹介(数学勉強歴) 確率微分方程式 ファイバー束 トポロジー 微分幾何学 関数解析学 群、環、体 微分方程式 線形代数 微分積分 t
5.
今日のお話 1. 確率的最適化を読んでみた感想 2. 上記を読む前に前提として知っておくとよいことは
?? a. 関数解析 ?? 3. まとめ
6.
➔ 教師あり学習のお話 ➔ 確率的勾配降下法(SGD)
や AdaGrad などの理論面を理解できる。 確率的最適化を読んだ感想
7.
でも,数学の基礎的なこと がわからないと 読むのは辛いっす!!
8.
確率的最適化を読んだ感想 ➔ 数学の基礎的なことがわからないと読むのは辛い!! ➔ 凸最適化問題のエッセンスを知っている方が,理解しやすいかも ➔
(数学の)事前知識としてどういったことが必要かわからない
9.
例えば - そもそも,微分積分,ベクトル空間などがわからない - どうして,凸関数や凸集合を扱うの
? - 劣勾配,劣微分って何だ !? - なんで逐次処理なんだろう !?
10.
前提知識はどんな分野 ? 関数解析学 という分野です 全部理解しなくてもいいと思いますが...
11.
最適化問題の例
12.
一般の最適化問題を まるっと解決する方法はない
13.
気になること 1. 最適解が存在するか ? 2.
最適解は何個あるのか ? 3. 最適解を求めるアルゴリズムがあるか ? 4. より速く求まるアルゴリズムはあるか ? a. 計算量と収束の速さ
14.
凸最適化問題なら 1. 最適解が存在するか ? a.
→ 存在する 2. 最適解は何個あるのか ? a. → 唯一存在する 3. 最適解を求めるアルゴリズムがあるか ? a. → ある 4. より速く求まるアルゴリズムはあるか ? a. → 枠組みのなかで改良可能 !! でも トピックス - 不動点定理 - ノルムの等価性 - 凸集合と凸関数
15.
トピックス 距離,ノルム,内積 不動点定理 ノルムの等価性 凸関数と凸集合、最小値の存在 完備な(X, d) 縮小写像 F →
|| F(x0 ) - F(x1 ) || ≦ k || x0 - x1 ||, k < 1 x0 x1 x2 y0 y1 y2 F F F F z = F(z) 不動点
16.
トピックス 距離,ノルム,内積 不動点定理 ノルムの等価性 凸関数と凸集合、最小値の存在 縮小写像 F を,別のノルムで評価したらどうなるか? 収束するのか
? → 有限次元のベクトル空間では,定義可能なノルムは等価です → 等価なノルムを用いる限り「ある点に収束するかどうかの結論」は変わ りません
17.
トピックス 距離,ノルム,内積 不動点定理 ノルムの等価性 凸関数と凸集合、最小値の存在 凸関数 閉凸集合 PC (I - η
* f ’) : 縮小写像 C f PC
18.
凸最適化問題なら 1. 最適解が存在するか ? a.
→ 存在する 2. 最適解は何個あるのか ? a. → 唯一存在する 3. 最適解を求めるアルゴリズムがあるか ? a. → ある 4. より速く求まるアルゴリズムはあるか ? a. → 枠組みのなかで改良可能 !! 縮小写像を改良する 事前に知っているといいエッセンス まとめ 凸集合,凸関数の最小値の存在 縮小写像を手作りできれば, 不動点定理により最適解へ収束 !!
19.
1. 関数 f
が,微分できないとき a. 単純には勾配法が使えない ...... → 劣勾配法 2. 非可算無限個の解をもつ問題もある a. 縮小写像の不動点定理はそのままは使えない 3. 縮小写像の勾配計算など,大規模データでは計算コストが高い a. データを分割して,部分的に最適化を解きたい 凸最適化問題で万事OK ではない... 確率的最適化,が必要だね
20.
さいごに
21.
Gunosy データ分析部メンバーの発表資料 http://www.slideshare.net/keisukeosone/ss-60014333 https://speakerdeck.com/ij_spitz/gunosyniokeruabtesuto
22.
メンバー募集 ➔ Gunosy では,データ分析エンジニアを募集して おります
!! ➔ Webエンジニアだけど ”分析をしてみたい” という 方もぜひ !!
23.
ご清聴 ありがとうございます
Download now