Submit Search
Upload
数式を使わずイメージで理解するEMアルゴリズム
•
85 likes
•
71,353 views
裕樹 奥田
Follow
Education
Report
Share
Report
Share
1 of 14
Download now
Download to read offline
Recommended
EMアルゴリズム
EMアルゴリズム
Sotetsu KOYAMADA(小山田創哲)
最適輸送入門
最適輸送入門
joisino
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」
Keisuke Sugawara
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
Ichigaku Takigawa
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
【LT資料】 Neural Network 素人なんだけど何とかご機嫌取りをしたい
【LT資料】 Neural Network 素人なんだけど何とかご機嫌取りをしたい
Takuji Tahara
Recommended
EMアルゴリズム
EMアルゴリズム
Sotetsu KOYAMADA(小山田創哲)
最適輸送入門
最適輸送入門
joisino
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」
Keisuke Sugawara
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
Ichigaku Takigawa
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
【LT資料】 Neural Network 素人なんだけど何とかご機嫌取りをしたい
【LT資料】 Neural Network 素人なんだけど何とかご機嫌取りをしたい
Takuji Tahara
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
Shiga University, RIKEN
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
Deep Learning JP
勾配降下法の最適化アルゴリズム
勾配降下法の最適化アルゴリズム
nishio
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
弘毅 露崎
比例ハザードモデルはとってもtricky!
比例ハザードモデルはとってもtricky!
takehikoihayashi
クラシックな機械学習の入門 6. 最適化と学習アルゴリズム
クラシックな機械学習の入門 6. 最適化と学習アルゴリズム
Hiroshi Nakagawa
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
時系列問題に対するCNNの有用性検証
時系列問題に対するCNNの有用性検証
Masaharu Kinoshita
Active Learning 入門
Active Learning 入門
Shuyo Nakatani
Prml14 5
Prml14 5
正志 坪坂
[DL輪読会]Temporal DifferenceVariationalAuto-Encoder
[DL輪読会]Temporal DifferenceVariationalAuto-Encoder
Deep Learning JP
混合ガウスモデルとEMアルゴリスム
混合ガウスモデルとEMアルゴリスム
貴之 八木
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
Rで階層ベイズモデル
Rで階層ベイズモデル
Yohei Sato
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
クラシックな機械学習の入門 11.評価方法
クラシックな機械学習の入門 11.評価方法
Hiroshi Nakagawa
PRML輪読#11
PRML輪読#11
matsuolab
Humor Recognition and Humor Anchor Extraction
Humor Recognition and Humor Anchor Extraction
裕樹 奥田
NICOMI
NICOMI
裕樹 奥田
More Related Content
What's hot
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
Shiga University, RIKEN
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
Deep Learning JP
勾配降下法の最適化アルゴリズム
勾配降下法の最適化アルゴリズム
nishio
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
弘毅 露崎
比例ハザードモデルはとってもtricky!
比例ハザードモデルはとってもtricky!
takehikoihayashi
クラシックな機械学習の入門 6. 最適化と学習アルゴリズム
クラシックな機械学習の入門 6. 最適化と学習アルゴリズム
Hiroshi Nakagawa
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
時系列問題に対するCNNの有用性検証
時系列問題に対するCNNの有用性検証
Masaharu Kinoshita
Active Learning 入門
Active Learning 入門
Shuyo Nakatani
Prml14 5
Prml14 5
正志 坪坂
[DL輪読会]Temporal DifferenceVariationalAuto-Encoder
[DL輪読会]Temporal DifferenceVariationalAuto-Encoder
Deep Learning JP
混合ガウスモデルとEMアルゴリスム
混合ガウスモデルとEMアルゴリスム
貴之 八木
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
Rで階層ベイズモデル
Rで階層ベイズモデル
Yohei Sato
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
クラシックな機械学習の入門 11.評価方法
クラシックな機械学習の入門 11.評価方法
Hiroshi Nakagawa
PRML輪読#11
PRML輪読#11
matsuolab
What's hot
(20)
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
勾配降下法の最適化アルゴリズム
勾配降下法の最適化アルゴリズム
グラフィカルモデル入門
グラフィカルモデル入門
変分ベイズ法の説明
変分ベイズ法の説明
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
比例ハザードモデルはとってもtricky!
比例ハザードモデルはとってもtricky!
クラシックな機械学習の入門 6. 最適化と学習アルゴリズム
クラシックな機械学習の入門 6. 最適化と学習アルゴリズム
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
時系列問題に対するCNNの有用性検証
時系列問題に対するCNNの有用性検証
Active Learning 入門
Active Learning 入門
Prml14 5
Prml14 5
[DL輪読会]Temporal DifferenceVariationalAuto-Encoder
[DL輪読会]Temporal DifferenceVariationalAuto-Encoder
混合ガウスモデルとEMアルゴリスム
混合ガウスモデルとEMアルゴリスム
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Rで階層ベイズモデル
Rで階層ベイズモデル
全力解説!Transformer
全力解説!Transformer
クラシックな機械学習の入門 11.評価方法
クラシックな機械学習の入門 11.評価方法
PRML輪読#11
PRML輪読#11
More from 裕樹 奥田
Humor Recognition and Humor Anchor Extraction
Humor Recognition and Humor Anchor Extraction
裕樹 奥田
NICOMI
NICOMI
裕樹 奥田
Re revenge chap03-1
Re revenge chap03-1
裕樹 奥田
20110602labseminar pub
20110602labseminar pub
裕樹 奥田
bmb2010_g86
bmb2010_g86
裕樹 奥田
Spotfire_8
Spotfire_8
裕樹 奥田
Tsukubar8
Tsukubar8
裕樹 奥田
Rを用いた解析の実例 Project *ぶろったん*
Rを用いた解析の実例 Project *ぶろったん*
裕樹 奥田
Ajacs17
Ajacs17
裕樹 奥田
ESS
ESS
裕樹 奥田
Diagramパッケージを使ってみる
Diagramパッケージを使ってみる
裕樹 奥田
More from 裕樹 奥田
(11)
Humor Recognition and Humor Anchor Extraction
Humor Recognition and Humor Anchor Extraction
NICOMI
NICOMI
Re revenge chap03-1
Re revenge chap03-1
20110602labseminar pub
20110602labseminar pub
bmb2010_g86
bmb2010_g86
Spotfire_8
Spotfire_8
Tsukubar8
Tsukubar8
Rを用いた解析の実例 Project *ぶろったん*
Rを用いた解析の実例 Project *ぶろったん*
Ajacs17
Ajacs17
ESS
ESS
Diagramパッケージを使ってみる
Diagramパッケージを使ってみる
Recently uploaded
What I did before opening my business..pdf
What I did before opening my business..pdf
oganekyokoi
リアル戦国探究in米沢 当日講座2スライド(スタッフ共有用)『人を致すも人に致されず』についてのスライド
リアル戦国探究in米沢 当日講座2スライド(スタッフ共有用)『人を致すも人に致されず』についてのスライド
Ken Fukui
My Inspire High Award 2024「なぜ議会への関心が低いのか?」
My Inspire High Award 2024「なぜ議会への関心が低いのか?」
inspirehighstaff03
Establishment and operation of medical corporations.pdf
Establishment and operation of medical corporations.pdf
oganekyokoi
Divorce agreements in administrative work.pdf
Divorce agreements in administrative work.pdf
oganekyokoi
TEAMIN Service overview for customer_20240422.pdf
TEAMIN Service overview for customer_20240422.pdf
yukisuga3
リアル戦国探究in米沢 当日講座3スライド(スタッフ共有用)『糧は三度はさいせず』についてのスライド
リアル戦国探究in米沢 当日講座3スライド(スタッフ共有用)『糧は三度はさいせず』についてのスライド
Ken Fukui
My Inspire High Award 2024「Yakushima Islandってなんか変じゃない?」.pdf
My Inspire High Award 2024「Yakushima Islandってなんか変じゃない?」.pdf
inspirehighstaff03
リアル戦国探究in米沢 当日講座1(スタッフ共有用)『兵は詐をもって立つ』についてのスライド
リアル戦国探究in米沢 当日講座1(スタッフ共有用)『兵は詐をもって立つ』についてのスライド
Ken Fukui
International Politics I - Lecture 1
International Politics I - Lecture 1
Toru Oga
My Inspire High Award 2024「世の中の流行はどのようにして生まれるのか」
My Inspire High Award 2024「世の中の流行はどのようにして生まれるのか」
inspirehighstaff03
My Inspire High Award 2024 「AIと仲良くなるには?」
My Inspire High Award 2024 「AIと仲良くなるには?」
inspirehighstaff03
My Inspire High Award 2024 「正義って存在するの?」
My Inspire High Award 2024 「正義って存在するの?」
inspirehighstaff03
My Inspire High Award 2024「スーパーマーケットで回収されたキャベツ外葉は廃棄されているの?」
My Inspire High Award 2024「スーパーマーケットで回収されたキャベツ外葉は廃棄されているの?」
inspirehighstaff03
リアル戦国探究in米沢 事前講座2スライド(スタッフ共有用)『両雄の強さの秘密』についてのスライド
リアル戦国探究in米沢 事前講座2スライド(スタッフ共有用)『両雄の強さの秘密』についてのスライド
Ken Fukui
My Inspire High Award 2024「なぜ、好きなことにいつかは飽きるの」
My Inspire High Award 2024「なぜ、好きなことにいつかは飽きるの」
inspirehighstaff03
My Inspire High Award 2024 「孤独は敵なのか?」
My Inspire High Award 2024 「孤独は敵なのか?」
inspirehighstaff03
My Inspire High Award 2024 「家族とは何か」
My Inspire High Award 2024 「家族とは何か」
inspirehighstaff03
リアル戦国探究in米沢 事前講座1スライド(スタッフ共有用)『川中島の謎』についてのスライド
リアル戦国探究in米沢 事前講座1スライド(スタッフ共有用)『川中島の謎』についてのスライド
Ken Fukui
【ゲーム理論入門】ChatGPTが作成した ゲーム理論の問題を解く #3 Slide
【ゲーム理論入門】ChatGPTが作成した ゲーム理論の問題を解く #3 Slide
ssusere0a682
Recently uploaded
(20)
What I did before opening my business..pdf
What I did before opening my business..pdf
リアル戦国探究in米沢 当日講座2スライド(スタッフ共有用)『人を致すも人に致されず』についてのスライド
リアル戦国探究in米沢 当日講座2スライド(スタッフ共有用)『人を致すも人に致されず』についてのスライド
My Inspire High Award 2024「なぜ議会への関心が低いのか?」
My Inspire High Award 2024「なぜ議会への関心が低いのか?」
Establishment and operation of medical corporations.pdf
Establishment and operation of medical corporations.pdf
Divorce agreements in administrative work.pdf
Divorce agreements in administrative work.pdf
TEAMIN Service overview for customer_20240422.pdf
TEAMIN Service overview for customer_20240422.pdf
リアル戦国探究in米沢 当日講座3スライド(スタッフ共有用)『糧は三度はさいせず』についてのスライド
リアル戦国探究in米沢 当日講座3スライド(スタッフ共有用)『糧は三度はさいせず』についてのスライド
My Inspire High Award 2024「Yakushima Islandってなんか変じゃない?」.pdf
My Inspire High Award 2024「Yakushima Islandってなんか変じゃない?」.pdf
リアル戦国探究in米沢 当日講座1(スタッフ共有用)『兵は詐をもって立つ』についてのスライド
リアル戦国探究in米沢 当日講座1(スタッフ共有用)『兵は詐をもって立つ』についてのスライド
International Politics I - Lecture 1
International Politics I - Lecture 1
My Inspire High Award 2024「世の中の流行はどのようにして生まれるのか」
My Inspire High Award 2024「世の中の流行はどのようにして生まれるのか」
My Inspire High Award 2024 「AIと仲良くなるには?」
My Inspire High Award 2024 「AIと仲良くなるには?」
My Inspire High Award 2024 「正義って存在するの?」
My Inspire High Award 2024 「正義って存在するの?」
My Inspire High Award 2024「スーパーマーケットで回収されたキャベツ外葉は廃棄されているの?」
My Inspire High Award 2024「スーパーマーケットで回収されたキャベツ外葉は廃棄されているの?」
リアル戦国探究in米沢 事前講座2スライド(スタッフ共有用)『両雄の強さの秘密』についてのスライド
リアル戦国探究in米沢 事前講座2スライド(スタッフ共有用)『両雄の強さの秘密』についてのスライド
My Inspire High Award 2024「なぜ、好きなことにいつかは飽きるの」
My Inspire High Award 2024「なぜ、好きなことにいつかは飽きるの」
My Inspire High Award 2024 「孤独は敵なのか?」
My Inspire High Award 2024 「孤独は敵なのか?」
My Inspire High Award 2024 「家族とは何か」
My Inspire High Award 2024 「家族とは何か」
リアル戦国探究in米沢 事前講座1スライド(スタッフ共有用)『川中島の謎』についてのスライド
リアル戦国探究in米沢 事前講座1スライド(スタッフ共有用)『川中島の謎』についてのスライド
【ゲーム理論入門】ChatGPTが作成した ゲーム理論の問題を解く #3 Slide
【ゲーム理論入門】ChatGPTが作成した ゲーム理論の問題を解く #3 Slide
数式を使わずイメージで理解するEMアルゴリズム
1.
数式を使わず イメージで理解する EMアルゴリズム @yag_ays 参考:「パターン認識と機械学習」下巻9章 Machine Learning Advent
Calendar 2013
2.
この図は対数尤度関数とパラメータの関係を おおまかにプロットしたものです ln p(X|✓) (PRML 図9.14参考) ✓
3.
横軸は最適化したいパラメータ 縦軸は最大化したい対数尤度関数の値になっています ln p(X|✓) 対数尤度関数 パラメータ ✓
4.
EMアルゴリズムの目的は対数尤度関数が最大値に なるときのパラメータを求めることです ln p(X|✓) ✓
5.
ただし対数尤度関数を直接最大化することはできません (解析的に求まらない・下図のような形がわからない) ln p(X|✓) ✓
6.
それではEMアルゴリズムで 対数尤度関数を最大化しましょう ln p(X|✓) ✓
7.
まずパラメータの初期値を適当に決めます ln p(X|✓) ✓ ✓
8.
Eステップでは現在のパラメータ値での下界を計算します 青の点線が下界を表しています ln p(X|✓) Eステップ L(q, ✓) ✓ ✓
9.
Mステップで下界を最大化するパラメータを新たに求めます つまり点線の最大値のところにパラメータをずらします ln p(X|✓) Mステップ L(q, ✓) ✓
✓ 0 ✓
10.
あとは同様にEステップとMステップを繰り返します ln p(X|✓) ✓ ✓ 0 ✓
11.
あとは同様にEステップとMステップを繰り返します ln p(X|✓) Eステップ 0 L(q, ✓
) ✓ ✓ 0 ✓
12.
あとは同様にEステップとMステップを繰り返します ln p(X|✓) Mステップ 0 L(q, ✓
) ✓ ✓ 0 ✓ 00 ✓
13.
ある程度パラメータや対数尤度値が収束すれば EMアルゴリズムは終了です ln p(X|✓) ✓ ✓ 0 ✓ 00 ✓
14.
これで対数尤度関数を最大にするパラメータが 求められました! ln p(X|✓) ✓ ✓ 0 ✓ 00 ✓
Download now