Submit Search
Upload
3分でわかる多項分布とディリクレ分布
•
76 likes
•
28,114 views
Junya Saito
Follow
多項分布とディリクレ分布の簡単な解説です。 正規分布とかはわかっている人向けです。 LDAの勉強などで使えるかも?
Read less
Read more
Technology
Report
Share
Report
Share
1 of 5
Download now
Download to read offline
Recommended
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
ベイズファクターとモデル選択
ベイズファクターとモデル選択
kazutantan
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
Deep Learning Lab(ディープラーニング・ラボ)
今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシン
Shinya Shimizu
負の二項分布について
負の二項分布について
Hiroshi Shimizu
PRML輪読#3
PRML輪読#3
matsuolab
PRML輪読#1
PRML輪読#1
matsuolab
Recommended
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
ベイズファクターとモデル選択
ベイズファクターとモデル選択
kazutantan
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
Deep Learning Lab(ディープラーニング・ラボ)
今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシン
Shinya Shimizu
負の二項分布について
負の二項分布について
Hiroshi Shimizu
PRML輪読#3
PRML輪読#3
matsuolab
PRML輪読#1
PRML輪読#1
matsuolab
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
hoxo_m
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
自動微分変分ベイズ法の紹介
自動微分変分ベイズ法の紹介
Taku Yoshioka
Prml 2.3
Prml 2.3
Yuuki Saitoh
劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章
Hakky St
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半
Ohsawa Goodfellow
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2
Kota Matsui
PRML読み会第一章
PRML読み会第一章
Takushi Miki
階層ベイズと自由エネルギー
階層ベイズと自由エネルギー
Hiroshi Shimizu
LDA入門
LDA入門
正志 坪坂
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
Kenyu Uehara
階層ベイズとWAIC
階層ベイズとWAIC
Hiroshi Shimizu
PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2
禎晃 山崎
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
PRML輪読#4
PRML輪読#4
matsuolab
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
Nagayoshi Yamashita
Large-Scale Bandit Problems and KWIK Learning
Large-Scale Bandit Problems and KWIK Learning
Junya Saito
Improving neural networks by preventing co adaptation of feature detectors
Improving neural networks by preventing co adaptation of feature detectors
Junya Saito
More Related Content
What's hot
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
hoxo_m
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
自動微分変分ベイズ法の紹介
自動微分変分ベイズ法の紹介
Taku Yoshioka
Prml 2.3
Prml 2.3
Yuuki Saitoh
劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章
Hakky St
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半
Ohsawa Goodfellow
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2
Kota Matsui
PRML読み会第一章
PRML読み会第一章
Takushi Miki
階層ベイズと自由エネルギー
階層ベイズと自由エネルギー
Hiroshi Shimizu
LDA入門
LDA入門
正志 坪坂
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
Kenyu Uehara
階層ベイズとWAIC
階層ベイズとWAIC
Hiroshi Shimizu
PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2
禎晃 山崎
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
PRML輪読#4
PRML輪読#4
matsuolab
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
Nagayoshi Yamashita
What's hot
(20)
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
グラフィカルモデル入門
グラフィカルモデル入門
自動微分変分ベイズ法の紹介
自動微分変分ベイズ法の紹介
Prml 2.3
Prml 2.3
劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2
PRML読み会第一章
PRML読み会第一章
階層ベイズと自由エネルギー
階層ベイズと自由エネルギー
LDA入門
LDA入門
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
階層ベイズとWAIC
階層ベイズとWAIC
PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2
深層生成モデルと世界モデル
深層生成モデルと世界モデル
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
PRML輪読#4
PRML輪読#4
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
More from Junya Saito
Large-Scale Bandit Problems and KWIK Learning
Large-Scale Bandit Problems and KWIK Learning
Junya Saito
Improving neural networks by preventing co adaptation of feature detectors
Improving neural networks by preventing co adaptation of feature detectors
Junya Saito
Maxout networks
Maxout networks
Junya Saito
Acoustic Modeling using Deep Belief Networks
Acoustic Modeling using Deep Belief Networks
Junya Saito
Deep Mixtures of Factor Analysers
Deep Mixtures of Factor Analysers
Junya Saito
Bayesian Efficient Multiple Kernel Learning
Bayesian Efficient Multiple Kernel Learning
Junya Saito
More from Junya Saito
(6)
Large-Scale Bandit Problems and KWIK Learning
Large-Scale Bandit Problems and KWIK Learning
Improving neural networks by preventing co adaptation of feature detectors
Improving neural networks by preventing co adaptation of feature detectors
Maxout networks
Maxout networks
Acoustic Modeling using Deep Belief Networks
Acoustic Modeling using Deep Belief Networks
Deep Mixtures of Factor Analysers
Deep Mixtures of Factor Analysers
Bayesian Efficient Multiple Kernel Learning
Bayesian Efficient Multiple Kernel Learning
Recently uploaded
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
sugiuralab
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
Recently uploaded
(9)
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
3分でわかる多項分布とディリクレ分布
1.
3分でわかる 多項分布とディリクレ分布 斎藤 淳哉! ! 間違い等ありましたらご連絡ください junya【あっと】fugaga.info
2.
概要 何回覚えても忘れてしまいがちな ! 多項分布 ディリクレ分布 と を解説 !2
3.
はじめに みんな知っている正規分布は、平均と分散を入れると、 (釣り鐘上の)確率密度関数に従って、確率変数が出てくるイメージ 正規分布 平均 µ 分散 確率密度関数 p 1 2⇡ 2 exp ✓ (x µ) 2 2 2 ◆ 確率変数 x 2 これにならって、多項分布とディリクレ分布を表すと・・・ !3
4.
多項分布とディリクレ分布 多項分布:サイコロの出た目の分布 サイコロを振る回数 N (= K面サイコロの目の出易さ p1 確率 p2 確率 K 確率 PK k=1 nk
) K面サイコロの出た目 確率質量関数 n1 n2 Multi(n|p, N ) = PK K (( k=1 nk ) + 1) Y nk pk QK (nk + 1) k=1 k=1 pK ※ N 6= PK k=1 nk のときは0 K 回 回 nK 回 ※nは自然数 ディリクレ分布:サイコロの目の出易さの分布 K面サイコロの目の出易さ K面サイコロの出た目 ↵1 ↵2 K ↵K 1 1 回 回 1回 ※αは自然数でなくてもよい 確率密度関数 p1 確率 p2 確率 Dir(p|↵) = PK K ( k=1 ↵k ) Y ↵k pk QK (↵k ) k=1 k=1 1 K 確率 pK !4
5.
備考 m • はガンマ関数(自然数 に対して
(m + 1) = m! ) (·) • 確率質量関数は、確率変数が離散のときの確率密度関数 • ディリクレ分布は、多項分布の共役事前分布 • これを利用して、LDAでは、 • 尤度関数:多項分布 • 事前分布:ディリクレ分布 • 多項分布とディリクレ分布の違い • 確率変数としている変数が異なる • サイコロの出た目のカウントが1ずれている • 正規化項が微妙に異なる • 詳細な定義等はググってください !5
Download now