Submit Search
Upload
ノンパラベイズ入門の入門
•
121 likes
•
27,443 views
S
Shuyo Nakatani
Follow
機械学習×プログラミング勉強会 vol.2 での発表資料です。 ベイズの何が嬉しいか、ノンパラベイズの何が嬉しいかを数式を使わず語ります。
Read less
Read more
Technology
Report
Share
Report
Share
1 of 33
Download now
Download to read offline
Recommended
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
ベイズファクターとモデル選択
ベイズファクターとモデル選択
kazutantan
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
階層モデルの分散パラメータの事前分布について
階層モデルの分散パラメータの事前分布について
hoxo_m
階層ベイズとWAIC
階層ベイズとWAIC
Hiroshi Shimizu
[DL輪読会]When Does Label Smoothing Help?
[DL輪読会]When Does Label Smoothing Help?
Deep Learning JP
トピックモデルの基礎と応用
トピックモデルの基礎と応用
Tomonari Masada
[DL輪読会]近年のエネルギーベースモデルの進展
[DL輪読会]近年のエネルギーベースモデルの進展
Deep Learning JP
Recommended
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
ベイズファクターとモデル選択
ベイズファクターとモデル選択
kazutantan
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
階層モデルの分散パラメータの事前分布について
階層モデルの分散パラメータの事前分布について
hoxo_m
階層ベイズとWAIC
階層ベイズとWAIC
Hiroshi Shimizu
[DL輪読会]When Does Label Smoothing Help?
[DL輪読会]When Does Label Smoothing Help?
Deep Learning JP
トピックモデルの基礎と応用
トピックモデルの基礎と応用
Tomonari Masada
[DL輪読会]近年のエネルギーベースモデルの進展
[DL輪読会]近年のエネルギーベースモデルの進展
Deep Learning JP
ベイズ推定の概要@広島ベイズ塾
ベイズ推定の概要@広島ベイズ塾
Yoshitake Takebayashi
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
Sho Takase
Stanコードの書き方 中級編
Stanコードの書き方 中級編
Hiroshi Shimizu
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
Transformerを雰囲気で理解する
Transformerを雰囲気で理解する
AtsukiYamaguchi1
MICの解説
MICの解説
logics-of-blue
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
Deep Learning Lab(ディープラーニング・ラボ)
負の二項分布について
負の二項分布について
Hiroshi Shimizu
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2
Kota Matsui
MCMCでマルチレベルモデル
MCMCでマルチレベルモデル
Hiroshi Shimizu
自動微分変分ベイズ法の紹介
自動微分変分ベイズ法の紹介
Taku Yoshioka
EMアルゴリズム
EMアルゴリズム
Sotetsu KOYAMADA(小山田創哲)
Optimizer入門&最新動向
Optimizer入門&最新動向
Motokawa Tetsuya
PRML輪読#1
PRML輪読#1
matsuolab
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
hoxo_m
状態空間モデルの考え方・使い方 - TokyoR #38
状態空間モデルの考え方・使い方 - TokyoR #38
horihorio
[DL輪読会]Control as Inferenceと発展
[DL輪読会]Control as Inferenceと発展
Deep Learning JP
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法
Deep Learning JP
Deep learningbook chap7
Deep learningbook chap7
Shinsaku Kono
Approximate Scalable Bounded Space Sketch for Large Data NLP
Approximate Scalable Bounded Space Sketch for Large Data NLP
Koji Matsuda
More Related Content
What's hot
ベイズ推定の概要@広島ベイズ塾
ベイズ推定の概要@広島ベイズ塾
Yoshitake Takebayashi
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
Sho Takase
Stanコードの書き方 中級編
Stanコードの書き方 中級編
Hiroshi Shimizu
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
Transformerを雰囲気で理解する
Transformerを雰囲気で理解する
AtsukiYamaguchi1
MICの解説
MICの解説
logics-of-blue
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
Deep Learning Lab(ディープラーニング・ラボ)
負の二項分布について
負の二項分布について
Hiroshi Shimizu
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2
Kota Matsui
MCMCでマルチレベルモデル
MCMCでマルチレベルモデル
Hiroshi Shimizu
自動微分変分ベイズ法の紹介
自動微分変分ベイズ法の紹介
Taku Yoshioka
EMアルゴリズム
EMアルゴリズム
Sotetsu KOYAMADA(小山田創哲)
Optimizer入門&最新動向
Optimizer入門&最新動向
Motokawa Tetsuya
PRML輪読#1
PRML輪読#1
matsuolab
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
hoxo_m
状態空間モデルの考え方・使い方 - TokyoR #38
状態空間モデルの考え方・使い方 - TokyoR #38
horihorio
[DL輪読会]Control as Inferenceと発展
[DL輪読会]Control as Inferenceと発展
Deep Learning JP
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法
Deep Learning JP
What's hot
(20)
ベイズ推定の概要@広島ベイズ塾
ベイズ推定の概要@広島ベイズ塾
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
Stanコードの書き方 中級編
Stanコードの書き方 中級編
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Transformerを雰囲気で理解する
Transformerを雰囲気で理解する
MICの解説
MICの解説
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
負の二項分布について
負の二項分布について
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2
MCMCでマルチレベルモデル
MCMCでマルチレベルモデル
自動微分変分ベイズ法の紹介
自動微分変分ベイズ法の紹介
EMアルゴリズム
EMアルゴリズム
Optimizer入門&最新動向
Optimizer入門&最新動向
PRML輪読#1
PRML輪読#1
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
状態空間モデルの考え方・使い方 - TokyoR #38
状態空間モデルの考え方・使い方 - TokyoR #38
[DL輪読会]Control as Inferenceと発展
[DL輪読会]Control as Inferenceと発展
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法
Similar to ノンパラベイズ入門の入門
Deep learningbook chap7
Deep learningbook chap7
Shinsaku Kono
Approximate Scalable Bounded Space Sketch for Large Data NLP
Approximate Scalable Bounded Space Sketch for Large Data NLP
Koji Matsuda
岩波データサイエンス_Vol.5_勉強会資料01
岩波データサイエンス_Vol.5_勉強会資料01
goony0101
Mahoutにパッチを送ってみた
Mahoutにパッチを送ってみた
issaymk2
Active Learning 入門
Active Learning 入門
Shuyo Nakatani
機械学習
機械学習
Hikaru Takemura
第五回統計学勉強会@東大駒場
第五回統計学勉強会@東大駒場
Daisuke Yoneoka
StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章
StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章
nocchi_airport
Santa fe trail 入門のお話
Santa fe trail 入門のお話
Takamasa Saichi
順序データでもベイズモデリング
順序データでもベイズモデリング
. .
Maeshori missing
Maeshori missing
Daisuke Ichikawa
質問応答システム入門
質問応答システム入門
Hiroyoshi Komatsu
Introduction to statistics
Introduction to statistics
Kohta Ishikawa
データサイエンス概論第一=4-2 確率と確率分布
データサイエンス概論第一=4-2 確率と確率分布
Seiichi Uchida
これは楽しい数学マジック(その1)
これは楽しい数学マジック(その1)
神戸大学
深層学習(岡本孝之 著) - Deep Learning chap.3_1
深層学習(岡本孝之 著) - Deep Learning chap.3_1
Masayoshi Kondo
Rm20150513 4key
Rm20150513 4key
youwatari
プログラミングコンテストでの乱択アルゴリズム
プログラミングコンテストでの乱択アルゴリズム
Takuya Akiba
AtCoder Regular Contest 017
AtCoder Regular Contest 017
AtCoder Inc.
A scalable probablistic classifier for language modeling: ACL 2011 読み会
A scalable probablistic classifier for language modeling: ACL 2011 読み会
正志 坪坂
Similar to ノンパラベイズ入門の入門
(20)
Deep learningbook chap7
Deep learningbook chap7
Approximate Scalable Bounded Space Sketch for Large Data NLP
Approximate Scalable Bounded Space Sketch for Large Data NLP
岩波データサイエンス_Vol.5_勉強会資料01
岩波データサイエンス_Vol.5_勉強会資料01
Mahoutにパッチを送ってみた
Mahoutにパッチを送ってみた
Active Learning 入門
Active Learning 入門
機械学習
機械学習
第五回統計学勉強会@東大駒場
第五回統計学勉強会@東大駒場
StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章
StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章
Santa fe trail 入門のお話
Santa fe trail 入門のお話
順序データでもベイズモデリング
順序データでもベイズモデリング
Maeshori missing
Maeshori missing
質問応答システム入門
質問応答システム入門
Introduction to statistics
Introduction to statistics
データサイエンス概論第一=4-2 確率と確率分布
データサイエンス概論第一=4-2 確率と確率分布
これは楽しい数学マジック(その1)
これは楽しい数学マジック(その1)
深層学習(岡本孝之 著) - Deep Learning chap.3_1
深層学習(岡本孝之 著) - Deep Learning chap.3_1
Rm20150513 4key
Rm20150513 4key
プログラミングコンテストでの乱択アルゴリズム
プログラミングコンテストでの乱択アルゴリズム
AtCoder Regular Contest 017
AtCoder Regular Contest 017
A scalable probablistic classifier for language modeling: ACL 2011 読み会
A scalable probablistic classifier for language modeling: ACL 2011 読み会
More from Shuyo Nakatani
画像をテキストで検索したい!(OpenAI CLIP) - VRC-LT #15
画像をテキストで検索したい!(OpenAI CLIP) - VRC-LT #15
Shuyo Nakatani
Generative adversarial networks
Generative adversarial networks
Shuyo Nakatani
無限関係モデル (続・わかりやすいパターン認識 13章)
無限関係モデル (続・わかりやすいパターン認識 13章)
Shuyo Nakatani
Memory Networks (End-to-End Memory Networks の Chainer 実装)
Memory Networks (End-to-End Memory Networks の Chainer 実装)
Shuyo Nakatani
人工知能と機械学習の違いって?
人工知能と機械学習の違いって?
Shuyo Nakatani
RとStanでクラウドセットアップ時間を分析してみたら #TokyoR
RとStanでクラウドセットアップ時間を分析してみたら #TokyoR
Shuyo Nakatani
ドラえもんでわかる統計的因果推論 #TokyoR
ドラえもんでわかる統計的因果推論 #TokyoR
Shuyo Nakatani
[Yang, Downey and Boyd-Graber 2015] Efficient Methods for Incorporating Knowl...
[Yang, Downey and Boyd-Graber 2015] Efficient Methods for Incorporating Knowl...
Shuyo Nakatani
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章
Shuyo Nakatani
星野「調査観察データの統計科学」第1&2章
星野「調査観察データの統計科学」第1&2章
Shuyo Nakatani
言語処理するのに Python でいいの? #PyDataTokyo
言語処理するのに Python でいいの? #PyDataTokyo
Shuyo Nakatani
Zipf? (ジップ則のひみつ?) #DSIRNLP
Zipf? (ジップ則のひみつ?) #DSIRNLP
Shuyo Nakatani
ACL2014 Reading: [Zhang+] "Kneser-Ney Smoothing on Expected Count" and [Pickh...
ACL2014 Reading: [Zhang+] "Kneser-Ney Smoothing on Expected Count" and [Pickh...
Shuyo Nakatani
ソーシャルメディアの多言語判定 #SoC2014
ソーシャルメディアの多言語判定 #SoC2014
Shuyo Nakatani
猫に教えてもらうルベーグ可測
猫に教えてもらうルベーグ可測
Shuyo Nakatani
アラビア語とペルシャ語の見分け方 #DSIRNLP 5
アラビア語とペルシャ語の見分け方 #DSIRNLP 5
Shuyo Nakatani
どの言語でつぶやかれたのか、機械が知る方法 #WebDBf2013
どの言語でつぶやかれたのか、機械が知る方法 #WebDBf2013
Shuyo Nakatani
数式を綺麗にプログラミングするコツ #spro2013
数式を綺麗にプログラミングするコツ #spro2013
Shuyo Nakatani
[Kim+ ICML2012] Dirichlet Process with Mixed Random Measures : A Nonparametri...
[Kim+ ICML2012] Dirichlet Process with Mixed Random Measures : A Nonparametri...
Shuyo Nakatani
Short Text Language Detection with Infinity-Gram
Short Text Language Detection with Infinity-Gram
Shuyo Nakatani
More from Shuyo Nakatani
(20)
画像をテキストで検索したい!(OpenAI CLIP) - VRC-LT #15
画像をテキストで検索したい!(OpenAI CLIP) - VRC-LT #15
Generative adversarial networks
Generative adversarial networks
無限関係モデル (続・わかりやすいパターン認識 13章)
無限関係モデル (続・わかりやすいパターン認識 13章)
Memory Networks (End-to-End Memory Networks の Chainer 実装)
Memory Networks (End-to-End Memory Networks の Chainer 実装)
人工知能と機械学習の違いって?
人工知能と機械学習の違いって?
RとStanでクラウドセットアップ時間を分析してみたら #TokyoR
RとStanでクラウドセットアップ時間を分析してみたら #TokyoR
ドラえもんでわかる統計的因果推論 #TokyoR
ドラえもんでわかる統計的因果推論 #TokyoR
[Yang, Downey and Boyd-Graber 2015] Efficient Methods for Incorporating Knowl...
[Yang, Downey and Boyd-Graber 2015] Efficient Methods for Incorporating Knowl...
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第1&2章
星野「調査観察データの統計科学」第1&2章
言語処理するのに Python でいいの? #PyDataTokyo
言語処理するのに Python でいいの? #PyDataTokyo
Zipf? (ジップ則のひみつ?) #DSIRNLP
Zipf? (ジップ則のひみつ?) #DSIRNLP
ACL2014 Reading: [Zhang+] "Kneser-Ney Smoothing on Expected Count" and [Pickh...
ACL2014 Reading: [Zhang+] "Kneser-Ney Smoothing on Expected Count" and [Pickh...
ソーシャルメディアの多言語判定 #SoC2014
ソーシャルメディアの多言語判定 #SoC2014
猫に教えてもらうルベーグ可測
猫に教えてもらうルベーグ可測
アラビア語とペルシャ語の見分け方 #DSIRNLP 5
アラビア語とペルシャ語の見分け方 #DSIRNLP 5
どの言語でつぶやかれたのか、機械が知る方法 #WebDBf2013
どの言語でつぶやかれたのか、機械が知る方法 #WebDBf2013
数式を綺麗にプログラミングするコツ #spro2013
数式を綺麗にプログラミングするコツ #spro2013
[Kim+ ICML2012] Dirichlet Process with Mixed Random Measures : A Nonparametri...
[Kim+ ICML2012] Dirichlet Process with Mixed Random Measures : A Nonparametri...
Short Text Language Detection with Infinity-Gram
Short Text Language Detection with Infinity-Gram
Recently uploaded
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Hiroshi Tomioka
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Recently uploaded
(11)
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
ノンパラベイズ入門の入門
1.
ノンパラベイズ入門の入門 2012/11/09
MLxPGstudy 中谷 秀洋 (@shuyo, id:n_shuyo) サイボウズ・ラボ
2.
資料について • やること –
ベイズって何が嬉しいの? – ノンパラベイズって何が嬉しいの? • やらないこと えー数式のほうが わかりやすいのに! – どうやって学習するの? – プログラミング – 数式 数式ないって よかった~
3.
パラメータの推定 - 最尤推定とベイジアン -
4.
さて問題です。
5.
問題 1 •
たかしくんがコインを 5 回投げたら、そ のうち 3 回表が出ました。このコインの 表が出る確率を求めなさい。 つ、つっこまないぞ…… では投げます! 3 解答: 5
6.
問題 2 • たかしくんがコインを
5000 回投げたら、 そのうち 3000 回表が出ました。このコ インの表が出る確率を求めなさい。 3000 3 解答: = 5000 5
7.
どっちも同じ答えでいいの?
8.
コインの確率は? • 確率 1/2
のコインかも – たまたま「5回中、3回表」だっただけ • 確率 1/5 のコインかも – たまたま「5回中、3回表」だっただけ • 5000回なら「めっちゃ 3/5」っぽい – 何回以上なら 3/5 だって言ってもいい? • これは「コイン投げ」のパラメータを求める 問題
9.
最尤推定 • お手本(訓練データ)の確率が最大になるよ
うにパラメータを定める – 実際に起きていることが一番起きやすい! • 「表表表裏裏」の確率が最大になるのは 表の確率が 3/5 のとき – ラグランジュ未定乗数法とか使うと示せる
10.
ベイジアン
めっちゃ3/5! • コインの確率は 3/5? 1/2? 1/5? – それぞれの可能性を確 率で表す • 答えが確率分布で求まる – 青: 3表/5回 – 赤: 3000表/5000回 3/5 の可能性高め • 情報量が多い でも自信はない!! – 最尤推定だとどちらも 3/5 で区別できない 1つのチャートに収めるため、2つの縦の縮尺は異なっています 事前分布によってグラフの形は大きく変わります(図は Beta(1,1) の場合)
11.
最尤推定 vs ベイジアン •
どっちがいいの? – どっちがいいとかそういうことではなく – 解き方はまだまだ他にもあるし • 結局、問題やモデル次第 – 最尤推定が適した問題なら最尤推定 – ベイジアンが(ry • ただし、この発表の中ではベイジアン推し – ノンパラベイスの話だからね!
12.
具体例:言語モデル
13.
言語モデル • 文章のもっともらしさを数値化
– もっともらしい文章に良い数値を返す – 確率的言語モデル:もっともらしさを確率で • 簡単なモデルからスタートして、ノンパラベイズに たどり着くのを見ていきましょう 「もっともらしさ」 さりげに難しいこと って何? 聞いてくるねえ
14.
ユニグラム(1-gram) • 最も簡単な言語モデル –
文書の内の単語の確率を掛け算 – お手本文書(コーパス)での各単語の割合が そのまま単語の確率に • 最尤推定! この文章の確率 (もっともらしさ) I am a pen 0.011×0.005×0.025×0.001 =1.375 × 10-9
15.
ユニグラム(1-gram)
コーパスから作った単語分布 矢印は 文書の単語がこの単語分布に 従っているってこと アニメ 政治 IT • 全ての文書に共通の単語分布を使う – 単語「マンガ」の確率はどの文書でも同じ
16.
性能を上げたい!
17.
文書ごとに単語分布を作ったら…… • 1つの単語分布を作るのに使えるデータが少ない –
共通の単語もいっぱいあるのに…… – 機械学習の大原則「データが増えるほどよい」!
18.
文書グループごとに単語分布を…… アニメ
政治 IT • 文書を「正しく」グループ分けするのは大変!! – 複数のグループに属するような文書はどうする? – 「ナイーブベイズモデル」は こっち方向
19.
LSI (Latent Semantic
Indexing) 0.5 0.3 0.2 • 単語分布の個数 K は適当に決める(図は K=3) – 各文章の単語分布は K 個の単語分布を適当に混ぜる – 単語分布と混合比を同時に最尤推定(EMアルゴリズム)
20.
もっと性能を上げたい!
21.
LSI をベイズ化 • 最尤推定でパラメータを決定的に推定
– 「それってたまたまじゃあないの?」問題 • 他にもゼロ頻度問題とか(今はやらないけど) • ベイズ化してみよう! – LSI のパラメータは単語分布と混合比 – それらの可能性を分布として表現
22.
ディリクレ分布
(0,1,0) (0.5,0.3,0.2) (0,0,1) (0,0,1) (1,0,0) • 足して1になる値の確率分布 – 3次元の場合、三角形の上の分布と見なせる – 高次元でも同じ三角形イメージで
23.
LDA (Latent Dirichlet
Allocation) (0, (0, (0, 0,1 0,1 0,1 ) ) ) • LSI の単語分布と混合比にディリクレ分布を入れる – ゼロ頻度対策しつつ、混合により多い情報を反映 • 言語モデルとして性能向上!
24.
もっともっと性能を上げたい!
25.
LDA をさらにベイズ化!?
(0 ,0 ,1 (0 (0 ) ,0 ,0 ,1 ,1 ) ) • 単語分布の個数 K と混合比のディリクレ分布のパラメータを 適切に選ぶと、LDA の性能が上がる • パラメータをベイズ化したら、学習時に自動的に決まる! – ……って、やりたいところだけど単純にはできない……
26.
ベイズ化に都合のいい分布
(共役事前分布) • なんでもベイズ化できるわけではない – 推論に必要な積分が計算できないとツライ • 「共役事前分布」 – 推論に出てくる積分を計算しなくていい分布 – 実はディリクレ分布は多項分布の共役事前分布 • ディリクレ分布に共役事前分布ある? – 一応あるけど、その分布自体すでに計算できない
27.
ものすごく都合のいい分布 • ディリクレ分布の代わりに使えて、 • パラメータに分布を入れても計算できて、 •
ついでに単語分布数 K も勝手に決めてく れる分布 そんな都合良すぎる分布 あるわけないよなあ……
28.
ノンパラメトリックベイズ
29.
ディリクレ過程 (Dirichlet Process)
乱暴にいうと、次数が可変のディリクレ分布 • 重み付きの空間(図の黒太線)から可変個の点を取っ て、それぞれに確率を与える分布 – 縦線の本数が K に対応 – 縦線の長さがそれぞれの点の確率に対応 • 可変個 → 「ノンパラメトリック」な分布 – パラメータがないわけではない
30.
階層ディリクレ過程 (HDP)
• ディリクレ過程のパラメータに ディリクレ過程を入れる – 積分は出来ないが、これを解く 方法がある(中華フランチャイズ 過程など) やめてー
31.
LSI をノンパラベイズ化!
(HDP-LDA) (0, 0,1 K ) … • LSIの単語分布をベイズ化、混合比をHDPでノンパラベイズ化 – 混合比分布のパラメータと単語分布の個数 K が自動的に決まる! • 本質的には LDA と大きく変わるわけではない – 最適なパラメータを選択した LDA と同じ精度になる
32.
ノンパラベイズの応用 • 階層化 –
パラメータの自動決定 • チューニングに血道を上げなくても性能が出る – 複雑で高度なモデルの構築 • sequence memoizer (最高性能の言語モデル) • 教師無し分かち書き • 次数の自動決定 – クラスタ数を事前に仮定したくないモデル – 物体認識, 音源推定, etc • 実応用にはあともうちょっと? – 高速なオンライン&近似推論の決定版待望
33.
まとめ • ノンパラベイズはパラメトリックモデルの
「究極進化形」(ポケモン的な意味で) – 「ノンパラメトリック」より「ウルトラパラメトリック」 とか呼びたいかも (解空間がデータによらないし) – ホントのノンパラメトリックなベイズと区別しないの? • 次に読むなら山本さん/持橋さんの資料がおすすめ – Topicに基づく統計的言語モデルの最前線 - PLSIからHDPまで- – http://chasen.org/~daiti-m/paper/topic2006.pdf • 入門編(数式バリバリ)は Tokyo.ML(仮称)で!? – 開催時期の予定は未定 ありがとうございました
Download now