1. PRML 上巻勉強会
第三回
2.3.3 - 2.5.2
株式会社ネットプライスドットコム
Beenos Future Center
技術戦略室 室長
加藤寛之

2. 自己紹介
加藤 寛之（かとうひろゆき）
•出身は静岡。うなぎパイ美味しいよね。
•シス創を7年かけて卒業する／(^o^)＼
•株式会社アトランティスの共同創業者として
取締役 兼 最高技術責任者（CTO）に就任
•netprice.com シニアエンジニア（現職）

3. すいません
ところどころ飛ばしています
(́・ω・`)

4. 目次
•2.3. ガウス分布
•3. ガウス変数に対するベイズの定理
•4. ガウス分布の最尤推定
•5. 逐次推定
•6. ガウス分布に対するベイズ推論
•7. スチューデントのt分布
•8. 周期変数
•9. 混合ガウス分布
•2.4. 指数型分布族
•1. 最尤推定と十分統計量
•2. 共役事前分布
•3. 無情報事前分布
•2.5. ノンパラメトリック法
•1. カーネル密度推定法
•2. 最近傍法

5. 同時分布 を求めてみる
前節でベクトルを
条件付き分布
のように分割して
と周辺分布
を求めた。
!
ここで
と
が独立だったとき（
）
ガウス条件付き分布
から、それぞれ
!
周辺分布 :
確率分布 :
!
を求めてみる。
前節の特殊な状態を考える？

6. 同時分布の展開
周辺確率 :
条件付き確率 :
!
と の同時分布を
とすれば
!
の対数を取って
!

7. 同時分布の分散
二次の項をまとめると
ただし
元の式は の要素の二次関数なので、 もガウス分布に
従うから式(2.64)より共分散行列は

8. 同時分布の平均
一次の項をまとめると
式(2.71)から一次の係数と
が等しいので

9. 同時分布のまとめ
(2.59)から、 の平均が なので、 は(2.99)、(2.100)
と と が独立しているという条件から当然の帰結？

10. 周辺分布
(2.92)と(2.93)、同時分布の結果から簡単に求められる
と分割したときに
だったので、上の式にて とすれば

11. 条件付き分布
(2.73)と(2.75)を使えば、条件付き分布も簡単
とすれば、
なので

12. 目次
•2.3. ガウス分布
•3. ガウス変数に対するベイズの定理
•4. ガウス分布の最尤推定
•5. 逐次推定
•6. ガウス分布に対するベイズ推論
•7. スチューデントのt分布
•8. 周期変数
•9. 混合ガウス分布
•2.4. 指数型分布族
•1. 最尤推定と十分統計量
•2. 共役事前分布
•3. 無情報事前分布
•2.5. ノンパラメトリック法
•1. カーネル密度推定法
•2. 最近傍法

13. ガウス分布の最尤推定
多変量ガウス分布から観測値 をN回の試行で
独立に得られたと仮定したときに最尤推定法を行う
(2.43)から対数尤度関数は以下になる
で偏微分したものを0として解くと最尤推定解 と
そのときの共分散行列 は以下のようになる。

14. 共分散の不偏推定
p27で単一変数時に発生した問題（観測データが少ない
と、その偏りによって分散が過小評価される）に対応
するために、不偏分散 を定義する。
から、容易に

15. 目次
•2.3. ガウス分布
•3. ガウス変数に対するベイズの定理
•4. ガウス分布の最尤推定
•5. 逐次推定
•6. ガウス分布に対するベイズ推論
•7. スチューデントのt分布
•8. 周期変数
•9. 混合ガウス分布
•2.4. 指数型分布族
•1. 最尤推定と十分統計量
•2. 共役事前分布
•3. 無情報事前分布
•2.5. ノンパラメトリック法
•1. カーネル密度推定法
•2. 最近傍法

16. 最後の観測値の影響を調べる
(2.121)を基に、(N - 1)回目とN回目の試行前後でどの
程度 に差が生じるのかを計算してみると
誤差信号 の1/Nだけずれている。
Nが大きくなれば（試行回数が増えれば）この信号は
どんどん小さくなる。つまり、 が収束していく。
!
この議論を汎用的にすると。。。

17. Robbins-Monro algorithm
同時分布 に従う確率変数 と があり、
が与えられたときの の条件付期待値で を定義。
となる を求めることを考える。
=> ナンデ？
=> 後で分かるから、今は気にするな！

18. Robbins-Monro algorithm
制約条件を以下のように定めた上で
根 の連続的推定の系列を以下のように定義すると、
が に収束していく（らしい）

19. 一般的な最尤推定問題を解く
は負の対数尤度関数の停留点だから、
次式が成り立つ。
微分と総和の演算を交換して の極限を考えると
p52 (1.103)あたりを参照？
最尤推定解 を求める
= 回帰関数の根 を求める

20. 目次
•2.3. ガウス分布
•3. ガウス変数に対するベイズの定理
•4. ガウス分布の最尤推定
•5. 逐次推定
•6. ガウス分布に対するベイズ推論
•7. スチューデントのt分布
•8. 周期変数
•9. 混合ガウス分布
•2.4. 指数型分布族
•1. 最尤推定と十分統計量
•2. 共役事前分布
•3. 無情報事前分布
•2.5. ノンパラメトリック法
•1. カーネル密度推定法
•2. 最近傍法

21. 一変数のガウス確率変数について
分散が既知とし、N個の観測点集合 から平均 を推測
する。 が与えられたときに観測データが生じる確率は
p26 (1.53)あたりも参照
にガウス分布を選べば、上式は二次形式なので
事後分布もガウス分布になる
とすれば となる

22. 一変数のガウス確率変数について
最終的に
ただし
この結果から、以下の性質が分かる
or

23. ベイズ的観点からの逐次推定
最終データ点 の影響を分けた事後分布は
（N個のデータ点を観測したときの尤度関数）
=（N - 1個のデータ点を観測した後の事後分布 = 事前分布）
（データ点Nについての尤度関数）
!
とみなすことができる。

24. 分散の推定とガンマ関数
平均を既知として、分散（精度）を推定する問題にすると
ここで、ガンマ関数を以下のように定義する

25. 分散の推定とガンマ関数
事前分布 を尤度関数に掛け合わせると、
パラメータが以下のガンマ分布になる。
事前分布のパラメータ は 個の「有効な」観測点が
事前にあると解釈できる。
同様に も分散が であるような 個の「有効な」
観測値が事前にあると解釈できる。

26. 平均と精度が未知の場合
この と への関数依存性を備えた事前分布は以下の
正規（ガウス）- ガンマ分布になる。

27. 多次元の場合
精度 が既知の場合
平均 の共役事前分布はガウス分布
平均 が既知の場合
精度 の共役事前分布はウィシャート分布（下式）になる

28. インターンとかされたい方、大歓迎です！
実稼働中のサービスから得られたデータを
提供しますので、煮るなり焼くなり！
!
kato_h@netprice.com