Introduction to Bayesian statistics for undergraduate students.

1. ベイズ統計学入門
新しい世界へようこそ

2. 統計学の二大潮流
• 統計学業界は，その考え方として大きく二つの系譜
に分かれる。
• ネイマン，ピアソン，フッシャーらの伝統的統計
学派。あるいは頻度主義。
• ベイズ，ジェフリーズらのベイズ主義。

3. 伝統的統計学派
• フィッシャーに始まる頻度主義陣営は，徹底的に手
続き化することで，誰にでも使える方法論を提供
• 「帰無仮説の設定」「検定統計量の算出」「p値
を確認」「仮説の採択・棄却」…
• ベイズ主義者は邪道だ，として批判，排斥

4. 逆確率の理論はある誤 の上
に立脚するのであって，完全
に葬り去らなければならない
サー・ロナルド・エイルマー・フィッシャー Sir Ronald Aylmer Fisher
（1890年2月17日 ‒ 1962年7月29日）はイギリスの統計学者、進化生物学
者、遺伝学者で優生学者である。現代の推計統計学の確立者であるとともに、
集団遺伝学の創始者の1人であり、またネオダーウィニズムを代表する遺伝学
者・進化生物学者でもあった。
伝統的統計学派

5. ベイズ主義
• ベイズの定理，あるいは逆確率の定理は，トーマス・ベ
イズによって1740年代に発見されていた。
• 間違っているかも，と思って発表を控えていたが，その
後リチャード・プライスや，ピエール・シモン・ラプラ
スらによって再発見，定式化され確立

6. ベイズ主義
• 様々なシーンで実用化されて
きているが，軍事的な用途で
その存在が隠されていたり，
実用に当たって膨大な計算量
が必要だったりで今まで実用
化されてこなかった。
• 今日では，統計家のほとんど
がベイジアンである。

7. 頻度主義vsベイズ主義
• 伝統的統計学派の長所
• 客観的手続きに沿っていれば誰にだって使える
• ベイズ主義の長所
• 差がある，この程度違う，といった積極的な主張がで
きる
• 複数の条件や補正を経由せず，ベイズの定理だけでロ
ジックが成立している

8. 頻度主義vsベイズ主義
• 伝統的統計学派の弱点
• 手続き的すぎて，煩雑であり，誤用・誤解が多い
• ex. 分析ごとに分布が違う，p値fishing…
• ベイズ主義の弱点
• 主観確率(=事前分布)と呼ばれる仮定を設定する

9. わからない，ということと，全
ての可能性があり得る，という
のは本質的に違うことだ。
わからない，ということを確率
で積極的に表現するのだ。

10. ベイズの定理

11. ベイズの定理とは
p(A|B) =
p(B|A)p(A)
p(B)

12. 例
• ある学校の生徒数は男子が40人，女子が60人です
• そこからランダムに一人選び出した時，男子である
確率p(A)は？
p(A) =
40
100
= 0.4

13. 同時確率
• 学年も考慮に入れて，3年男子が選ばれる確率を考
える。
• p(性別,学年)を同時確率と言います。
1年 2年 3年 合計
男子 15 12 13 40
女子 22 20 18 60
合計 37 32 31 100
p(A1, B3) =
13
100
= 0.13

14. 周辺確率
• ある分割に関して全て足し上げたものを周辺確率と
いいます。
• 一年男子と一年女子の確率を足し合わせる＝一年が
選ばれる確率，と言っているだけ
aX
i=1
p(Ai, Bj) = p(Bj)
2X
i=1
p(Ai, B1) = p(A1, B1) + p(A2, B1) = p(B1)

15. 条件付き確率
• 「選ばれたのは女子である」ということがわかって
いる状況で，それが2年女子である確率は？
• 分母は60で考えれば良い
1年 2年 3年 合計
男子 15 12 13 40
女子 22 20 18 60
合計 37 32 31 100
p(B2|A2) =
20
60
= 0.333...

16. 条件付き確率
• これは同時確率を周辺確率で割っても同じこと
1年 2年 3年 合計
男子 15 12 13 40
女子 22 20 18 60
合計 37 32 31 100
p(B2|A2) =
p(B2, A2)
p(A2)
=
0.2
0.6
= 0.333...

17. p(Bj|Ai) =
p(Bj, Ai)
p(Ai)
p(Ai)p(Bj|Ai) = p(Bj, Ai)
p(Bj, Ai) = p(Ai, Bj)
p(Bj)p(Ai|Bj) = p(Ai, Bj)
p(Ai)p(Bj|Ai) = p(Bj)p(Ai|Bj)
条件付き確率は同時確率を周辺確率で割ったもの
分母を払います
ところで，BかつAはAかつBですよね。
これは一般的に成立するから，記号を書き換えてもいいよね
イコールでつなぎ合わせておきますね

18. 清書します
p(Ai)p(Bj|Ai)
p(Bj)
= p(Ai|Bj)
p(Ai|Bj) =
p(Bj|Ai)p(Ai)
p(Bj)
右辺を条件付き確率だけにすると
きれいやろ
まじ感謝

19. これの何がすごいねん？
p(A|B) =
p(B|A)p(A)
p(B)
ここと
ここが
逆なのがすごい

20. ベイズの定理からわかること
• 条件付き確率，p(A¦B)は，BであるときにAである
確率，であった。
• p(結果¦原因)と考えると，「ある原因があるから結
果が生じる」という合理的な話
• ベイズはこれを逆転し，p(原因¦結果)，つまりこの
結果が得られるという時の原因の確率は，というこ
とを考える。

21. データとモデル
• 我々は現象を理解する時にモデルを立てる(モデル
がデータを生んでいるはず)。
• 手に入れることができるのはデータだけである。
• データからいえるモデルの正しさ，を評価できるよ
うになった！
• データが増えればモデルをどんどん更新していける

22. ベイズ推定
p(A|B) =
p(B|A)p(A)
p(B)
事後分布
事前分布
データ
モデル
データ 事前分布事後分布
ベイズの定理は「確率」を「確率分布」に読み替えても成立する

23. ベイズ統計の応用例
• 第二次世界大戦中，ドイツの開発した暗号発生装置
エニグマを解読する必要があった！
• 得られた暗号から元のありえる言葉の配列を探り
当てる
• 飛行機が大西洋上で行方不明になった！
• 発信された信号の位置から，飛行機がどの辺りを
飛んでいると推測されるかを考える

24. ベイズ統計の応用例
• 迷惑メールが多くて困っている！
• 迷惑メールと判断された文中に含まれるキーワー
ドから，キーワードが含まれていれば迷惑メール
であるという確率を推定する
• などなど。

25. 実際の使い方

26. 頻度主義vsベイズ主義
頻度主義 ベイズ主義
母数θ 定数 確率変数
データx,y 確率変数 定数
頻度主義では，たった一つの真値を求めて慎重に議論する
ベイズ主義では，データから考えられる母数の分布を考える
→仮説は真か偽のどちらかである
→データから何がどの程度言えるのかを主張する

27. ベイズ推定を行うには
• ベイズ推定が統計学に使えるようになってきたのは，
コンピュータによってある分布に従う乱数を発生さ
せることができるようになってきたから。
• この乱数発生技術のことを，MCMCサンプリング
と言います。

28. MCMC使ってみたい！
• 商用ソフトの一機能として；Amos, Mplus
• BUGS(WinBUGS,OpenBUGS,JAGS)
• Bayesian inference Using Gibbs Sampling
• ギブスサンプリングを使ったベイズ推定
• 残念ながら開発が終わっちゃったみたい

29. Stan登場
• ハミルトニアン・モンテカルロ法，
Not-U-Turnテクニックなど新しい手法
を取り入れたMCMCエンジン
• 高速で収束しやすいのが売り
スタニスワフ・マルチン・ウラム
(Stanistaw Marcin Ulam,1909-1984)
モンテカルロ法を考案（命名はノイマン）

30. Stanの特徴
• コンパイル後の計算が速い
• NUTSなので収束が速い
• 手続き型でわかりやすい
• 公式マニュアルが結構丁寧
• 様々な環境に対応
• RStan,PyStan,CmdStan,MatlabStan,Stan.jl…いずれstataにも

31. Stanの特徴
• コンパイル後の計算が速い，とは
!
人間がわかる
言葉
機械がわかる言葉に
翻訳＝コンパイル
ネイティブなので
理解が早いです
∼

32. Rstanのインストール
• 以前の苦労はSlideShareで「Rstan導入公開版」を検索すればわかります。。。(́Д` )
• http://www.slideshare.net/KojiKosugi/r-stan
• rstan2.7がCRANに登録されました！
• install.packages( rstan )と書くだけ！
!!News!! 2015.07.21現在

33. 実例

34. 母数の推定
• 人の身長のデータは正規分布に従うと思われる。こ
の度，20人分の身長を測定したところ次のように
なった。

35. 頻度主義者の主張
頻度主義者ならどう言うか？
だから，164.7897∼175.3823の範囲に真の値が
• • • •
入っている可能性が95%
• • • • • • • • •
平均と標準偏差を計算してみる

36. ベイジアンの主張
ベイジアンならどう言うか？
• 正規分布に基づくデータyがあったとして，ここか
ら考えられる正規分布の形はどうなっているだろう？

37. 実際の乱数発生

38. ベイジアンの主張
「こうなっていました」

39. 例）二群の平均値の差
• 実験群と統制群に分けて，効果の測定をしたところ，
次のようなデータが得られた。効果はあったのだろ
うか？

40. • まず，二群の分散が等質であるかどうかを検定する。
• 等質であれば，対応のないt検定を行う。
• 帰無仮説は二群の母平均に差がない，対立仮説は差が
ないとは言えない。
• 有意水準を5％に設定
• t統計量を計算し，理論分布に照らし合わせる
• 検定統計量が理論値よりも大きければ帰無仮説を棄却し
対立仮説を採用，すなわち「差がないとは言えない」と
言える。
頻度主義者の主張

41. 頻度主義者の主張
今回のデータから5％水準で「差がある」とは言えない
95％信頼区間が0を含んでいるけど，もう少しだったか・・・

42. ベイジアンの主張
ベイジアンならどう言うか？
• 正規分布に基づくデータx,yがあって，それぞれの
分布を乱数によって生成する。
• 生成されたデータのなかで， になる割
合はどれぐらいだったか数えたら良い。
µ1 µ2 0

43. 実際の乱数発生

44. • 群1の平均は4.81,群2の平均は6.99ぐらいになる。
• 差は平均して2.18(中央値で2.17)
• になる割合は92%
ベイジアンの主張
µ1 µ2 0

45. ベイズ流平均の比較
• 帰無仮説，対立仮説不要！
• 有意水準不要！
• 「差がないとは言えない」ではなく，「差がある割
合がどれぐらい」と言える。差は0ではなく，定数
cでもよい（情報量仮説）。
• 加えてベイズファクターという統計量をだして主
張することもある。

46. もうベイズでいい？
• 頻度主義的アプローチの利点のひとつに，帰無仮説
を置くという点が研究倫理に繋がることがある。
• 批判的思考の基本は，自分の言いたいことだけを
とりいれるのではなく，自分の意見に反すること
にも広く心を開いて評価するところにあるから。

47. • 頻度主義的アプローチの欠点は，その誤用と，誤用
を生みやすい煩雑な過程にあった。
• ベイズ主義的アプローチ導入の欠点であった，計算
機の能力，乱数発生アルゴリズムについてはほぼ解
決した。
• ベイズを使ってもっともっと高度なことを！
もうベイズでいい？

48. 新しい世界へようこそ