東京大学にて行われている Doing Bayesian Data Analysis 勉強会での発表資料です。

1. Doing Bayesian Data Analysis
Chapter 12: Bayesian Approaches to Testing
a Point (‘‘Null’’) Hypothesis
東京大学 松尾研究室 修士２年
飯塚修平@tushuhei
2013/08/25 1

2. この章の内容
1. パラメタ評価アプローチ (estimation)
– ひとつの事前確率
– その値は信頼出来る？
2. モデル比較アプローチ (model comparison)
– ふたつの事前確率
– どちらのモデルが信頼出来る？
3. それぞれのアプローチの注意点
2013/08/25 2
仮説検定についてベイジアンの立場から考えよう
彼ってどんな性格なの？
どうしようもなく駄目なひとなのか、
とても潔癖で近づきがたいひとなのか、
それとも、その間のどこかなのかな。

3. 導入
• こういう悩みはつきない
– これからコイントスで先行を決めるんだけど、このコインで大丈夫なのかな？
– この新規開発した薬って本当に効くのかな？プラセボじゃないよね？
– その他諸々の「A と B どっちがいいかな。」
à ベイジアン風に言うと「偏り θ = 0.5」という帰無仮説は棄却されるのか、それ
とも採用されるのか？
• ベイジアンだと、伝統的統計学より進んだ考え方で検定することが
できる
– 棄却 or 採用よりも 95% HDI を得られる方が情報量が多い
– 事後確率分布を得ることで、パラメタと信頼度の関係を眺めることができる
• 今回取り上げる方法は 2 つ
– パラメタ評価アプローチ
事後確率の 95% HDI の中に帰無値（null value, 仮説検定したい値）が入るか
– モデル比較アプローチ
「帰無値しか許さないモデル」 vs 「それ以外の値も広く許すモデル」
2013/08/25 3

4. パラメタ評価アプローチ
• 基本的な考え方
– もし帰無値が事後確率の 95% HDI の外にあれば、その帰無値は信頼できる値で
はない。
– もし帰無値が事後確率の 95% HDI の中にあれば、その帰無値は信頼できる値の
ひとつだと言える。
• つまり、ひとつの事前確率から事後確率を算出し、帰無値の信頼性
を評価する。
• 実際の例
– キーボードゲーム（パラメタの値を評価する例）
– ホットハンド・ジンクス（パラメタの値の差を評価する例）
2013/08/25 4

5. 【例】キーボードゲーム
• 被験者に以下のようなゲームをプレイしてもらう。
• 被験者はディスプレイに表示された単語に対して適切なキーを叩く。
• 正解すると、報酬を得ることができる。ルールは図の通り。
2013/08/25 5
“radio”
“ocean”
ディスプレイ “radio”
“mountain”
キーボード F J F J
報酬 報酬

6. 【例】キーボードゲーム
• その後被験者に対して、これまでの学習からは正解がわからないテ
ストを与える
– ディスプレイに “radio” とのみ表示する
– ディスプレイに ”ocean” と “mountain” の両方を表示する
• それぞれのテストについて被験者の叩くキーが偏るか？
2013/08/25 6
[Prior] θ = (F が叩かれる回数 /
J が叩かれる回数) とし、一様
分布と仮定する。
[Likelihood] テストの結果
得られた尤度。片方のキー
に偏っている。
[Posterior] 事後確率の 95% HDI に θ = 0.5 が
含まれなかった。すなわち、被験者は 50:50
でキーを選択するのではなく、いずれかに偏っ
ていた。

7. 【例】ホットハンド・ジンクス
• バスケットボールのジンクス：
シュートに成功した後の方が、失敗した後よりもシュートが決まり
やすくなる。à すなわち θ_AfterSuccess と θ_AfterFailure で違い
があるのか？
• θ_AfterSuccess - θ_AfterFailure = 0 が 95% HDI 内に入っている。
à ジンクスなんてなかった
2013/08/25 7

8. 相関するパラメタの場合
• それぞれの場合のθの分布に着目しても、パラメタ間の関係は見えない。
• 相関の正負は、パラメタの差（この場合 θ1 - θ2）の分布の幅に現れる。
– 正の相関à近似直線（line of equality）の幅が狭い
à 0 を 95% HDI に含まず、θ1 と θ2 が異なることを示している。
– 負の相関à近似直線の幅が広い
2013/08/25 8
θ1 とθ2 が相関する場合 θ1 とθ2 が逆相関する場合
95% HDI
0.0279 < (θ1 – θ2) < 0.206
狭い; 0 を HDI に含まない
95% HDI
-0.26 < (θ1 – θ2) < 0.494
広い; 0 を HDI に含む

9. ROPE の導入
• Region of Practical Equivalence
• ROPE を導入することで、実用的な範囲内で帰無値が信頼できるか
否かを判断できるようになる。
– 幅を持たせることで、実用上十分なのに棄却してしまう可能性を減らす。
• 基本的な考え方
– ROPE 全体が事後確率の 95% HDI の外にあれば、その帰無値は用いることが出
来ない [1]
– ROPE が事後確率の 95% HDI 全体を完全に含んでいれば、その帰無値は採用で
きる [2]
2013/08/25 9
ROPE 95% HDI 95% HDIROPE
[1] [2]

10. 【例】コインは偏ってるか？
• 理想的なコイン: 表が出る確率 θ = 0.5 ß 帰無値
• ROPE: θ = [0.45, 0.55]
• 10,000 回コインを投げて 5,200 回表が出た。
• à 95% HDI = [0.51, 0.53]
• 帰無値は HDI に含まれないが、HDI は十分 ROPE 内に収まっている。
• 実用上、θ = 0.5 として扱って OK
2013/08/25 10
0.45 0.55ROPE 0.51 0.53
95% HDI
0.50
帰無値

11. モデル比較アプローチ
• 次に、モデル比較として帰無値の信頼性を考える。
• 帰無モデル (null model): M_null
– 帰無値のみを許すモデル
• 対立モデル (alternative model): M_alt
– パラメタを広い範囲で許すモデル
• この２つのモデルの比較として、仮説検定問題を捉え直す。
2013/08/25 11

12. M_null (θ1=θ2) M_alt (一様)
【例】ふたつのコインは同じ？
• ふたつのコインの表が出る確
率はそれぞれ θ1, θ2
• M_null: θ1 = θ2 (ふたつのコ
インは同じという帰無仮説）
• M_alt: 一様分布
• コイントスの回数 N = 7
• 表が出た回数 z1 = 5, z2 = 2
• p(D|M_null) = 1.94*10^(-5)
• p(D|M_alt) = 3.54*10^(-5)
• p(M_null) = p(M_alt) = 0.5
2013/08/25 12
M_alt がわずかながら勝利
だが、Bayer s Factor の
値は小さい
→棄却は難しい

13. 【例】記憶力を高める BGM は？
• 被験者にある BGM がかかっている部屋の中で 20 個の単語を暗記
してもらう。
• θ_ij: 被験者 i が BGM j の元で単語を暗記できる割合
– 思い出せる or 思い出せない（二値）なので、ベータ関数で表すことが可能
θ_ij = beta(θ_ij|μ_j, κ_j, (1-μ_j)κ_i)
• BGM の種類 (平均値)
1. ヘビメタ (11.85)
2. バッハ (9.85)
3. ベートーベン (9.50)
4. モーツァルト (9.60)
à 何かを覚える時はクラシックよりもヘビメタ！
à では、この４つのグループに差があると言えるのか？
「差がある」という帰無仮説は棄却されるのか？
2013/08/25 13

14. 【例】記憶力を高める BGM は？
• まずはパラメタ評価アプローチに戻って、それぞれのグループ間の
パラメタに差があるか仮説検定を行う。
– ホットハンド・ジンクスの例を参照
• パラメタ μ_j の差をとって比較すると、各グループを [[1], [2, 3, 4]]
と分けることができる。特にグループ 1 と 3, 4 の間の差が大きい。
2013/08/25 14

15. 【例】記憶力を高める BGM は？
• モデル比較アプローチでは、以下２つのモデルの比較として問題を
捉え直す。
– SameMu: ４つのグループ間で差がないとするモデル（帰無モデル）
– DiffMu: ４つのグループ間で差があるとするモデル（対立モデル）
• MCMC で見てみると、SameMu の方が勝っている。
à ４つのグループには差がない？？
2013/08/25 15

16. 【例】記憶力を高める BGM は？
• 結局、４つのグループは同じなの？違うの？
• 【モデル比較アプローチ】
４つのパラメタをすべてのグループが共有するモデルと、それぞれ
のグループが異なるパラメタを持つモデルの比較では、前者の方が
良かった。が、ベストではない。
• 【パラメタ評価アプローチ】
４つのモデルで異なるパラメタを持たせて比較した結果、[[1], [2, 3,
4]] とグルーピングできた。
• à グループ 1 と グループ 2, 3, 4 でパラメタを分ける 2-パラメタモ
デルが実は最も優秀である (Ex 12.1 で確認すべし)
2013/08/25 16
彼ってどんな性格なの？
どうしようもなく駄目なひとなのか、
とても潔癖で近づきがたいひとなのか、
それとも、その間のどこかなのかな。

17. 注意点
パラメタ評価アプローチ
• ROPE と HDI の幅の比は、帰無値が正しい確率を表しているのではない。
パラメタが帰無値に等しい確率を表しているのだ。
• 十分に比が大きい時のみ、この値は意味を持つ。何故なら、データが十分
でないとき、HDI の幅が大きくなってこの比が小さくなる可能性があるか
らだ。
モデル比較アプローチ
• あくまで帰無モデルの信頼性は相対的なもの。
– 記憶と BGM の例を参照。
• そのため、対立モデルは十分に吟味された、うまくいきそうなモデルを採
用すべきである。
– 慣習だからといって、何も考えずに一様分布モデルを採用するのは危険。
– ベストなモデルがその過程で見過ごされてしまう可能性がある。
• そのためには、事前知識を駆使して妥当なモデルを考えること。
2013/08/25 17