HCG20181212
•Download as PPTX, PDF•
0 likes•1,105 views
電子情報通信学会ヒューマンコミュニケーショングループ2018年シンポジウムでお話しした内容です
Recommended
More Related Content
More from 考司 小杉
More from 考司 小杉 (18)
Recently uploaded
Recently uploaded (20)
HCG20181212
- 2. お品書き • 再現性問題をご存知ですか—心理学の危機と統計革命 • alternativeとしてのベイズ統計学 • 新しい統計学との付き合い方 HCGシンポジウム2018
- 5. 池田・平石(2016) • p-hackingとQRPS(疑わしい研究実践) • 行なった条件や測定した変数の一部しか報告しない • 参加者を少しずつ足しながら分析を行う（有意差に至 ったところでやめる） • 様々な共変量を用いて分析を行い，有意になった組み 合わせのみを報告する HCGシンポジウム2018
- 7. Neuroskeptic(2012) The Nine Circles of Scientific Hell.https://doi.org/10.1177%2F1745691612459519 地獄の周辺でぼんやり 過剰な売り込み 後からストーリーを作る P-hacking 創造的な外れ値 剽窃 出版しない 部分的に出版する データの捏造
- 9. 統計革命 Make Statistics Great Again HCGシンポジウム2018
- 10. 傾向と対策２ • 方法論的に問題を乗り越える→ベイズ統計学 • ベイズ統計学が注目される理由は二つ • より誤用のない従来の統計学の代案として • より進んだ統計モデルの推定を行う技術として HCGシンポジウム2018
- 12. 新しい統計学との付き合い方 • これまでの「帰無仮説検定」の考え方は頻度主義統計学 という考え方の上に立脚しています • ベイズ統計学はベイズ主義ともいわれます。 • 確率に対する考え方，分析の前提が異なるので，そもそ もの発想ごと変わるところがあります。 HCGシンポジウム2018
- 13. 帰無仮説検定はとても便利？ • 標本の特徴から全体を推測するための科学的方法 • フィッシャー流；帰無仮説を棄却することで実験の確からしさ を主張する • ネイマン・ピアソン流；対立仮説と対比させ判断の基準とする • ともあれ心理学で使われているのは混合型というか，「効果が あったかなかったか」の意思決定の基準 • 検定統計量の形にすることで「どんなジャンルの数字でも」分 析できるようになった 13 HCGシンポジウム2018
- 14. NHSTの長短所 • 緻密な実験計画に用いることで，効果があったかどうか を判断することができる • ただし「帰無仮説を棄却する」＝「対立仮説を採択する 」というロジックのややこしさ，不自然さが悩ましい • 厳密な実験計画を立てることなく用いると弊害が多い • 例数設計もしっかりと；想定する世界が変わってくる • p値至上主義を招いてしまった 14 Null Hypothesis Significance Test HCGシンポジウム2018
- 21. • 24回投げようと決めていた場合→有意傾向 • 7回表が出るまで，と決めていた場合→はっきり有意 • 5分間実験するつもりだった場合→ギリギリ有意 コインを24回投げて7回表が出た とき，このコインはイカサマか？ データが同じなのに結果が違う，というのは直感的 にもおかしいと思いませんか？
- 23. なぜこんなことになるのか ？ • 頻度主義者にとっては「24回中7回」という事実だけ見ない。 そのほかの前提・仮定は示されない（論文の方法の中に埋め 込まれているはず。性善説的に） • ベイズ統計ではデータの生成過程に関わる確率分布を考え， 尤度として表現する • 24回投げようと決めている＝二項分布 • 7回表が出るまでトライする＝負の二項分布 • 5分間実験する＝λ=24のポアソン分布と二項分布の混合 HCGシンポジウム2018
- 24. 例数設計をしっかりと • サンプルサイズの決め方（例数設計），分析計画の設計 （どことどこの差を見るか，一実験あたりの危険率 補正）が重要な理由 • 下位検定まで含めて，事前にしっかりと分析計画を 立てておかないと正しい判定ができない • 疑われないために，事前登録制が必要 HCGシンポジウム2018
- 25. • p値は我々の仮説が正しい確率ではない • 小さければ小さいほど良いというものでもない • 「有意傾向」などという表現は全くナンセンス！ • 我々にとって重要な差は， • 実質的な差 ＞ 標準化された差 ＞ 統計的有意差 p値至上主義にならないで 25 豊田秀樹（2009）検定力分析入門，東京図書より HCGシンポジウム2018
- 26. 標準化された差＝効果量 • 一般的な議論をするために，例えばt検定であれば効果量d （差を標準偏差で割ったもの）を参考にします。 • 差があった・なかったの1bit判断にするのではなく，どの 程度の違いなのか，量的な判断が必要 • 「実質的に等価な範囲（＝この程度だったら差があると はいえない大きさ）」については，各領域で考える必要 があります。 HCGシンポジウム2018
- 27. お品書き • 再現性問題をご存知ですか—心理学の危機と統計革命 • alternativeとしてのベイズ統計学 • 新しい統計学との付き合い方
- 29. for example • 難易度が同じぐらいの10問のテストを受けたとします。 • 推定したいのは回答者の能力。この能力は，問題に正し く答える比率θである，と定義します。 • 能力θは直接観測できず，観測できるのは「正答数」だけ です。これを推論します。 HCGシンポジウム2018
- 30. ベイズの分析の実際 • データを見る前に，能力θはどれぐらいであると考えるか を確率（確率分布）で表現します。 • 今回は比率ですので，0％−100％の範囲にあるはず。 • この範囲のどこにあるのかわからない，ということを， どんなθの値にも等しい確率を割り当てることで表現しま す。 1.不確実性，信念の強さを確率によって数量化 HCGシンポジウム2018
- 32. ベイズの定理 • 事前分布を とします。 • データDを見た後で，更新された事後分布は • 事前分布を事後分布に更新するベイズの定理 2.観測データを使って事前の情報/信念を更新し，事後の情報/信 念にアップデートする。そのための数学的準備。 HCGシンポジウム2018
- 33. ？ • p(A|B)をBで条件づけられたAの確率，条件付き確率，と 呼びます。 • あるパラメータθの元での，データDの確率を表している ，と読むことができます。 • ここではθが未知数ですが，このようにパラメータが未知 数の確率関数のことを尤度関数といいます。 HCGシンポジウム2018
- 34. ベイズの定理 • ベイズの定理を言葉で言うならば • となります。この分母は今の所気にしなくてOK。という のも分母には未知のθがない＝定数だし，左辺が確率分布 なのだから，「確率分布にするために総合計で割る」と いう操作をするためのものだから。 2.観測データを使って事前の情報/信念を更新し，事後の情報/信 念にアップデートする。そのための数学的準備。 事後確率 尤度 事前確率 ＝ × 周辺尤度 HCGシンポジウム2018
- 38. 事後分布の形 2.観測データを使って事前の情報/信念を更新し，事後の情報/信 念にアップデートする。 事後分布 事前分布 95%確信区間 CI[0.59,0.98] HCGシンポジウム2018
- 39. 事前分布の影響 • 今回は「事前に能力θがどれぐらいなのかわからない」状 態であり，それを一様分布で示した • 無情報分布ともいいます • 無情報分布の場合は尤度関数の形がそのまま事後分布 に反映されます • もし「この人の能力はかなり低いに違いない！」という 事前分布を持っていたら？！ HCGシンポジウム2018
- 42. 事後分布の形 2.観測データを使って事前の情報/信念を更新し，事後の情報/信 念にアップデートする。 事後分布 事前分布 95%確信区間 CI[0.38,0.78] HCGシンポジウム2018
- 43. ベイズ統計学の利点 • 最初から最後まで分布＝幅で話をする。差があるかない か，というような1bit判断に陥る危険が少ない • 事後分布から自分の仮説が正しい確率を読み取れる。p値 のような仮想世界の話をしなくて良い • 事前分布が一様分布であれば，結果は尤度を直接反映し たものになる＝メカニズムで勝負ができる HCGシンポジウム2018 従来の統計学は，事前分布が一様分布であることを暗に仮定しているとも言え る
- 47. 差も分布する • 確信区間(Credible Intervals)あるいは最高密度区間(Highest Density Intervals)で表現する • 確信できる区間で平均値の差の取りうる可能性の広さを表現 • 幅が狭い＝自信がある／幅が広い＝自信がない 差が取りうる可能性の範囲 「ないない」ではなく「あるある」 HCGシンポジウム2018
- 48. ベイズ主義的に意思決定 • ベイズ流の分析では結果(パラメータ)が分布するので，意 思決定に際して「この程度であれば意味があったとする 」という判断基準が必要 • ROPE(Region Of Practical Equivalence；実質的に等価な 範囲)について共通了解が必要 • 実質的な差 ＞ 標準化された差 ＞ 統計的有意差 48 HCGシンポジウム2018
- 49. 効果あり 効果なし 判断保留
- 51. お品書き • 再現性問題をご存知ですか—心理学の危機と統計革命 • alternativeとしてのベイズ統計学 • 新しい統計学との付き合い方
- 52. • 我々は「答え方」も変えなければならない • 結果をあえて「差がある・ない」の2値判断に落とし込 み，剰余分を好き勝手な考察で膨らませ，それでいて 客観的な事実であると嘯く習慣を反省しなければなら ない。 • モデルはデータを生成するものであり，推定結果は現 データの説明に過ぎない。より適したモデルであれば 未来のデータも生成できるはず＝予測に対しても責任 を持たなければならない。 変わる問い方と答え方 HCGシンポジウム2018
- 53. 統計的問いと答え • そもそも異なる問題意識 • 頻度主義；どちらの道を進むべきか • 尤度主義；今のデータから採択すべき仮説はどれか • ベイズ主義；どの程度信じられるか（未来も含めて） 53 ex)効果がある/ない，実験を続けるべき/やめるべき ex)複数の仮説の相対比較(BF)。 ex)データ生成モデルとしてどの程度予測ができるか(WAIC) HCGシンポジウム2018
- 54. ベイズ統計学の考え方 • 変数変換などして「データを分析に合わせる」必要がない • 何重にも組み合わさる仮定や補正からは無縁 • 下位検定を事前に計画していなくても良い • 例数設計をしなくても大きな問題にならない • 事後分布から自分の仮説が正しい確率を読み取れる 54 データ生成メカニズムを自然にデザインすることができます ベイズは原理主義＝つねにベイズの定理だけを当てはめます 事後分布は常に一つ。どう切り取っても構いません 事後分布は常に一つ。それが確率的に変わるものではありません p値のように仮想世界の非現実的な値ではありません HCGシンポジウム2018
- 55. 研究のスタイルと分析法 • 探索段階，検証段階；推定法よりモデリング • 利点；ラフな例数設計で良いので，すぐに実験に取り かかれる。効果が「ない」ということにならない • 留意点；事前分布による感度分析，事後予測分布によ る現データのチェック • ベイズ的に事後予測を見るもよし，慎重に事後対数尤 度でモデル比較をするもよし 55 HCGシンポジウム2018
- 56. 研究のスタイルと分析法 • 検証的段階；モデルを単純化して決戦，なら頻度主義的に • 利点；効果の有無，モデルの優劣など一定の結論を出す ことができる • 留意点；実験デザイン（例数含む）の事前登録やチェッ クの必要性。新規性がなくても実験者・執筆者にメリッ トがあるように。 • 理想的には；実験者・被験者・分析者，それぞれがしっ かりと分業（面白い活動かどうかはわからない・・・） 56 HCGシンポジウム2018
- 57. 心がけより仕掛け • NHSTは便利な代物だが，厳格な手続きが要求されるためつ いついイケナイことをしてしまう。 • ベイズ統計学は単純で直感的。間違いを起こしにくい性質 を持っているので，研究の初期段階ではベイズ流で行くこ とがオススメです。 • p値主義がダメ→効果量見ないと→実質的な差を考えないと ，という流れは，ベイズ統計学でより顕著に。最初から仮 想的な確率ではなく実質的な大きさを見ることになるので 。 57 (c)仕掛学 HCGシンポジウム2018
- 58. 欠点はないの？ • ベイズ統計学の主戦場はモデリング。これに関するテキ ストはたくさん出ているが，いずれもプログラミング技 能を必要とする • NHSTの代わりに使いたいだけ，というのであればJASP がオススメ。ただしこれもマニュアルが弱いのと，まだ 安定したバージョンになってないのが問題 • 教育システムがまだ成立しきっていないのが最大の弱点 現段階でver0.9.1 HCGシンポジウム2018
- 61. 読書案内 • J.K.Kruschke 「ベイズ統計モデリング: R,JAGS, Stanによるチュートリアル 原著 第2版」共立出版 • 豊田秀樹「はじめての 統計データ分析 ― ベイズ的〈ポストp値時代〉の統計学」朝 倉書店 HCGシンポジウム2018