RでWAIC
- 1. はじめに
. . .
WAIC
. . . . . . . . . .
.
.
R で WAIC
@motivic
Japan.R 2013
2013 年 12 月 7 日
@motivic
R で WAIC
参考
.
- 2. はじめに
. . .
WAIC
. . . . . . . . . .
目次
.
1
はじめに
自己紹介
今年を振り返る
.
2
WAIC
正則モデル・特異モデル
WAIC の理論的妥当性
WAIC の計算式
WAIC の計算例
R による計算の課題
.
3
参考
参考 HP
@motivic
R で WAIC
参考
.
- 3. はじめに
. . .
WAIC
. . . . . . . . . .
自己紹介
twitter ID:@motivic
職業:研究室警備員
きょーみ:
代数統計 (代数幾何)
情報幾何
トポロジカルデータ解析
医療統計
を用いた 疫学
因果推論
統計ゆるふわ勢
@motivic
R で WAIC
参考
.
- 4. はじめに
. . .
WAIC
. . . . . . . . . .
年末なので今年を振り返る
2013 年のおもひで:
8 月:Tokyo.R デビュー
「21 世紀の手法対決」(MIC と HSIC の性能比較)
@motivic
R で WAIC
参考
.
- 5. はじめに
. . .
WAIC
. . . . . . . . . .
年末なので今年を振り返る
2013 年のおもひで:
8 月:Tokyo.R デビュー
「21 世紀の手法対決」(MIC と HSIC の性能比較)
6 月:代数統計を学ぶためノルウェーに
@motivic
R で WAIC
参考
.
- 6. はじめに
. . .
WAIC
. . . . . . . . . .
年末なので今年を振り返る
2013 年のおもひで:
8 月:Tokyo.R デビュー
「21 世紀の手法対決」(MIC と HSIC の性能比較)
6 月:代数統計を学ぶためノルウェーに
ノルウェーでの一コマ:
俺「どんな日本人を知ってる?」
イタリア人「Hidetoshi Nakata
@motivic
R で WAIC
参考
.
- 7. はじめに
. . .
WAIC
. . . . . . . . . .
年末なので今年を振り返る
2013 年のおもひで:
8 月:Tokyo.R デビュー
「21 世紀の手法対決」(MIC と HSIC の性能比較)
6 月:代数統計を学ぶためノルウェーに
ノルウェーでの一コマ:
俺「どんな日本人を知ってる?」
イタリア人「Hidetoshi Nakata と Sumio Watanabe‡ 」
‡
WAIC/WBIC という情報量規準を作った先生
@motivic
R で WAIC
参考
.
- 9. はじめに
. . .
参考
.
WAIC
. . . . . . . . . .
正則モデルと特異モデルの例
特異モデル †‡
混合正規分布
隠れマルコフモデル
正則モデル
正規分布
線形回帰
.
.
.
ベイジアンネットワーク
ボルツマンマシン, NN
ARMA
.
.
.
データサイエンティストが
よく (?) 使うモデル!
†
正則条件 (Fisher 情報行列の正則性や identifiability など)
を満たさないモデル
‡ 特異モデルかわいいよ、特異モデル (*´Д`*)
@motivic
R で WAIC
- 10. はじめに
. . .
参考
.
WAIC
. . . . . . . . . .
正則モデルと特異モデルの情報量規準
正則モデル
AIC
BIC
TIC
GIC
EIC
RIC
HQC
.
.
.
特異モデル
2009 年まで情報量規準
が存在しなかった
@motivic
R で WAIC
- 11. はじめに
. . .
参考
.
WAIC
. . . . . . . . . .
正則モデルと特異モデルの情報量規準
正則モデル
AIC
BIC
TIC
GIC
EIC
RIC
HQC
.
.
.
特異モデル
WAIC† (2009)
WBIC‡ (2013)
†
Widely Applicable Information Criterion または
Watanabe-Akaike Information Criterion
‡ Widely applicable Bayesian Information Criterion
@motivic
R で WAIC
- 13. はじめに
. . .
参考
.
WAIC
. . . . . . . . . .
WAIC の理論的妥当性
広中の特異点解消定理
代数幾何
ゼータ関数
超関数
経験過程
LT じゃ無理!
@motivic
R で WAIC
- 14. はじめに
. . .
参考
.
WAIC
. . . . . . . . . .
WAIC の計算式
.
WAIC
.
X1 , ..., Xn を独立な確率変数, p (x |θ) をモデル, φ(θ) をパラメータ θ
の事前分布としたとき、Z を正規化定数とすると、
T
∫
n
n
1
∏
1∑
:= −
log
p (Xi |θ)
p (Xj |θ)φ(θ)d θ
Z
n
i =1
V
.
WAIC
j =1
n
n
∑ 1 ∫
∏
:=
(log p (Xi |θ))2
p (Xj |θ)φ(θ)d θ
Z
i =1
j =1
∫
2
n
1
∏
log p (Xi |θ)
p (Xj |θ)φ(θ)d θ
−
Z
j =1
:= T +
V
n
@motivic
R で WAIC
- 15. はじめに
. . .
WAIC
. . . . . . . . . .
WAIC のプログラム
渡辺先生の HP に WAIC の計算例のコードがある
@motivic
R で WAIC
参考
.
- 16. はじめに
. . .
WAIC
. . . . . . . . . .
WAIC のプログラム
渡辺先生の HP に WAIC の計算例のコードがある
ただし MATLAB…
@motivic
R で WAIC
参考
.
- 17. はじめに
. . .
参考
.
WAIC
. . . . . . . . . .
WAIC のプログラム
渡辺先生の HP に WAIC の計算例のコードがある
ただし MATLAB…
ご家庭に
はない!
@motivic
R で WAIC
- 18. はじめに
. . .
WAIC
. . . . . . . . . .
WAIC のプログラム
ご家庭にある R で混合分布の WAIC を計算させるため、
MATLAB のコードを R に翻訳して計算してみました
この翻訳した R のコードは 12/13 の R advent calendar に載
せる予定です
@motivic
R で WAIC
参考
.
- 19. はじめに
. . .
参考
.
WAIC
. . . . . . . . . .
R で WAIC の計算ができた!
WAIC と汎化誤差 (GE) の期待値と分散がほぼ同じであること
がこのグラフから分かります
0.03
value
0.02
variable
0.01
WAIC
GE
0.00
−0.01
0
10
20
30
40
trial
@motivic
R で WAIC
50
- 20. はじめに
. . .
WAIC
. . . . . . . . . .
WAIC と DIC の比較
DIC より WAIC のほうが良いことが分かります
@motivic
R で WAIC
参考
.
- 21. はじめに
. . .
WAIC
. . . . . . . . . .
課題
このプログラムだと計算が遅い
現在 RStan で高速な WAIC の計算を試してます
詳細は R advent calendar で!
@motivic
R で WAIC
参考
.
- 22. はじめに
. . .
WAIC
. . . . . . . . . .
参考 HP
東工大の渡辺先生の HP
http://watanabewww.math.dis.titech.ac.jp/users/swatanab/waic2011.html
R、RStan による WAIC の計算コード
http://motivic.hateblo.jp/entry/2013/12/13/195527
http://motivic.hateblo.jp/entry/2013/12/15/232856
@motivic
R で WAIC
参考
.