2013 Japan.R LT

1. はじめに
. . .
WAIC
. . . . . . . . . .
.
.
R で WAIC
@motivic
Japan.R 2013
2013 年 12 月 7 日
@motivic
R で WAIC
参考
.

2. はじめに
. . .
WAIC
. . . . . . . . . .
目次
.
1
はじめに
自己紹介
今年を振り返る
.
2
WAIC
正則モデル・特異モデル
WAIC の理論的妥当性
WAIC の計算式
WAIC の計算例
R による計算の課題
.
3
参考
参考 HP
@motivic
R で WAIC
参考
.

3. はじめに
. . .
WAIC
. . . . . . . . . .
自己紹介
twitter ID：@motivic
職業：研究室警備員
きょーみ：

 代数統計 (代数幾何)



 情報幾何


 トポロジカルデータ解析




 医療統計 









 を用いた  疫学







 因果推論 

統計ゆるふわ勢
@motivic
R で WAIC
参考
.

4. はじめに
. . .
WAIC
. . . . . . . . . .
年末なので今年を振り返る
2013 年のおもひで：
8 月：Tokyo.R デビュー
「21 世紀の手法対決」(MIC と HSIC の性能比較)
@motivic
R で WAIC
参考
.

5. はじめに
. . .
WAIC
. . . . . . . . . .
年末なので今年を振り返る
2013 年のおもひで：
8 月：Tokyo.R デビュー
「21 世紀の手法対決」(MIC と HSIC の性能比較)
6 月：代数統計を学ぶためノルウェーに
@motivic
R で WAIC
参考
.

6. はじめに
. . .
WAIC
. . . . . . . . . .
年末なので今年を振り返る
2013 年のおもひで：
8 月：Tokyo.R デビュー
「21 世紀の手法対決」(MIC と HSIC の性能比較)
6 月：代数統計を学ぶためノルウェーに
ノルウェーでの一コマ：
俺「どんな日本人を知ってる？」
イタリア人「Hidetoshi Nakata
@motivic
R で WAIC
参考
.

7. はじめに
. . .
WAIC
. . . . . . . . . .
年末なので今年を振り返る
2013 年のおもひで：
8 月：Tokyo.R デビュー
「21 世紀の手法対決」(MIC と HSIC の性能比較)
6 月：代数統計を学ぶためノルウェーに
ノルウェーでの一コマ：
俺「どんな日本人を知ってる？」
イタリア人「Hidetoshi Nakata と Sumio Watanabe‡ 」
‡
WAIC/WBIC という情報量規準を作った先生
@motivic
R で WAIC
参考
.

8. はじめに
. . .
WAIC
. . . . . . . . . .
つまり
WAIC は中田くらいスゴイ！
？
@motivic
R で WAIC
参考
.

9. はじめに
. . .
参考
.
WAIC
. . . . . . . . . .
正則モデルと特異モデルの例
特異モデル †‡
混合正規分布
隠れマルコフモデル
正則モデル
正規分布
線形回帰
.
.
.
ベイジアンネットワーク
ボルツマンマシン, NN
ARMA
.
.
.
データサイエンティストが
よく (?) 使うモデル！
†
正則条件 (Fisher 情報行列の正則性や identifiability など)
を満たさないモデル
‡ 特異モデルかわいいよ、特異モデル (*´Д`*)
@motivic
R で WAIC

10. はじめに
. . .
参考
.
WAIC
. . . . . . . . . .
正則モデルと特異モデルの情報量規準
正則モデル
AIC
BIC
TIC
GIC
EIC
RIC
HQC
.
.
.
特異モデル
2009 年まで情報量規準
が存在しなかった
@motivic
R で WAIC

11. はじめに
. . .
参考
.
WAIC
. . . . . . . . . .
正則モデルと特異モデルの情報量規準
正則モデル
AIC
BIC
TIC
GIC
EIC
RIC
HQC
.
.
.
特異モデル
WAIC† (2009)
WBIC‡ (2013)
†
Widely Applicable Information Criterion または
Watanabe-Akaike Information Criterion
‡ Widely applicable Bayesian Information Criterion
@motivic
R で WAIC

12. はじめに
. . .
参考
.
WAIC
. . . . . . . . . .
WAIC の理論的妥当性
広中の特異点解消定理
代数幾何
ゼータ関数
超関数
経験過程
@motivic
R で WAIC

13. はじめに
. . .
参考
.
WAIC
. . . . . . . . . .
WAIC の理論的妥当性
広中の特異点解消定理
代数幾何
ゼータ関数
超関数
経験過程
LT じゃ無理！
@motivic
R で WAIC

14. はじめに
. . .
参考
.
WAIC
. . . . . . . . . .
WAIC の計算式
.
WAIC
.
X1 , ..., Xn を独立な確率変数, p (x |θ) をモデル, φ(θ) をパラメータ θ
の事前分布としたとき、Z を正規化定数とすると、
T
 ∫

n
n
1

∏


1∑




:= −
log 
p (Xi |θ)
p (Xj |θ)φ(θ)d θ


Z



n
i =1
V
.
WAIC
j =1

n
n
∑ 1 ∫
∏



:=
(log p (Xi |θ))2
p (Xj |θ)φ(θ)d θ

Z
i =1
j =1
 ∫
2 
n
1
 
∏

 

 

 
log p (Xi |θ)
p (Xj |θ)φ(θ)d θ 
−

 
Z



j =1
:= T +
V
n
@motivic
R で WAIC

15. はじめに
. . .
WAIC
. . . . . . . . . .
WAIC のプログラム
渡辺先生の HP に WAIC の計算例のコードがある
@motivic
R で WAIC
参考
.

16. はじめに
. . .
WAIC
. . . . . . . . . .
WAIC のプログラム
渡辺先生の HP に WAIC の計算例のコードがある
ただし MATLAB…
@motivic
R で WAIC
参考
.

17. はじめに
. . .
参考
.
WAIC
. . . . . . . . . .
WAIC のプログラム
渡辺先生の HP に WAIC の計算例のコードがある
ただし MATLAB…
ご家庭に
はない！
@motivic
R で WAIC

18. はじめに
. . .
WAIC
. . . . . . . . . .
WAIC のプログラム
ご家庭にある R で混合分布の WAIC を計算させるため、
MATLAB のコードを R に翻訳して計算してみました
この翻訳した R のコードは 12/13 の R advent calendar に載
せる予定です
@motivic
R で WAIC
参考
.

19. はじめに
. . .
参考
.
WAIC
. . . . . . . . . .
R で WAIC の計算ができた！
WAIC と汎化誤差 (GE) の期待値と分散がほぼ同じであること
がこのグラフから分かります
0.03
value
0.02
variable
0.01
WAIC
GE
0.00
−0.01
0
10
20
30
40
trial
@motivic
R で WAIC
50

20. はじめに
. . .
WAIC
. . . . . . . . . .
WAIC と DIC の比較
DIC より WAIC のほうが良いことが分かります
@motivic
R で WAIC
参考
.

21. はじめに
. . .
WAIC
. . . . . . . . . .
課題
このプログラムだと計算が遅い
現在 RStan で高速な WAIC の計算を試してます
詳細は R advent calendar で！
@motivic
R で WAIC
参考
.

22. はじめに
. . .
WAIC
. . . . . . . . . .
参考 HP
東工大の渡辺先生の HP
http://watanabewww.math.dis.titech.ac.jp/users/swatanab/waic2011.html
R、RStan による WAIC の計算コード
http://motivic.hateblo.jp/entry/2013/12/13/195527
http://motivic.hateblo.jp/entry/2013/12/15/232856
@motivic
R で WAIC
参考
.