8. 復習:一般化線形モデルのステップ
• 一般化線形モデルは以下のステップを踏みパラメー
タβを推定する。(最尤推定法)
• ① Yi の確率分布を仮定する(ex.2値なら2項分布な
ど)。
• ② Yiの期待値に対する回帰モデルを立てる(リンク
関数hを介在させる)。
•
• ③ ①より尤度関数を作り、②を代入する。この尤度
関数を最大化するようなβを決定すればそれが最尤
推定量 𝛽である。対数をとった尤度関数をβについて
偏微分し、その関数(スコア関数)の根を求める。
( ) (1)T
i ih X β
15. 擬似尤度(Wedderburn,1974)
• 擬似尤度の仮定を整理すると
1. (1)式
• この仮定をもとに、以下の方程式を解くことに
よって定まる 𝛽を擬似尤度推定量とする。
( )T
i ih X β
( ) /i iV
1
1
( ) ( ) { ( )} 0 (4)
N
Ti
QR i i i
i
U V Y
β
β
18. 漸近正規性と一致性の証明
• UQR( 𝜷)を真値𝜷0のまわりでテーラー展開し、N→∞ほど十分
大きく、正則条件を満たしていると(limは明示したりしなかっ
たりです)
0 0
0 0
1
0 0
1
1 1
0
× ×1
ˆ ˆ( ) ( ) { ( ) }( ) (1)
1 1 ˆ ˆ( ) { ( ) } ( ) (1) ( ) 0
1 1ˆ( ) { ( ) } ( ) (1)
* (1)
1 1
{ ( ) } , ( )
QR QR QR p
QR QR p QR
QR QR p
p
QR QR
p p p
U U U o
U U N o U
NN
N U U o
N N
o
where
U U
N N
0
0
0
0
β β
β β
β β
β β
β β β β β
β
β β β β β
β
β β β β
β
H B
H β B β
β
Q
19. 漸近正規性の証明
• →Cont’d
• 補足:Aには”1/N*∑”という形が現れ、これは標本平均と考え
られるから大数の法則により期待値(定数)に収束する。
• Bには「1/√N*∑」が現れ、中心極限定理が使える。
1
1
1
0
1
0
1 1
{ ( ) } lim [ ( ) ( )]
(1)
1 1
( ) lim [( ) ( )]
~
ˆ( ) ~
N
Ti
QR i i i
N
i
N
Ti
QR i i i
N
i
U V Y
N N
Op
U V Y
N N
Normal
N Normal distribution
0β β
H β
β β β
B β
β
β β
20. 一致性の証明
• 漸近正規性は確認されたので、平均と分散を求める
0
1 1
1 1
0
0 0 0
1 1 1 1
ˆ[ ( )] [ (1)] (1)* [ ] (1),
1 1
[ ] [ {( ) ( )}] {( ) [ ]}
ˆ[ ( )]
ˆ ˆ ˆ[ ( )] [{ ( )}{ ( )} ]
[ (1)] [ ] ,
T
N N
T Ti i
i i i i i i
i i
T
E N E op Op E op
E E V Y V E Y
N N
E N
Var N E N N
E op E
T
T T
β β HB B
B
β β
0
β β 0
β β β β β β
H BB H H BB H
H 1
1
1
1
[ ( ) ( )]
[( ) ( )]
N
Ti
i i i
i
Ti
i i i
V Y
N
E V Y
β β
β β
H と E[BBT]に分解
21. 一致性の証明(cont’d)
1
2
1 1 1 1
1
1 1
1
1
[( ) ( )]
[( ) ( ) ( ) ( ) ( )
( ) { ( )}]
{ ( ) ( )} ( ) ( )
1
lim ( ) ( )
Ti
i i i
T Ti i
i i i i i i i iT
Ti
i i i
T Ti i i i
i i
N
Ti i
i
N
i
E V Y
E V Y V V V Y
V Y
V V
V
N
H
β β
β β β β
β β
0 0
β β β β
H
β β
Hは対称行列
22. 一致性の証明(cont’d)
1 1
1
1 1
1
1 1
0
0
1
0
1
[ ] lim [( ) [( )( ) ] ( )]
1
lim [( ) ( ) ( )
ˆ[ ( )] [ ]
ˆ( )~ ( , )
1
lim ( ) (
N
T T Ti i
i i i i i i
N
i
N
Ti i
i i i
N
i
Ti
i
N
E V E Y Y V
N
V Var Y V
N
Var N E
N N
where
V
N
T -1 -1
0 1 0
-1 -1
0 1 0
BB
β β
β β
β β H BB H I I I
β β 0 I I I
I
β1
1 1
1
1
),
1
lim [( ) ( ) ( )]
N
i
i
N
Ti i
i i i
N
i
V Var Y V
N
β
I
β β
32. GEE
1
1
1/2 1/2
( , ) 0 (6)
( ), ( ) / , ( ),
{ ( )}
N
T
GEE i i i
i
i
i i i i i i
U
where
diag
i
D V S
μ
D V A R A S Y μ β
β
A μ
• Di, A, Si はβに依存し、Ri(α)はαに依存している
• ここまで準備した上で、この方程式を解いたパラ
メータβの推定量の性質を調べてみる。
• αについては作業相関行列をユーザーが指定す
ることで決定される。
33. Theorem
• 以下のweak conditionsを仮定し
i.
ii.
iii.
• この条件のもと推定量 𝛽 𝐺は
• これを証明する
ˆ( ) (1), ;
ˆ( ) (1), ;
ˆ( , ) ( , ), (1)
p
p
p
N O given and
N O given
H which is O
α α β
β
α β Y β
1 1
0 0 1 0
1 1 1
0 1
1 1
ˆ( ) ~ ( , )
1 1
lim , lim ( ) ]
G
N N
T T
i i i i i i i i
N N
i i
N N
where
Cov
N N
β β 0 M M M
M D V D M D V Y V D
37. Proof(cont’d)
• α*の一致性と漸近正規性が分かったので本命の 𝛽 𝐺
について同様に議論する
• 擬似尤度の項で行ったことと同様の式変形で、
• これを示すことができる。
* 1 *
0
1 1
1 1ˆ( ) { [ , ( )] } [ , ( ) ] (1)
N N
G i i p
i i
N U U o
N N
β β0
0β β
β β β α β β α β
β
1 1
0 0 1 0
1 1 1
0 1
1 1
ˆ( ) ~ ( , )
1 1
lim , lim ( ) ]
G
N N
T T
i i i i i i i i
N N
i i
N N
where
Cov
N N
β β 0 M M M
M D V D M D V Y V D
40. Modified Fisher Scoring algorhythm
• この式を反復して収束まで続ける
• (フィッシャースコアアルゴリズムはニュートンラフソン法の尤
度計算における改良版です)
1 1 1
1
1 1
ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ{ ( ) ( ) ( )] } { ( ) ( ) ( )]}
N N
T T
j j i j i j i j i j i j i j
i i
β β D β V β D β D β V β S β% %
41. おまけ:GEE V.S. mixed-model
• GEEと比較して語られるのが混合効果モデル
であるが、アウトカムが離散値の場合はこの
両者の推定値が異なる(というか解釈が異な
る)ことが知られている。
• なぜこういうことがおきるかというと、一言で
いえば「リンク関数が挟まっているから」
[ ( )] ( [ ])E g Y g E Y
42. おまけ:GEE V.S. mixed-model
• GEEは”marginal (population-averaged) mean”で
GLMMは”conditional (subject-specific) mean”が
推定される
• 詳しくは
https://perswww.kuleuven.be/~u0018341/documents/ldasc1
2Budapest.pdf
ˆarg : ( )
ˆ: ( | )
ˆ, ( | 0)
T
i i G
T
i i i M i i
T
i i i M
M inal mean E Y X
Conditional mean E Y b X Z b
specifically E Y b X