第3章変分近似法 LDAにおける変分ベイズ法・周辺化変分ベイズ法

第3章変分近似法
第 4 回「統計的潜在意味解析」
読書会
@ksmzn
会場:株式会社 ALBERT 西新宿
July 30, 2015
@ksmzn 第 3 章変分近似法 July 30, 2015 1 / 43

自己紹介
Koshi @ksmzn
某大学 M2 → 社会人一年目
法研究

目次
1 3.3.4 LDA 変分法 (準備)
2 3.3.5 LDA 変分法 (1)
3 3.3.6 LDA 変分法 (2)
4 3.3.7 LDA 変分法 (3)
5 3.3.8 LDA 周辺化変分法
6 References

目次
2 3.3.5 LDA 変分法 (1)
3 3.3.6 LDA 変分法 (2)
4 3.3.7 LDA 変分法 (3)
6 References

Dirichlet分布期待値導出
log θ 期待値
θ ∼ Dir (θ | α) , 関数 Ψ (x) = d log Γ(x)
dx 用
,
Ep
(
θ|α
)[log θk] = Ψ (αk) − Ψ


K∑
k=1
αk


LDA 変分、q (z) 導出用

目次
2 3.3.5 LDA 変分法 (1)
3 3.3.6 LDA 変分法 (2)
4 3.3.7 LDA 変分法 (3)
6 References

LDA
引用: http:
//ni66ling.hatenadiary.jp/entry/2015/05/04/163958

変分法要点
目的
▶ KL[q (z, θ, ϕ) || p (z, θ, ϕ | w, α, β)] 最小
q (z, θ, ϕ) 求 .
手法
▶ 対数周辺尤度 log p (w | α, β) 変分下限
F[q (z, θ, ϕ)] 求、最大 q (z, θ, ϕ)
変分法求 .
▶ q (z, θ, ϕ) 対因子分解仮定 , q (z), q (θ),
q (ϕ) 順繰返更新 .

変分下限導出
変分下限導出
1. 周辺化確率変数 z, θ, ϕ 結合分布積
分形表示
2. 変分事後分布分子分母形導
入
3. 不等式下限求

変分下限導出
log p (w | α, β) = log
∫ ∑
z
p (w, z, θ, ϕ | α, β) dϕdθ
= log
∫ ∑
z
q (z, θ, ϕ)
p (w, z, θ, ϕ | α, β)
q (z, θ, ϕ)
dϕdθ
≥
∫ ∑
z
q (z, θ, ϕ) log
p (w, z, θ, ϕ | α, β)
q (z, θ, ϕ)
dϕdθ
≡ F
[
q (z, θ, ϕ)
]

変分下限導出
、変分下限 ,
F
[
q (z, θ, ϕ)
]
=
∫ ∑
z
q (z) q (θ) q (ϕ) log p (w | z, θ) p (z | θ) dϕdθ
−
∑
z
q (z) log q (z)
+
∫
q (θ) log
p (θ | α)
q (θ)
dθ
+
∫
q (ϕ) log
p (ϕ | β)
q (ϕ)
dϕ

変分下限導出
(続 )
=
∫ M∑
d=1
nd∑
i=1
q
(
zd,i
)
q (θd) q (ϕ) log p
(
wd,i | zd,i, ϕ
)
p
(
zd,i | θd
)
dϕdθ
−
M∑
d=1
nd∑
i=1
K∑
k=1
q
(
zd,i = k
)
log q
(
zd,i = k
)
+
M∑
d=1
−
∫
q (θd) log
p (θd | α)
q (θd)
dθd
+
K∑
k=1
−
∫
q
(
ϕk
)
log
p
(
ϕk | β
)
q
(
ϕk
) dϕk

変分下限最大
変分下限 F
[
q (z, θ, ϕ)
]
最大 .
→ q (z, θ, ϕ) 因子分解仮定置 ,
F z, θ, ϕ 関部分抜出 ,
最大 q
(
zd,i
)
, q (θd) , q
(
ϕk
)
求
.

q (θd) 求
変分下限 F , q (θd) 関係項抜出
˜F
[
q (θd)
]
,
˜F
[
q (θd)
]
=
∫
q (θd)
∑
z
q (z)
nd∑
i=1
log p
(
zd,i | θd
)
dθd
−
∫
q (θd) log
q (θd)
p (θd | α)
dθd

q (θd) 求
最大化 , 変分法 ,
∂ f
(
θd,q
(
θd
))
∂q
(
θd
) = 0
q (θd) 求
∂ f (θd, q (θd))
∂q (θd)
=
∑
z
q (z)
nd∑
i=1
log p
(
zd,i | θd
)
− log
q (θd)
p (θd | α)
− 1
= 0
q (θd) 解 .

q (θd) 求
q (θd) ∝ p (θd | α) exp


∑
z
q (z)
nd∑
i=1
log p
(
zd,i | θd
)


∝
K∏
k=1
θαk−1
d,k exp


∑
z
q (z)
nd∑
i=1
K∑
k=1
δ
(
zd,i = k
)
log θd,k


= exp


K∑
k=1
(αk − 1) log θd,k

 exp


K∑
k=1
nd∑
i=1
q
(
zd,i = k
)
log θd,k


= exp


K∑
k=1
(αk − 1) log θd,k

 exp


K∑
k=1
Eq(zd)
[
nd,k
]
log θd,k


= exp


K∑
k=1
(
Eq(zd)
[
nd,k
]
+ αk − 1
)
log θd,k


=
K∏
k=1
θ
Eq(zd)[nd,k]+αk−1
d,k

q (θd) 求
ξθ
d,k = Eq(zd)
[
nd,k
]
+ αk,
ξθ
d
=
(
ξθ
d,1, ξθ
d,2, · · · , ξθ
d,K
)
, q (θd) ξθ
d
Dirichlet 分布 q
(
θd | ξθ
d
)
, 正規化項計算 ,
q
(
θd | ξθ
d
)
=
Γ
(∑K
k=1 ξθ
d,k
)
∏K
k=1 Γ
(
ξθ
d,k
)
K∏
k=1
θ
ξθ
d,k
−1
d,k
.

q
(
ϕk
)
求
同様 ,
ξϕ
k,v = Eq(z)
[
nk,v
]
+ βv,
ξ
ϕ
k
=
(
ξϕ
k,1, ξϕ
k,2, · · · , ξϕ
k,v
)
, q
(
ϕk
)
ξ
ϕ
k
Dirichlet 分布 q
(
ϕk | ξ
ϕ
k
)
, 正規化項計算 ,
q
(
ϕk | ξ
ϕ
k
)
=
Γ
(∑V
v=1 ξϕ
k,v
)
∏V
v=1 Γ
(
ξϕ
k,v
)
V∏
v=1
ϕ
ξ
ϕ
k,v
−1
k,v
.

q
(
zd,i
)
求
最後 , q
(
zd,i
)
,
q
(
zd,i = k
)
∝
exp
[
Ψ
(
ξϕ
k,wd,i
)]
exp
[
Ψ
(∑V
v′=1 ξϕ
k,v′
)]
exp
[
Ψ
(
ξθ
d,k
)]
exp
[
Ψ
(∑K
k′=1 ξθ
d,k′
)]
.

TIPS
1. 後, 全 k, d, i 評価行
2. α, β 推定関 , 3.6 節
参照
3. 因子分解仮定誤差大
( )
→周辺化変分法!!

目次
2 3.3.5 LDA 変分法 (1)
3 3.3.6 LDA 変分法 (2)
4 3.3.7 LDA 変分法 (3)
6 References

共役性利用場合
▶ 近似事後分布対何分布条件置
→多項分布 Dirichlet 分布共役性
▶ 近似事後分布形仮定 , 推
定方法
▶ LDA 共役性用 ,
必要

目次
2 3.3.5 LDA 変分法 (1)
3 3.3.6 LDA 変分法 (2)
4 3.3.7 LDA 変分法 (3)
6 References

ϕ 点推定
▶ 原論文 , ϕ 点推定行
▶ 変分下限 ϕ 関部分抜出 ,
q
(
ϕk,v
)
ϕk,v 微分求 .

目次
2 3.3.5 LDA 変分法 (1)
3 3.3.6 LDA 変分法 (2)
4 3.3.7 LDA 変分法 (3)
6 References

周辺化変分法 (CVB)
周辺化変分法
Collapsed Variational Bayes (CVB)
周辺化同様 , θd ϕk 周
辺化（積分消去） , 近似事後分布 q (z) 求 .
q (z) 因子分解仮定 .
q (z) =
M∏
d=1
nd∏
i=1
q
(
zd,i
)
θ, ϕ z 依存関係保持学習

CVB 変分下限導出
基本的変分法同様
1. 周辺化確率変数 z 結合分布積分形
表示
2. 変分事後分布分子分母形導
入
3. 不等式下限求
log p (w | α, β) = log
∑
z
p (w, z | α, β) = log
∑
z
q (z)
p (w, z | α, β)
q (z)
≥
∑
z
q (z) log
p (w, z | α, β)
q (z)
≡ FCVB
[
q (z)
]

VB 変分下限 CVB 変分下限
変分法 (VB) 変分下限 CVB 変分下限次
関係成立 .
F
[
q (z, θ, θ)
]
≤ FCVB
[
q (z)
]
CVB , VB 既大変分下限最大化
, 効率的 .
→学習必要反復回数少済！

変分下限最大化
周辺化変分法 , 以下最適化問題解
q∗
(z) = argmax
q(z)
FCVB
[
q (z)
]

変分下限最大化
VB 同様 ,
FCVB
[
q (z)
]
=
∑
z
q (z) log
p (w, z | α, β)
q (z)
=
∑
z
q
(
zd,i
)
q
(
zd,i
)
log
p
(
wd,i, zd,i | wd,i
, zd,i
, α, β
)
p
(
wd,i
, zd,i
| α, β
)
q
(
zd,i
)
q
(
zd,i
)
, q
(
zd,i
)
関係項抜出
˜FCVB
[
q
(
zd,i
)]
=
∑
z
q
(
zd,i
)
q
(
zd,i
)
log
p
(
wd,i, zd,i | wd,i
, zd,i
, α, β
)
q
(
zd,i
)

CVB 用統計量
(P55)
nd,k
nd,k =
∑nd
i=1 δ
(
zd,i = k
)
文書 d k 現回数
nk,v
nk,v =
∑M
d=1
∑nd
i=1 δ
(
wd,i = v, zd,i = k
)
全文書 , k 単語 v 対推定
回数

CVB 用統計量
p
(
wd,i = v, zd,i = k | wd,i
, zd,i
, α, β
)
= p
(
wd,i = v | zd,i = k, wd,i
, zd,i
, β
)
p
(
zd,i = k | zd,i
, α
)
=
nd,i
k,v + βv
nd,i
k,. + β.
×
nd,i
d,k + αk
nd,i
d,. + α.
(Dirichlet 分布期待値計算 , 式 (2.10)
参照)

q
(
zd,i = k
)
求
変分下限 ˜FCVB
[
q
(
zd,i
)]
, q
(
zd,i = k
)
微分 0
, q
(
zd,i = k
)
解 ,
q
(
zd,i = k
)
∝ exp


∑
z
q
(
zd,i
)
log p
(
wd,i, zd,i | wd,i
, zd,i
, α, β
)


= exp Eq(zd,i
)
[
log p
(
wd,i, zd,i | wd,i
, zd,i
, α, β
)]
∝ exp Eq(zd,i
)

log
nd,i
k,v + βv
nd,i
k,. + β.
(
nd,i
d,k + αk
)


=
exp Eq(zd,i
)
[
log nd,i
k,v + βv
]
exp Eq(zd,i
)
[∑V
v′=1 log nd,i
k,v′ + β′
v
]exp Eq(zd,i
)
[
log
(
nd,i
d,k + αk
)]

展開近似
前式期待値部分解析的計算 ,
展開近似行 .
展開
対数関数 a 周 2 次展開 ,
log x ≈ log a +
1
a
(x − a) −
1
2a2
(x − a)2

展開近似
a = E [x] ,
E
[
log x
]
≈ log E [x] +
V [x]
2E [x]2
, nd,i
d,k + αk 周展開近似
,
E
[
log
(
nd,i
d,k + αk
)]
≈ log
(
E
[
nd,i
d,k
]
+ αk
)
−
V
[
nd,i
d,k
]
2
(
E
[
nd,i
d,k
]
+ αk
)2

展開近似
,
E
[
nd,i
d,k
]
=
∑
i′ i
q
(
zd,i′ = k
)
V
[
nd,i
d,k
]
=
∑
i′ i
q
(
zd,i′ = k
) (
1 − q
(
zd,i′ = k
))
E
[
nd,i
k,v
]
=
M∑
d=1
∑
i′
q
(
zd,i′ = k
)
I
(
wd,i′ = k
)
E
[
nd,i
k,.
]
=
V∑
v=1
E
[
nd,i
k,v
]
V
[
nd,i
k,v
]
=
M∑
d=1
∑
i′
q
(
zd,i′ = k
) (
1 − q
(
zd,i′ = k
))
I
(
wd,i′ = k
)2
V
[
nd,i
k,.
]
=
V∑
v=1
V
[
nd,i
k,v
]
用 ,

展開近似
近似 ,
q
(
zd,i = k
)
∝
E
[
nd,i
k,v
]
+ βv
∑V
v′=1 E
[
nd,i
k,v′
]
+ β′
v
E
[
nd,i
d,k
]
+ αk
× exp


−
V
[
nd,i
k,v
]
2
(
E
[
nd,i
k,v
]
+ βv
)2
−
V
[
nd,i
d,k
]
2
(
E
[
nd,i
d,k
]
+ αk
)2


× exp


V
[
nd,i
k,.
]
2
(∑V
v=1 E
[
nd,i
k,v′
]
+ βv′
)2



CVB0
▶ LDA , 2 次近似 ,
0 次近似方予測性能良知
(CVB0).
q
(
zd,i = k
)
∝
E
[
nd,i
k,v
]
+ βv
∑V
v′=1 E
[
nd,i
k,v′
]
+ β′
v
E
[
nd,i
d,k
]
+ αk
▶ 以外 (計算等) 同等 , LDA 2
次近似使理由 ( ?)
▶ 詳細 , 著者佐藤先生論文 .

1. LDA 変分法適用
2. LDA 周辺化変分法適用
3. 0 次近似 (CVB0) 方 2 次近似汎化能力
高

References
[1] 佐藤一誠 (2015) 『統計的潜
在意味解析』 (自然言語処理 ) 社
[2] 岩田具治 (2015) 『』(機械学習
),
[3] CVB0 ！ - Bag of ML Words
http://dr-kayai.hatenablog.com/entry/
2013/12/22/003011

清聴 .

第3章変分近似法 LDAにおける変分ベイズ法・周辺化変分ベイズ法

Recommended

Recommended

More Related Content

Featured

Featured (20)