「トピックモデルによる統計的潜在意味解析」読書会 4章前半
•
2 likes•2,209 views
4章「潜在意味空間における回帰と識別」 4.1:背景 4.2:潜在意味空間における回帰問題
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Similar to 「トピックモデルによる統計的潜在意味解析」読書会 4章前半
「トピックモデルによる統計的潜在意味解析」読書会 4章前半
- 1. 2015/09/17 @_kobacky 株式会社 ALBERT セミナールーム トピックモデルによる統計的潜在意味解析 読書会 4章「潜在意味空間における回帰と識識別」 前半：4.1〜～4.2
- 2. 4章の内容 • 教師データが与えられた場合の潜在意味解析 • 背景 (4.1節) • 回帰問題 (4.2節) • 識識別問題 (4.3節)
- 3. 4.1 背景 • 教師あり学習：⼊入⼒力力と出⼒力力の関係をモデル化 • 出⼒力力が数値なら回帰、出⼒力力がカテゴリなどの記号なら識識別 • ⽂文書データが⼊入⼒力力の場合は、通常、単語ベクトルで表現する 【評価値】4.5 𝑊"##$,&,・・・, 𝑊"##$,' 𝑊)*$,&,・・・, 𝑊)*$,' 𝑊+#,-*,.$,&,・・・, 𝑊+#,-*,.$,' ⽂文書 (⼊入⼒力力) 単語ベクトル (⼊入⼒力力の表現) モデル 【評価値】1.2 学習 【評価値】3.8 評判分析の イメージ 評価値 (出⼒力力) 𝑊$,/は⽂文書 d における i 番⽬目の単語の出現頻度度 (教科書中の𝑤$,/とは意 味合いが違うので注意) 予測 (⼊入⼒力力=単語)
- 4. 4.1 背景 • 潜在意味解析によって得られる潜在トピックは、⽂文書の 潜在的意味を反映した⽂文書データ⼊入⼒力力表現と⾔言える • 潜在意味解析は表現学習の⼀一種 【評価値】4.5 𝑍"##$,&, ・・・, 𝑍"##$,6 𝑍)*$,&,・・・, 𝑍)*$,6 𝑍+#,-*,.$,&,・・・, 𝑍+#,-*,.$,6 ⽂文書 (⼊入⼒力力) 潜在トピックベクトル (⼊入⼒力力の表現) モデル 【評価値】1.2 学習 【評価値】3.8 評判分析の イメージ 評価値 (出⼒力力) 𝑍$,/は⽂文書 d における i 番⽬目のトピックの出現頻度度 (教科書中の𝑧$,/とは意味合い が違うので注意) 予測 (⼊入⼒力力=潜在トピック)
- 5. 4.1 背景 • 4章では潜在トピックの学習に対して教師情報を利利⽤用する ⽅方法を説明する。 • 半教師あり学習にも応⽤用できる。(本書では扱わない。) • 「教師情報のある⼩小規模の⽂文書データ」と「教師情報のない⼤大規 模の⽂文書データ」に対して学習することで、情報量量の豊富な⼊入⼒力力 の表現を学習しつつ、⼊入⼒力力と出⼒力力の関係も学習する。
- 6. 4.2 潜在意味空間における回帰問題 • 4.2.1 正規回帰モデル • 4.2.2 LDA+正規回帰モデル • 4.2.3 LDA+正規回帰モデルの学習アルゴリズム • 4.2.4 ⼀一般化線形モデル • 4.2.5 LDA+⼀一般化線形モデル • 4.2.6 LDA+ポアソン回帰モデル (の学習アルゴリズム)
- 7. 4.2.1 正規回帰モデル • ⼊入⼒力力：V 次元の実ベクトル 𝒙 、出⼒力力：1次元の実数𝑦 • 線形回帰モデルでは V 次元のモデルパラメータ𝜼を⽤用い、 𝑦 = 𝜼 𝑻 𝒙 = ∑ 𝜂A 𝑥A C AD& として⼊入出⼒力力関係をモデル化 • 実際のデータには誤差が⽣生じる • 𝑛個のデータ 𝒙/, 𝑦/ 𝑖 = 1,2, ・・, 𝑛 の⼊入出⼒力力関係を正規分 布𝒩を⽤用いてモデル化 • 𝑦/ ~ 𝒩 𝜼J 𝒙/,𝜎L • ⽣生成モデル的に𝜼と𝜎を学習する 𝜼J 𝒙/ 𝜎 (4.1)
- 8. 4.2.2 LDA+正規回帰モデル 〜～⼊入⼒力力の表現〜～ 𝑧$,/：⽂文書 𝑑 の 𝑖 番⽬目の単語のトピック 𝑧⃗$,/ : 𝑧$,/ のベクトル表現 𝒛PQ = 1 𝑛$ R 𝒛$,/ 'S /D& 𝒛PQ : ⽂文書 𝑑 の潜在トピックによる表現 word1 word2 word3 word4 1 3 1 4 ⽂文書 𝑑 𝑧$,/𝑤$,/ 𝑧$,/ = 3 𝑧⃗$,/ = 0,0,1,0,0 J 𝒛PQ = 1 4 2,0,1,1,0 J 𝑛$：⽂文書 𝑑 の単語数 K(潜在トピック数)=5の場合 (4.2)
- 9. 4.2.2 LDA+正規回帰モデル 〜～⽣生成過程〜～ M K 𝜶 𝜷𝝓Z𝒘$,/𝒛$,/𝜽$ 𝒏$ 𝒚$ 𝜼 𝜎 _ 𝜽$~Dir 𝜶 𝑑 = 1, ・・・, 𝑀 , 𝝓Z~Dir 𝜷 𝑘 = 1, ・・・, 𝐾 . 𝑧$,/~Multi 𝜽$ , 𝑤$,/~Multi 𝝓jS,k 𝑖 = 1, ・・・, 𝑛$ 𝑦$ ~ 𝒩 𝜼J 𝒛P$, 𝜎L (4.3) (4.4) (4.5) ※⾚赤い部分が通常のLDAに⽐比べて追加された部分
- 10. 4.2.3 LDA+正規回帰モデルの学習アルゴ リズム M K 𝜶 𝜷𝝓Z𝒘$,/𝒛$,/𝜽$ 𝒏$ 𝒚$ 𝜼 𝜎 • LDAの学習に対する変更更点 • 追加された𝜼, 𝜎の推定 • 𝒚$, 𝜼, 𝜎と条件付き独⽴立立でない 𝒛$,/ の推定 • その他の学習についてはLDAの学習と変わらない
- 11. 4.2.3 LDA+正規回帰モデルの学習アルゴ リズム M K 𝜶 𝜷𝝓Z𝒘$,/𝒛$,/𝜽$ 𝒏$ 𝒚$ 𝜼 𝜎 𝑝 𝒚, 𝒘, 𝒛, 𝝓, 𝜽 𝜶, 𝜷, 𝜼, 𝜎L = 𝑝 𝒚 𝒛, 𝜼, 𝜎L 𝑝 𝒘 𝒛, 𝝓 𝑝 𝒛 𝜽 𝑝 𝝓 𝜷 𝑝 𝜽 𝜶 (4.6) 結合分布をベイズの定理理により分解 𝑝 𝒚, 𝒘 𝜶, 𝜷, 𝜼, 𝜎L ≧ 𝐹opq + 𝔼t 𝒛 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L (4.7) 変分下限はLDAの変分下限に 𝔼t 𝒛 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L を追加した値となる。 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L = log x 𝑝 𝑦$ 𝒛$, 𝜼, 𝜎L = R log 𝑝 𝑦$ 𝒛$, 𝜼, 𝜎L y $D& y $D&
- 12. 4.2.3 LDA+正規回帰モデルの学習アルゴ リズム (3.82)〜～(3.84)を参考に変分下限(4.7)を導出 log 𝑝 𝒚, 𝒘 𝜶, 𝜷, 𝜼, 𝜎L = logz R 𝑝 𝒚, 𝒘, 𝒛, 𝝓, 𝜽 𝜶, 𝜷, 𝜼, 𝜎L 𝒁 𝑑𝜙𝑑𝜃 = log zR 𝑞 𝒛, 𝝓, 𝜽 𝑝 𝒚, 𝒘, 𝒛, 𝝓, 𝜽 𝜶, 𝜷, 𝜼, 𝜎L 𝑞 𝒛, 𝝓, 𝜽 𝒁 𝑑𝜙𝑑𝜃 ≧ z R 𝑞 𝒛, 𝝓, 𝜽 log 𝑝 𝒚, 𝒘, 𝒛, 𝝓, 𝜽 𝜶, 𝜷, 𝜼, 𝜎L 𝑞 𝒛, 𝝓, 𝜽 𝒁 𝑑𝜙𝑑𝜃 = z R 𝑞 𝒛, 𝝓, 𝜽 log 𝑝 𝒘 𝒛, 𝝓 𝑝 𝒛 𝜽 𝑝 𝝓 𝜷 𝑝 𝜽 𝜶 𝑞 𝒛, 𝝓, 𝜽 + log 𝑝 𝒚 𝒛, 𝜼, 𝜎L 𝒁 𝑑𝜙𝑑𝜃 = 𝐹opq + z R 𝑞 𝒛 𝑞 𝝓 𝑞 𝜽 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L 𝒁 𝑑𝜙𝑑𝜃 = 𝐹opq + R 𝑞 𝒛 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L 𝒁 z 𝑞 𝝓 𝑞 𝜽 𝑑𝜙𝑑𝜃 = 𝐹opq + 𝔼t 𝒛 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L (4.6)より 周辺化された確率率率変数の結合分布 変数事後分布を分⺟母分⼦子に導⼊入 イエンセンの不不等式で下限求める (3.82)(3.83)より
- 13. 4.2.3 LDA+正規回帰モデルの学習アルゴ リズム 𝑝 𝑦$ 𝑧$, 𝜼, 𝜎L = 1 2𝜋𝜎L exp − 𝑦$ − 𝜼J 𝒛P$ L 2𝜎L 𝑝 𝑦$ 𝑧$, 𝜼, 𝜎L は正規分布を仮定している( 𝑦$ ~ 𝒩 𝜼J 𝒛P$, 𝜎L ) ので、 𝔼t 𝒛S log 𝑝 𝑦$ 𝒛$, 𝜼, 𝜎L = − 1 2 log 2𝜋𝜎L − 𝔼t 𝒛S 1 2𝜎L 𝑦$ − 𝜼J 𝒛P$ L = − 1 2 log 2𝜋𝜎L − 1 2𝜎L 𝑦$ L − 2𝑦$ 𝜼J 𝔼t jS 𝒛P$ + 𝜼J 𝔼t jS 𝒛P$ 𝒛P$ J 𝜼 対数の期待値を計算 (4.8) (4.9)
- 14. 4.2.3 LDA+正規回帰モデルの学習アルゴ リズム 𝝇$,/ = 𝜍$,/,&, 𝜍$,/,L,・・・, 𝜍$,/,6 , 𝜍$,/,Z = 𝑞 𝑧$,/ = 𝑘 として 𝔼t 𝒛S 𝒛P$ = 1 𝑛$ R 𝔼 𝑧⃗$,/ = 'S /D& 1 𝑛$ R 𝝇$,/ 'S /D& 𝔼t 𝒛S 𝒛P$ 𝒛P$ J = 𝔼t 𝒛S 1 𝑛$ R 𝑧⃗$,/ 'S /D& 1 𝑛$ R 𝑧⃗$,/† J 'S /†D& = 𝔼t 𝒛S 1 𝑛$ L R R 𝑧⃗$,/ 𝑧⃗$,/† J 'S /†D& 'S /D& = 1 𝑛$ L R diag 𝜍$,/ + R 𝝇$,/ 'S /†ˆ/ 𝝇$,/† J 'S /D& (4.10) (4.11) 𝔼 𝑧⃗$,/ = 𝑞 𝑧$,/ = 1 1,0, ・・・, 0 J + ・・・ +𝑞 𝑧$,/ = 𝐾 0, ・・・, 0,1 J = 𝝇$,/ 対称⾏行行列列となることに注意。 (4.13)の導出で⽤用いる。
- 15. 4.2.3 LDA+正規回帰モデルの学習アルゴ リズム 𝔼t 𝒛S R R 𝑧⃗$,/ 𝑧⃗$,/† J 'S /†D& 'S /D& = R diag 𝜍$,/ + R 𝝇$,/ 𝝇$,/† J 'S /†ˆ/ 'S /D& R R 𝑧⃗$,/ 𝑧⃗$,/† J 'S /†D& 'S /D& = 𝑧⃗$,& 𝑧⃗$,& J + ・・・ + 𝑧⃗$,& 𝑧⃗$,/† J + ・・・ + 𝑧⃗$,& 𝑧⃗$,'S J +・・・ +𝑧⃗$,/ 𝑧⃗$,& J + ・・・ + 𝑧⃗$,/ 𝑧⃗$,/† J + ・・・ + 𝑧⃗$,/ 𝑧⃗$,'S J +・・・ +𝑧⃗$,'S 𝑧⃗$,& J + ・・・ + 𝑧⃗$,'S 𝑧⃗$,/† J + ・・・ + 𝑧⃗$,'S 𝑧⃗$,'S J 𝔼t 𝒛S R R 𝑧⃗$,/ 𝑧⃗$,/† J 'S /†D& 'S /D& = 𝑞 𝑧$,/ = 1 ⋯ 0 ⋮ ⋱ ⋮ 0 ⋯ 𝑞 𝑧$,/ = 𝐾 = diag 𝜍$,/ ・・・(𝑖 = 𝑖Œ) 𝑞 𝑧$,/ = 1 𝑞 𝑧$,/† = 1 ⋯ 𝑞 𝑧$,/ = 1 𝑞 𝑧$,/† = 𝐾 ⋮ ⋱ ⋮ 𝑞 𝑧$,/ = 𝐾 𝑞 𝑧$,/† = 1 ⋯ 𝑞 𝑧$,/ = 𝐾 𝑞 𝑧$,/† = 𝐾 = 𝝇$,/ 𝝇$,/† J ・・・(𝑖 ≠ 𝑖Œ) の考え⽅方
- 16. 4.2.3 LDA+正規回帰モデルの学習アルゴ リズム 〜～𝜼, 𝜎L の推定(準備)〜～ (4.7)の変分下限のうち、𝜼, 𝜎L に関係のある𝔼t 𝒛 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L のみに注⽬目 𝔼t 𝒛 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L = −𝑀 1 2 log 2𝜋𝜎L − 1 2𝜎L R 𝑦$ L y $D& − 2𝜼J R 𝑦$ 𝔼t jS 𝒛P$ y $D& + 𝜼J R 𝔼t jS 𝒛P$ 𝒛P$ J y $D& 𝜼 = R 𝔼t 𝒛S log 𝑝 𝑦$ 𝒛$, 𝜼, 𝜎L y $D& (4.9)より (4.12)
- 17. 4.2.3 LDA+正規回帰モデルの学習アルゴ リズム 〜～ 𝜼 の推定〜～ −2 R 𝑦$ 𝔼t jS 𝒛P$ y $D& + 2 R 𝔼t jS 𝒛P$ 𝒛P$ J y $D& 𝜼 = 𝟎 𝜼 = R 𝔼t jS 𝒛P$ 𝒛P$ J y $D& •& R 𝑦$ 𝔼t jS 𝒛P$ y $D& 𝜕𝔼t 𝒛 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L 𝜕𝜼 = 0 付録 A.9 式変形 𝜕 𝜕𝒙 𝒙J 𝒂 = 𝜕 𝜕𝒙 𝐚𝒙J = 𝒂 𝜕 𝜕𝒙 𝒙J 𝐴𝒙 = 𝐴 + 𝐴J 𝒙 −𝑀 1 2 log 2𝜋𝜎L − 1 2𝜎L R 𝑦$ L y $D& − 2𝜼J R 𝑦$ 𝔼t jS 𝒛P$ y $D& + 𝜼J R 𝔼t jS 𝒛P$ 𝒛P$ J y $D& 𝜼 (4.13) (4.14) 𝐴が対称⾏行行列列 なら2𝐴𝒙
- 18. 4.2.3 LDA+正規回帰モデルの学習アルゴ リズム 〜～ 𝜎L の推定〜～ 𝜕𝔼t 𝒛 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L 𝜕𝜎L = 0 𝜎L = 1 𝑀 R 𝑦$ L y $D& − 2𝜼J R 𝑦$ 𝔼 𝒛P$ y $D& + 𝜼J R 𝔼 𝒛P$ 𝒛P$ J y $D& 𝜼 −𝑀 1 2 log 2𝜋𝜎L − 1 2𝜎L R 𝑦$ L y $D& − 2𝜼J R 𝑦$ 𝔼t jS 𝒛P$ y $D& + 𝜼J R 𝔼t jS 𝒛P$ 𝒛P$ J y $D& 𝜼 = 1 𝑀 R 𝑦$ L y $D& − 𝜼J R 𝑦$ 𝔼 𝒛P$ y $D& (4.14)の𝜼を代⼊入して整理理 偏微分して式変形 (4.15) (4.16)
- 19. 4.2.3 LDA+正規回帰モデルの学習アルゴ リズム 〜～ 𝑞 𝑧$,/ = 𝑘 の推定〜～ 𝜼J 𝔼 𝒛P$ = 1 𝑛$ R 𝜼J 𝝇$,/ 'S /D& = 1 𝑛$ R R 𝜂Z 𝑞 𝑧$,/ = 𝑘 6 ZD& 'S /D& 𝜕𝜼J 𝔼 𝒛P$ 𝜕𝑞 𝑧$,/ = 𝑘 = 1 𝑛$ 𝜂Z 𝜼J 𝔼 𝒛P$ 𝒛P$ J 𝜼 = 1 𝑛$ L R 𝜼J diag 𝜍$,/ 𝜼 + R 𝜼J 𝝇$,/ 𝝇$,/† J 𝜼 'S /†ˆ/ 'S /D& 𝜕𝜼J 𝔼 𝒛P$ 𝒛P$ J 𝜕𝑞 𝑧$,/ = 𝑘 = 1 𝑛$ L 𝜂Z L + 2𝜂Z R 𝝇$,/† J 𝜼 'S /†ˆ/ = 1 𝑛$ L R R 𝜂Z L 𝑞 𝑧$,/ = 𝑘 6 ZD& + R 𝜂Z 𝑞 𝑧$,/ = 𝑘 6 ZD& R 𝝇$,/† J 𝜼 'S /†ˆ/ 'S /D& (4.10)より (4.11)より (4.17) (4.18) (4.19) (4.20) 𝑖と 𝑖Œ の⼆二重ループにより𝑞 𝑧$,/ に関する同⼀一項が2回出てくるため。次スライド参照。
- 20. 4.2.3 LDA+正規回帰モデルの学習アルゴ リズム 〜～ 𝑞 𝑧$,/ = 𝑘 の推定〜～ 𝜕 𝜕𝑞 𝑧$,/ = 𝑘 R R 𝜂Z 𝑞 𝑧$,/ = 𝑘 6 ZD& R 𝝇$,/† J 𝜼 'S /†ˆ/ 'S /D& = 2𝜂Z R 𝝇$,/† J 𝜼 'S /†ˆ/ 𝜂& 𝑞 𝑧$,& = 1 +𝜂L 𝑞 𝑧$,& = 2 𝝇$,L J ” 𝜂& 𝜂L + 𝝇$,• J ” 𝜂& 𝜂L 𝜂& 𝑞 𝑧$,L = 1 +𝜂L 𝑞 𝑧$,L = 2 𝝇$,& J ” 𝜂& 𝜂L + 𝝇$,• J ” 𝜂& 𝜂L 𝜂& 𝑞 𝑧$,• = 1 +𝜂L 𝑞 𝑧$,• = 2 𝝇$,& J ” 𝜂& 𝜂L + 𝝇$,L J ” 𝜂& 𝜂L 𝜂& 𝝇$,L J ” 𝜂& 𝜂L + 𝝇$,• J ” 𝜂& 𝜂L + 0 0 + 𝜂& 𝑞 𝑧$,L = 1 +𝜂L 𝑞 𝑧$,L = 2 𝜂& 0 + 𝜂& 𝑞 𝑧$,• = 1 +𝜂L 𝑞 𝑧$,• = 2 𝜂& + + の考え⽅方 + + 𝑞 𝑧$,& = 1 で微分 𝑛$ = 3, 𝐾 = 2として、 𝑞 𝑧$,& = 1 で微分すると どうなるか？ 𝜂& R 𝝇$,/† J 𝜼 • /†ˆ&
- 21. 4.2.3 LDA+正規回帰モデルの学習アルゴ リズム 〜～ 𝑞 𝑧$,/ = 𝑘 の推定〜～ 𝐹– 𝑞 𝑧$,/ 𝜕𝐹 𝑞 𝑧$,/ 𝜕𝑞 𝑧$,/ = 𝑘 = 0 𝑞 𝑧$,/ = 𝑘 ∝ exp z 𝑞 𝝓Z log 𝜙Z,˜S,k 𝑑𝝓Z exp z 𝑞 𝜽$ log 𝜃$,Z 𝑑𝜽$ exp 𝑦$ 𝜂Z 𝜎L 𝑛$ − 1 2𝜎L 𝑛$ L 𝜂Z L + 2𝜂Z R 𝝇$,/† J 𝜼 'S /†ˆ/ = R 𝑞 𝑧$,/ = 𝑘 6 ZD& z 𝑞 𝝓Z 𝑞 𝜽$ log 𝑝 𝑤$,/ 𝝓Z 𝑝 𝑧$,/ = 𝑘 𝜽$ 𝑑𝝓Z 𝑑𝜽$ − R 𝑞 𝑧$,/ = 𝑘 log 𝑞 𝑧$,/ = 𝑘 6 ZD& + 1 2𝜎L 2𝑦$ 𝜼J 𝔼 𝒛P$ − 𝜼J 𝔼 𝒛P$ 𝒛P$ J 𝜼 LDA部分の変分下限(3.97)と正規回帰部分の変分下限(4.9)から 𝑞 𝑧$,/ に関係ある項を抜き出した項 (4.21) (4.22) から (4.18) (4.20)より ※(3.99)と同様の演算
- 22. 4.2.4 ⼀一般化線形モデル 〜～確率率率分布の定義〜～ 𝑝 𝑦 𝒙, 𝜼, 𝜌 = ℎ 𝑦, 𝜌 exp 𝑦𝜼J 𝒙 − 𝐴 𝜼J 𝒙 𝜌 ⼊入⼒力力𝒙、パラメータ𝜼、𝜌 > 0 として、1次元の出⼒力力𝑦に対する確率率率分布を定義 ℎ 𝑦, 𝜌 、𝐴 𝜼J 𝒙 を決めることで特定の確率率率分布が表現される 【例例】正規回帰モデルの場合 𝑝 𝑦 𝒙, 𝜼, 𝜎L = 1 2𝜋𝜎L exp − 𝑦 − 𝜼J 𝒙 L 2𝜎L = 1 2𝜋𝜎L exp − 𝑦L 2𝜎L exp 𝑦𝜼J 𝒙 − 𝜼J 𝒙𝒙J 𝜼/2 𝜎L よって、𝜌 = 𝜎L 、ℎ 𝑦, 𝜌 = & L•žŸ exp − Ÿ LžŸ 、𝐴 𝜼J 𝒙 = 𝜼J 𝒙𝒙J 𝜼/2 に対応 (4.23) (4.24)
- 23. 4.2.4 ⼀一般化線形モデル 〜～線形モデルと確率率率分布の関係〜～ 𝑝 𝑦 𝜉, 𝜌 = ℎ 𝑦, 𝜌 exp 𝑦𝜉 − 𝐴 𝜉 𝜌 𝑝 𝑦 𝜉, 𝜎L = 1 2𝜋𝜎L exp − 𝑦 − 𝜉 L 2𝜎L = 1 2𝜋𝜎L exp − 𝑦L 2𝜎L exp 𝑦𝜉 − 𝜉L /2 𝜎L ここで、平均𝜉、分散𝜎L の正規分布を𝑝 𝑦 𝜉, 𝜌 に対応する形に変形する。 𝜉 = 𝜼J 𝒙として(4.23)を変形 𝜉 = 𝜼J 𝒙とすると 正規回帰モデルの式となる 𝑝 𝑦 𝜉, 𝜌 で表される確率率率分布を考え、 𝜉 = 𝜼J 𝒙 を代⼊入すると、 対応する線形モデルができる。 (4.25) (4.26)
- 24. 4.2.4 ⼀一般化線形モデル 〜～ポアソン回帰モデル〜～ 𝑝 𝑦 𝜆 = 1 𝑦! 𝜆 exp −𝜆 = 1 𝑦! exp 𝑦 log 𝜆 − 𝜆 ポアソン分布 𝜉 = log 𝜆 𝜆 = exp 𝜉 と置くと 𝑝 𝑦 𝜉 = 1 𝑦! exp 𝑦𝜉 − exp 𝜉 ポアソン回帰モデル 𝑝 𝑦 𝒙, 𝜼, 𝜌 = 1 𝑦! exp 𝑦𝜼J 𝒙 − exp 𝜼J 𝒙 𝜉 = 𝜼J 𝒙を代⼊入 𝜌 = 1 ℎ 𝑦, 𝜌 = & ! 𝐴 𝜼J 𝒙 = exp 𝜼J 𝒙 (4.27) (4.28)
- 25. 4.2.5 LDA+⼀一般化線形モデル 𝑝 𝑦$ 𝒛$, 𝜼, 𝜌 = ℎ 𝑦$, 𝜌 exp 𝑦$ 𝜼J 𝒛P$ − 𝐴 𝜼J 𝒛P$ 𝜌 𝑝 𝒚, 𝒘 𝜶, 𝜷, 𝜼, 𝜌 ≧ 𝐹opq + 𝔼t 𝒛 log 𝑝 𝒚 𝒛, 𝜼, 𝜌 𝔼t 𝒛 𝒅 log 𝑝 𝑦$ 𝒛$, 𝜼, 𝜌 LDAと組み合わせる場合は、⼊入⼒力力は潜在変数 𝒛P$ とする = log ℎ 𝑦$, 𝜌 + 𝑦$ 𝜼J 𝔼t 𝒛 𝒅 𝒛P$ − 𝔼t 𝒛 𝒅 𝐴 𝜼J 𝒛P$ 𝜌 LDA+⼀一般化線形モデルの変分下限 (4.29) (4.30) (4.31)
- 26. 4.2.6 LDA+ポアソン回帰モデル 〜～ 𝜼 の推定〜～ ⽅方針 ¥ ¦§¨©ª𝔼« 𝒛 ¬-® ¯ 𝒚 𝒛, 𝜼, 𝜌 ¥𝜼 = ¥𝔼« 𝒛 ¬-®¯ 𝒚 𝒛, 𝜼, 𝜌 ¥𝜼 = 0 となる 𝜼 を求める 𝑝 𝑦$ 𝒛$, 𝜼 = 1 𝑦! exp 𝑦$ 𝜼J 𝒛P$ − exp 𝜼J 𝒛P$ 𝔼t 𝒛S exp 𝜼J 𝒛P$ を解析的に計算できる必要があるので・・ (4.32) 𝜌 = 1 のポアソン回帰モデル
- 27. 4.2.6 LDA+ポアソン回帰モデル 〜～ 𝜼 の推定〜～ 𝔼t 𝒛 𝒅 exp 𝜼J 𝒛P$ = 𝔼t 𝒛 𝒅 exp 1 𝑛$ R 𝜼J 𝑧⃗$,/ 'S /D& = 𝔼t 𝒛 𝒅 x exp 1 𝑛$ 𝜼J 𝑧⃗$,/ 'S /D& = x 𝔼t 𝒛 𝒅,𝒊 exp 1 𝑛$ 𝜼J 𝑧⃗$,/ 'S /D& = x R 𝑞 𝑧$,/ = 𝑘 exp 1 𝑛$ 𝜂Z 6 ZD& 'S /D& 期待値の計算。𝑧$,/ = 𝑘の時、𝜼J 𝑧⃗$,/=𝜂Z より。 𝔼t 𝒛 𝒅 ∖/ exp 𝜼J 𝒛P$ = x R 𝑞 𝑧$,/† = 𝑘 exp 1 𝑛$ 𝜂Z 6 ZD& 'S /†ˆ/ 𝜕 𝜕𝜂Z 𝔼t 𝒛 𝒅 exp 𝜼J 𝒛P$ = R 𝑞 𝑧$,/ = 𝑘 𝑛$ 'S /D& exp 𝜂Z 𝑛$ 𝔼t 𝒛 𝒅 ∖/ exp 𝜼J 𝒛P$ (4.33) (4.34) (4.35) (4.33)代⼊入、Σ・Πを展開後、 $²”³”´ $µ = $² $µ ” 𝑔 ” ℎ + 𝑓 ” $³ $µ ” ℎ + $² $µ ” 𝑔 ” ℎを⽤用いて整理理
- 28. 4.2.6 LDA+ポアソン回帰モデル 〜～ 𝜼 の推定〜～ 𝜕 𝜕𝜼 𝔼 log 𝑝 𝒚 𝒛, 𝜼, 𝜌 = 1 𝜌 R 𝑦$ y $D& 𝔼 𝒛P$ − 𝜕 𝜕𝜼 𝔼t 𝒛 𝒅 exp 𝜼J 𝒛P$ (4.35)を⽤用いて演算 (4.31)より 𝜕𝔼 log 𝑝 𝒚 𝒛, 𝜼, 𝜌 /𝜕𝜼 = 0は解析的に解けないため、(共役)勾配法を⽤用い て 𝜼 を求める。 付録(A.4)
- 29. 4.2.6 LDA+ポアソン回帰モデル 〜～𝑞 𝑧$,/ = 𝑘 の推定〜～ 𝜕𝔼t 𝒛 𝒅 exp 𝜼J 𝒛P$ 𝜕𝑞 𝑧$,/ = 𝑘 = exp 𝜂Z 𝑛$ 𝔼t 𝒛 𝒅 ∖/ exp 𝜼J 𝒛P$ 𝜕𝔼 log 𝑝 𝑦 𝒅 𝒛 𝒅, 𝜼 𝜕𝑞 𝑧$,/ = 𝑘 = 𝒚 𝒅 𝜂Z 𝑛$ − 𝜕 𝜕𝑞 𝑧$,/ = 𝑘 𝔼t 𝒛 𝒅 exp 𝜼J 𝒛P$ 𝑞 𝑧$,/ = 𝑘 ∝ exp z 𝑞 𝝓Z log 𝜙Z,˜S,k 𝑑𝝓Z exp z 𝑞 𝜽$ log 𝜃$,Z 𝑑𝜽$ exp 𝜕 𝜕𝑞 𝑧$,/ = 𝑘 𝔼 log 𝑝 𝑦 𝒅 𝒛 𝒅, 𝜼 (4.37) (4.38) (4.39) (4.32)より (4.33)より
- 30. ありがとうございました！！