KDD 2015読み会 Diversifying Restricted Boltzmann Machine for Document Modeling

1. KDD
2015読み会
Diversifying
restricted
boltzman
machine
for
document
modeling
坪坂正志
2015/8/22

2. 紹介論文
• Diversifying
Restricted
Boltzmann
Machine
for
document
modeling
• 概要
– 文章の潜在変数モデルにおいてよく起きる事象
であるメジャーなトピックはよくモデル化されるが
マイナーなトピックはモデル化されないという問題
を潜在変数モデルの一つであるRBMにおいてト
ピックをDiversifyするような項を導入して解決した

3. RBMについて
• 観測された単語に相当するvと隠れユニットh
によって決まるエネルギー関数から決まる確
率を最適化する

4. RBMについて
• 観測された文章から隠れユニットが1になる確
率は(3)式で表せる
• ベクトルhを文章Vの潜在表現とみなすことが
できる

5. RBMの問題点
• RBMに限らずトピックモデル一般においてLong-­‐
tailなトピックの検出が難しいという点がある
– 例えばニュース記事であれば大多数をしめる政治な
どのトピックが複数出現し、ガーデニングのような小
さなトピックは検出されない

6. Diversify
RBM
• 制約項としてはトピックごとの単語ベクトル間
の角度が大きくなるように設定する
RBMに対してトピックがばらつくよ
うな制約項を加える
分散を抑えることにより、各ベクト
ルがまんべんなく配置される

7. 最適化
• (P1)を変形した問題(P2)を考え、A~とgを相互
に最適化する

8. 文章検索による評価
• ある文章から近い文章を探してきたときにお互いが同じカ
テゴリのものかどうかで評価を行う
– RBMにおいては文章に対応する潜在表現の近いものが対応す
る
– DRBMが既存手法よりも高い精度となっている
• DocNADE,
PV(Paragraph
vector)はNeural
networkベースの手法
• PYTM,
LIDAはべき則に基づき新しいトピックができやすくなっている
モデル
• DPP-­‐LDAはLDAに対してDiversityが起きるようにしたモデル

9. Long-­‐tailにおける改善
• Reutersデータセットにおいてカテゴリごとに改
善率をみたところ、特にカテゴリに含まれる文
章が少ないLong-­‐tailなカテゴリにおいて大幅
な精度の改善が達成できている

10. 学習されたトピックの例
• RBMにおいてはTopic
2とTopic
3およびTopic
4とTopic
5はほぼ同じものが出現している
• 一方DRBMにおいてはTopic
5のJapanese
eductaionの
ようなマイナーなトピックが得られている

11. まとめ
• RBMに対してトピック間で単語分布がばらつく
ような制約項を導入したDRBMを提案した