KDD 2016勉強会 Deep crossing

Deep crossing:
Web-scale modeling without
manually crafted combinational
features
リクルートテクノロジーズ
坪坂正志

2Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
論文概要
• Web検索連動広告のクリック予測などのタスクにおいて、人手による
組み合わせ特徴量がよく用いられる
• 例えば広告のマッチングタイプ✖クエリなど
• 本論文では組み合わせ特徴量を用いず、組み合わせの部分は多
層のニューラルネットで自動で学習する方法を提案する

ニューラルネットワークの構造
• 提案しているニューラルネットワークはFeatureのEmbedding
Layerと多層のResidual Unitsから構成される

Residual Unit
• 通常のNeural networkが左の入力に対して非線形な操作をかけていったときに
求めたい出力H(x)を学習するのに対して、Residual netはH(x)とxの差分F(x)
を学習する
• これによって最適な関数がidentityに近い時に微小な変化を学習するような関数
を学習することができる

CNTKによるソースコード

参考 TensowflowによるResidual Unitのコード

Embedding Layer
• 広告のキャンペーンIDやユーザが訪問したURLのような特徴量は1-of-k 表現
した際に通常何百万次元となる
• これをResidual netの入力とすると大量のパラメータを学習する必要が出てくる
ため、入力層を低次元にEmbedするLayerを導入する

Stacking + Network architecture
• 下図のようにクエリ、広告キーワードなどをEmbeddingした
Layerを一つにつなげ、その先は多層のResidual Unitを結
合したものを使って学習を行う

Early crossing vs Late crossing
• Webによる同様の研究としてはDSSMというクエリと広告のマッチングでクエリ
の表現と広告の表現を深層学習で学習するという手法は存在した
• があとで実験するようにDeep crossingの方が精度が高い

実験データ

パフォーマンスの比較 (テキスト情報のみ)
• テキスト情報のみを利用した場合でもDeep Crossingの方がDSSMよりも
相対的に精度が高い

パフォーマンス比較 (全情報)
• 全情報を利用した場合はDeep Crossingの方が
Productionよりも高い精度となった

まとめ
• データからドメイン知識を使わずにDeep Learningから自動でクリッ
クを予測する仕組みを提案した
• 大量のデータと大量の計算資源を使うことによって、Productionよ
りも高い性能を達成した

KDD 2016勉強会 Deep crossing

Recommended

Recommended

More Related Content

Similar to KDD 2016勉強会 Deep crossing

Similar to KDD 2016勉強会 Deep crossing (20)

More from 正志坪坂

More from 正志坪坂 (20)