23. • A. 1. 対称なアーキテクチャ
▪ A. 1. 1. シャムニューラルネットワーク
• Huang et al. Learning deep structured semantic models for web search
using clickthrough data. In CIKM, pages 2333–2338, 2013.
▪ A. 1. 2. 対称交互作用ネットワーク
• Hu et al. Convolutional Neural Network Architectures for Matching Natural
Language Sentences. In NIPS, pages 2042–2050, 2014.
• A. 2. 非対称なアーキテクチャ
▪ A. 2. 1. クエリ分割方式
• Guo et al. A deep relevance matching model for ad-hoc retrieval. In CIKM,
pages 55–64, 2016.
▪ A. 2. 2. 文書分割方式
• Fan et al. Modeling diverse relevance patterns in ad-hoc retrieval. In SIGIR,
pages 375–384, 2018.
対称性に基づく分類[1][2] 23
[1] B. Mitra, N. Craswell, et al. An introduction to neural information retrieval. Foundations and Trends® in Information Retrieval, 13(1):1–126, 2018.
[2] Guo et al. A deep look into neural ranking models for information retrieval. Information Processing & Management, page 102067, 2019.
24. • クエリも文書も同じネットワーク構造で処理
• 例:DSSM(Deep Structured Semantic Model)
▪ Huang et al. Learning deep structured semantic models for web
search using clickthrough data. In CIKM, pages 2333–2338, 2013.
A. 1. 1. シャムニューラルネットワーク 24
文書
京都 観光
クエリ
Bag-of-words的な
高次元の疎ベクトル
⨂
予測された
適合度
0.34
ベクトル
表現
ベクトル
表現
…
…
内積計算
低次元な
密ベクトル
前向きNN
前向きNN
31. • B. 1. 初期結合モデル
▪ Guo et al. A deep relevance matching model for ad-hoc retrieval. In
CIKM, pages 55–64, 2016.
▪ 特徴: クエリ・文書中の単語間の交互作用を捉えられるが効率に課題
• B. 2. 末期結合モデル
▪ Huang et al. Learning deep structured semantic models for web
search using clickthrough data. In CIKM, pages 2333–2338, 2013.
▪ 特徴: クエリ・文書中の単語間の交互作用を捉えられないが高効率
結合時期に基づく分類[1][2] 31
[1] B. Mitra, N. Craswell, et al. An introduction to neural information retrieval. Foundations and Trends® in Information Retrieval, 13(1):1–126, 2018.
[2] Guo et al. A deep look into neural ranking models for information retrieval. Information Processing & Management, page 102067, 2019.
32. Guo et al. A deep relevance matching model for ad-hoc retrieval. CIKM 2016.
• クエリと文書中の単語ごとに内積計算を行い
その結果に基づいて適合度を予測
B. 1. 初期結合モデルの例: DRMM (Deep Relevance Matching Model)
文書
京都 観光
クエリ
単語
ベクトル
⨂
予測された
適合度
0.34
各語を
ベクトル
表現 クエリ中の各語ごとに
文書中の全単語との
内積計算を行う
各語を
ベクトル
表現
前向きNN
クエリ中の語ごとの
内積の値の
分布を表すベクトル
0.62
0.12
集約
クエリ中の語ごとの
予測された
適合度
初期結合
前向きNN
33. Huang et al. Learning deep structured semantic models for web search using clickthrough
data. CIKM 2013.
• クエリと文書をベクトルで表現しそれらの内積で適合度を予測
B. 2. 末期結合モデルの例: DSSM(Deep Structured Semantic Model)
文書
京都 観光
クエリ
Bag-of-words的な
高次元の疎ベクトル
⨂
予測された
適合度
0.34
ベクトル
表現
ベクトル
表現
…
末期結合
…
内積計算
低次元な
密ベクトル
前向きNN
前向きNN
34. ニューラルネットワークで「真の性能向上」があったか? 1/2 34
図は Yang et al. Critically Examining the “Neural Hype”: Weak Baselines and the Additivity of Effectiveness Gains from Neural Ranking Models. SIGIR
2019. から引用
Robust04というテストコレクション(ベンチマーク)における平均適合率の時間
推移.赤が非ニューラルネットワーク,青がニューラルランキングモデル.
横軸は年であり,経年による向上が見られない.
35. • 単純なベースラインBM25には
DRMMが単体で勝つも有意差なし
• 強いベースラインである
BM25+RM3にはDRMMは負ける
(有意差なし)
• BM25+RM3にDRMMを合わせて
初めてDRMMが有意な改善を見せる
• 他のニューラルランキングモデルで
は有意な性能向上は見られず・・・
ニューラルネットワークで「真の性能向上」があったか? 2/2 35
表は Yang et al. Critically Examining the “Neural Hype”: Weak Baselines and the Additivity of Effectiveness Gains from Neural Ranking Models. SIGIR
2019. から引用
37. • 多くのNLPタスクで高い性能が報告されるBERTはIRでも有効
• ただし,遅い
BERT in IR 37
図は Khattab and Zaharia. ColBERT: Efficient and Effective Search via Contextualized Late Interaction over BERT. SIGIR 2020. より引用
MS MARCO Ranking(パッセージ検索タスク)におけるEffectiveness(MRR@10)とEfficiency (latency)
38. • Khattab and Zaharia. ColBERT: Efficient and Effective Search via
Contextualized Late Interaction over BERT. SIGIR 2020.
• 末期結合モデルにおけるクエリと文書の埋め込みをBERTに変えたような方法
ColBERT: BERTの高速化 38
図は Khattab and Zaharia. ColBERT: Efficient and Effective Search via Contextualized Late Interaction over BERT. SIGIR 2020. より引用
末期結合モデル
(文書の索引付け可能)
初期結合モデル
(文書の索引付け不可)
BERTの単純な適用
(文書の索引付け不可)
ColBERT
(文書の索引付け可能)