Recommended
Recommended
More Related Content
Featured
Featured (20)
名古屋検索勉強会#3
- 1. 名古屋検索勉強会 1
- 2. アジェンダ 1. 辞書検索の構成 2. ワイルドカードクエリー 3. スペル修正 !2
- 3. 特定の単語を含む文書を検索したい！ 超シンプルなデータ構造は行列 だけど 無駄が多い D1 D2 D3 T1 0 1 0 T2 1 0 0 T3 0 1 1 T4 1 0 1 単語を含まない文書には関心がない そこで 辞書＋ポスティングリスト （標準）転置インデックス 3.1 辞書検索の構成 T1 D2 T2 D1 T3 D2 D3 T4 D1 D3 !3
- 4. 3.1 辞書検索の構成 辞書に紐付くポスティングを取得する 昭和 D2 令和 D1 平安 D2 D3 永禄 D1 D3 令和 !4
- 5. 3.1 辞書検索の構成 辞書を使って索引の語彙を走査する for キー in 辞書 : if 語彙 == キー : return キー.Documents 総当たりはイケてない 辞書のデータ構造にはハッシュと探索木がある トレードオフを考えよう - キーの数 - キーの更新頻度（挿入、削除、置換） - アクセスの偏り !5
- 11. 3.2 ワイルドカードクエリー 後方一致ワイルドカードクエリー abc* ROOT -> a -> b -> c -> * 探索の結果見つかった語彙全てを転置インデックスに照会する !11 abc* 子ノードを全部拾う 二分探索木の例 情報検索の基礎より抜粋
- 12. 3.2 ワイルドカードクエリー 前方一致ワイルドカードクエリー *abc 文字列を反転させて保持すれば対処できる ROOT -> c -> b -> a -> * !12 cba* 子ノードを全部拾う 二分探索木の例 情報検索の基礎より抜粋
- 13. 3.2 ワイルドカードクエリー 中間一致ワイルドカードクエリー a*c 前方一致(a*)と後方一致(c*)で取得した結果(WとR)の積(&)を求める !13 W R＆ ワイルドカードが複数あるときはどうする？
- 14. 3.2 ワイルドカードクエリー 置換インデックス 記号で末尾が分かるようにして、 1文字ずつ回転する クエリは＊が右端になるまで回転する h*o -> h*o$ -> $h*o -> o$h* 1つのワイルドカードなら見つかる でも複数はどうする？ !14 置換インデックスの例 情報検索の基礎より抜粋
- 15. 3.2 ワイルドカードクエリー 複数ワイルドカードを含むケース 最初のワイルドカードまでを 置換インデックスで探す mo*の部分は別途要チェック …結局最後は力技？ !15 fi*mo*er ↓ 回転 er$fi*mo* ↓ 最初の*までなら容易 er$fi*
- 16. 3.2 ワイルドカードクエリー 置換インデックスは辞書サイズが大きくなる そこで（？）Kグラムインデックス Kグラム＝K文字の並び castleの3グラム -> $ca cas ast stl tle le$ 与えられたクエリを分割して論理演算する re*ve -> $re AND ve$ 中間一致ではないときは論理演算だけでは足りない red* -> $re AND red ポストフィルタリングステップ 列挙したものを単純に文字列マッチする 複数の組み合わせも論理演算でできる (例 ho*ge OR fuga*) !16
- 17. 3.3 スペル修正 carot -> carrot? ブリトニースピアーズのタイポが界隈で有名？ 編集距離とKグラムの重なりで調べる !17
- 18. 3.3 スペル修正 検索エンジンのスペル修正はどう実装されているか 2つの原則 - 「近い」ものを選択する - 「一般的な」ものを選択する - コレクション内での出現頻度 - クエリの入力頻度 単独の補正と文脈依存の補正 carot flew form Heathrow !18
- 19. 3.3 スペル修正 編集距離（レーベンシュタイン距離） s1 -> s2 の変換をいくつの操作でできるか 挿入、削除、置換と、これに対する重み付け cat -> dog 3 horse -> house 1 !19
- 21. Fin. !21