Elasticsearch for Hackadoll
•
44 likes•14,852 views
ハッカドールにおけるElasitcsearch活用法。 DeNA社内向けに発表したものです。
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Elasticsearch for Hackadoll
Similar to Elasticsearch for Hackadoll (20)
More from mosa siru
More from mosa siru (13)
Recently uploaded
Recently uploaded (12)
Elasticsearch for Hackadoll
- 1. Elasticsearch for Hackadoll 2015/08/31 @mosa_siru 1
- 2. 自己紹介 2
- 3. @mosa_siru • 「もさ」って呼んでください • 「ボンバーマンの人」 って認 識いただければ大丈夫です • もし興味があれば動画をご覧くださ い http://www.nicovideo.jp/watch/ sm13612359 • 最近はSplatoonもやってます 3
- 4. @mosa_siru at DeNA • 1年目: 新卒。プラットフォームでAPIとか運用 • 2年目: ハッカドール 立ち上げからジョイン • サーバーサイドを担当 • 3年目: Web版ハッカドールを作ったり、メ ジャーアップデートしたり 4
- 5. ハッカドール サーバーサイド • なんかたくさん作った with @xaicron , kommy • API (100個) • ニュース配信APIからゲームの賞品付与APIま で、機能ありすぎて笑える • Worker (70個) • Crawler, Remote Notification, etc.. • 非同期処理やバッチ処理する君 5
- 6. ハッカドール サーバーサイド • Web • Web版でAngular実戦投入したけど良さげでした • リコメンドシステム • 分析基板部と連携 • OPE(管理ツール) • ImageProxy(画像変換サーバー) • Nginx Module, etc… 6
- 7. アジェンダ 7
- 8. アジェンダ 1. ハッカドールって？ 2. Elasticsearch活用法 A. 検索 B. 関連記事 C. リコメンド 8
- 10. ハッカドールって？ • アニメ・マンガ・ゲームなど、 オタク系の記事のみを扱った ニュース配信アプリ • おすすめ商品、イベントも届 けてくれる • 使えば使うほど学習していく 10
- 11. ハッカドールって？ • ゲーミフィケーション • というかゲームできる • オタクユーザーに刺さる機能 が満載！ 11
- 14. Apple 2014 Best App！ 14
- 15. 2015 コミケ/アニサマ 15
- 16. アニメ化！ 祝・アニメ化！
- 19. A. 検索 19
- 21. 最高の検索のために
- 24. 最高の辞書が必要 24
- 25. 最高のオタク辞書を作る • Wikipedia, ニコニコ大百科からオタク系キー ワード一覧を取得 • 手動で最新キーワードを管理ツールから登録 • 詳細は去年つくったスライド「 るリコメ ンドシステムの裏事情」をご覧ください 25
- 26. 最高のシノニム 26
- 27. シノニムと正規化 • 表記揺れや同義語を吸収したい • まず分かち書きされたものに対して各種正規化 • Unicode正規化 (NFC) • 伸ばし棒 − ∼ ∼ ─ ━ ╌ ╍ ╴ ╶ ╸ ╺ ー - - – — ― − ｰ => ー • 連続するものを1つに • single quote ‘ ’ => ＇ • 全角英数字 Ａ => A • 英数字大文字 A => a • 半角カタカナ ｱｱ => アア 27
- 29. 最高のフィルター • あまりにも関係なさそうなタグはフィルタする (ブ ラックリスト) • 例：「こんにちは」「名無しさん」 • 正規表現でまとめて弾く • 例：d+時d+分 • ブラックリストも管理ツール上で管理 29
- 31. ちなみに • これらのマスターデータの運用は辛い • A → Bへのシノニムが登録されたら、全てのタグAを 持つ記事のタグを再計算してESに再登録させる仕組み • シノニムが削除された場合は？ • 辞書やシノニムをESに担当させることもできるが、辞書 やシノニム更新のたびにreindexingが必要だったり辛そ うなのでやってない 31
- 32. 検索クエリ 32
- 33. 検索クエリ (ようやくESの話) 1. クエリ「まどマギ」で検索したとする 2. クエリをシノニム変換:「まどマギ」=> 「魔法少女まどか☆マギカ」 3. まずは完全一致でタグに当てる (terms query) 4. あるいは部分一致で全文に当てる (query_string query) 5. 最後に除外フィルタを通して最新順で返す • 例：ベイジアンフィルタにより「えっちな記事」判定されたものを外す • 例：各種ユーザーフィルタ(まとめサイトOFFなど） • なお最新順で返す検索仕様は簡単（スコアリングを考えなくて良い） 33
- 34. 検索クエリ 4. 「あるいは部分一致で全文に当てる」とは • 目的：クエリ「魔法少女」でも「魔法少女まどか☆マギカ」に当たるよ うにしたい • analyzerのあるフィールドに query_string query • ただし一方「魔法少女」で 「少女」に当たらない よう”” で囲んでいる => クエリは分かち書きされない 34
- 35. 検索クエリ (ページング) • やっぱりlimit offsetは使いたくない • n+1件取得して、n+1件目の記事のtimestamp, idを pageTokenとしてレスポンスに含める • n+1件目は結果から除外する • クライアントはページング時のリクエストに pageTokenを入れる • サーバーはpageToken以降の記事をn+1件取得する （以下繰り返し） 35
- 36. 検索補完 36
- 37. 検索補完 • 補完により、入力補助はもちろん表記揺れリ スクも解消できる • 実装はまさかのMySQL！likeで前方一致！ｗ • あらかじめbatchで全キーワードの登場数を 管理するテーブルを作っている (TDIDFのDF) • nginx proxy cacheでフロントキャッシュして 負荷軽減 • カジュアルに使えるのでおすすめ 37
- 39. 最高の検索になれたか？
- 40. まだまだできるはず • 心地よく、違和感なく使えるレベルであるのは間違いない • が、まだGoogleにはなれてない • Fussy検索 • 「もしかして」 • And検索の補完 • “AND” “OR” “NOT” 文への対応 • シノニムやらもろもろと帳尻あわせつつ入れるの大変。やっぱり自然言 語まわりはむずかしい（こなみかん 40
- 41. おまけ：検索活用法 41
- 42. ウォッチリスト 42 • 好きなタイトル名などを登録しておくと、 そのキーワードを含んだニュースが出る たびに教えてくれる(RSS like) • オタクであるほど、好きな作品のニュー スは逃したくない • OR検索でElasticsearchから取得 • 検索を作りこんだおかげで可能となっ た
- 43. B. 関連記事 43
- 44. 関連記事 • その記事に関連する記事を教 えてくれる機能 44 ニュース記事 商品記事 イベント記事 ニュース記事 商品記事 イベント記事
- 45. 関連記事 • 基本は先ほど紹介したタグ情報をもとに、ESのmlt (more like this) クエリで近い記事を出しています • mlt:「似た」ドキュメントを探してくれるイケメン機能 です • 一致するタグを沢山もっている記事ほどスコアが高く なる • 全部”タグ”で完結するので、ニュース/商品/イベント記事 をまたいだマッチングが可能 45
- 46. 関連記事(クエリ) 1. その記事のタグ情報を取得 2. mltスコアを計算 3. 新しい記事を重視するために、decayを掛け あわせて最終スコアとする (function_score query) 4. 除外フィルタを通し、スコアが高い順に表示 46
- 48. 参考：mltのカスタマイズ箇所 name description default percent_terms_to_match このパーセント以上タグが マッチしないと似ていると みなされない 0.30 min_term_freq 最低この個数はタグがマッチしない といけない 2 min_doc_req 全ドキュメント内でこの個数以上登 場するタグのみ用いる 5 ニュース、商品、イベント記事のタグの特性をもとに、 微妙に値をカスタマイズしている
- 49. 関連記事(クエリ) • 記事の最新度(decay)と掛 けあわせて最終スコアと する ○日古くなると●倍のスコアとな る曲線を指定できるが、パラメー ター調整はわりと職人技(辛い) 49 設定例
- 50. C. キャリブレーション 50
- 52. キャリブレーションの流れ 1. ユーザーの好きなカテゴリから、好きそ うなキーワード群とそれぞれの重みを算 出 2. 一部をユーザーがオプトアウトし、最終 的な”taste”とする 3. tasteをESに投げ、初回記事を生成 4. 類似記事の排除をして記事確定 （詳細は略） 52
- 53. キャリブレーション(クエリ) 53 1. tasteをbool query化 • boost値はキーワード ごとのスコア(重み) • boost値が高いタグが たくさんマッチする記 事はスコアが高い
- 54. キャリブレーション(クエリ) 54 2. 最新度, 記事のPV数など で最終スコア調整 3. 各種フィルタを通し、ス コアが高い順に返す
- 56. その他 56
- 58. まとめ 58
- 59. ES便利、だけど • 検索、関連記事、ちょっとしたリコメンド …いろいろできる！ • でも少し込み入ったことをするには沢山考 えることがあって辛い時もある • やっぱりサービス作りは、ユーザーのた めに泥臭く畑を耕すこと 59
- 60. その他ESへの雑感 • 速度面や安定性は流石の一言 • GCによるCPUがあれですが • 機能が豊富すぎてびびる • 細かいパラメーターチューニングができる分、凝りだすと逆に 辛い • 公式ドキュメントのクエリ解説は正直わかりにくい • レスポンスが書いてなかったりなど • SQLに慣れすぎた人類には早かった 60