第17回Lucene/Solr勉強会 #SolrJP – Apache Lucene Solrによる形態素解析の課題とN-bestの提案

3. 大須賀稔 (おおすかみのる) ヤフー株式会社  CTO室 / Solr黒帯 Apacheソフトウェア財団  ManifoldCFプロジェクト  コミッター / PMCメンバー  Solrプロジェクト  コントリビューター [改訂新版] Apache Solr入門 (技術評論社)   共著者 Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

5. アナライザの仕組みアナライザートークナイザ文字フィルタトークン  フィルタ I came from Japan. i came from japan. i came from japan 文字単位での正規化処理を行う文章を単語に分かち書き不要な単語の除去や単語の正規化処理など i came japan Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

7. 形態素解析による分割アナライザートークナイザ日本語辞書文字フィルタトークン  フィルタ私はﾆﾝｼﾞﾝを１本だけ買った私はニンジンを1本だけ買った私はニンジンを 1 本だけ買っ私ニンジン 1 本買う人参半角片仮名、全角数字などの正規化処理など日本語辞書を参照しながら文章を単語に分かち書き検索に不要な単語の除去、類義語への展開などた Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

9. 形態素解析とN-gramの比較 • 現在は、形態素解析による分割が一般的。 • N-gramは、形態素解析と併用して、  検索漏れがないようにする目的で利用される。長所短所形態素解析 • インデックスサイズが小さい • 検索実行時の処理が速い • 検索結果にノイズが少ない • インデックス作成に時間がかかる • 辞書が必要 • 検索漏れが発生する N-gram • インデックスの作成が速い • 辞書を必要としない • 検索漏れがない • インデックスサイズが大きい • 検索実行時の処理が遅い • 検索結果にノイズが多い Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

12. 適合率 : Precision 検索結果のドキュメント中(N)に、どれだけ正解  ドキュメント(R)を含んでいるかという正確性の指標。 Precision = R N RN C N 検索結果のドキュメント R 検索できた正解ドキュメント C 検索結果としての正解ドキュメント = 25 100 = 0.25 Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

13. 再現率 : Recall 検索結果としての正解ドキュメント(C)が、  どれだけ検索できているかという網羅性の指標。 Recall = R C RN C N 検索結果のドキュメント R 検索できた正解ドキュメント C 検索結果としての正解ドキュメント = 25 100 = 0.25 Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

14. F値 : F-measure 適合率、再現率の総合的な評価に用いられる。 F-measure = 2・Precision・Recall Precision + Recall = R (N + C) 1 2 RN C N 検索結果のドキュメント R 検索できた正解ドキュメント C 検索結果としての正解ドキュメント = 0.25 = 25 (100 + 100) 1 2 Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

16. 形態素解析とN-gramの課題現在は、形態素解析による分割が一般的。 N-gramは、形態素解析と併用して、  検索漏れがないようにする目的で利用される。長所短所形態素解析 • インデックスサイズが小さい • 検索実行時の処理が速い • 検索結果にノイズが少ない • インデックス作成に時間がかかる • 辞書が必要 • 検索漏れが発生する N-gram • インデックスの作成が速い • 辞書を必要としない • 検索漏れがない • インデックスサイズが大きい • 検索実行時の処理が遅い • 検索結果にノイズが多い Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

21. 形態素とは形態素とは、言語学の用語で、意味を持つ最小の単位のこと。ある言語において、それ以上分解しては意味をなさなくなるところまで分解して抽出された、音素のまとまり。赤坂でランチを食べて元気になった赤坂  名詞で  助詞ランチ  名詞を  助詞食べ  動詞て  助詞元気  名詞に  助詞なっ  動詞た  助詞赤  名詞坂  名詞になっ  動詞元  名詞気  名詞 Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

22. 形態素辞書表層品詞･･･コスト赤坂名詞 - 4 赤名詞 - 3 坂名詞 - 7 で助詞 - 5 ランチ名詞 - 5 を助詞 - 3 食べ動詞 - 7 て助詞 - 5 元気名詞 - 3 元名詞 - 5 気名詞 - 6 になっ動詞 - 10 に助詞 - 4 なっ動詞 - 5 た助詞 - 5 名詞助詞動詞･･･名詞 1 4 20 - 助詞 3 6 6 - 動詞 7 3 19 - ： - - - - 形態素辞書接続コスト表右側左側 ※ 形態素辞書、接続コスト表は  簡略化しています Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

23. 連接コストエンジニアになったエンジニア  名詞に  助詞なっ  動詞た  助詞になっ  動詞 3 6 4 合計 13 合計 23 BOS EOS 繋がりやすい  コスト小繋がりやすい  コスト小繋がりやすい  コスト小 20 3 繋がりにくい  コスト大繋がりやすい  コスト小エンジニア  名詞に  助詞なっ  動詞た  助詞合計 13 Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

24. 単語生起コストカードローンのカー  名詞の  助詞合計 37 ドローン  名詞カード  名詞合計 19 ローン  名詞 2 BOS EOS 1 繋がりやすい 1 繋がりやすい 4 繋がりやすい 4 出現しやすい  コスト小 6 6 出現しやすい  コスト小 6出現しやすい  コスト小出現しにくい  コスト大 24 カード  名詞ローン  名詞の  助詞合計 19 Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

25. 連接コスト、単語生起コストの合計が小さいものが、  より良い形態素の並びである。形態素解析の仕組み赤坂でランチを食べて元気になった赤坂  名詞で  助詞ランチ  名詞を  助詞食べ  動詞て  助詞に  助詞なっ  動詞た  助詞になっ  動詞元  名詞気  名詞 BOS EOS 赤  名詞坂  名詞元気  名詞 4 3 7 5 5 3 7 5 3 5 6 10 4 5 54 1 4 3 4 6 3 3 3 1 4 6 3 4 320 20 Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

27. N-gramの併用による解決革のショルダーバッグショルダーバッグ革新しいバッグが欲しいなユーザ q=field_ma:バッグ OR field_ng:バッグの革ののシショョルルダバッッグバッグバッッグ○ × field_ma (形態素解析) field_ng (N-gram) ーバダーバッッグ Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

28. N-gramの併用による課題検索漏れを大きく改善できるが、検索ノイズが大量に発生する恐れがある。意味のない単語で無駄な  インデックス領域を消費。 RN C 検索漏れ N 検索結果のドキュメント R 検索できた正解ドキュメント C 検索結果としての正解ドキュメント検索ノイズ Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

29. 辞書の登録による解決トークナイザ革のトートバッグトート革新しいバッグが欲しいなユーザバッグ文章を単語に分かち書き「バッグ」で検索できるの表層品詞・・・トート名詞・・・・・・・・・・・・バッグ ○ 日本語辞書ユーザ辞書日本語辞書トークナイザ革のトートバッグトートバッグ革文章を単語に分かち書きの「バッグ」で検索できない × Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

31. JapaneseTokenizerのモード設定による解決 1. normalモード • 登録されている辞書の単語で分割する。 2. searchモード (デフォルト) • normalモードと同様に単語に分割を行うが、辞書に登録されている単語の複合語で分割可能である場合、さらに細かく分割し、複合語も出力する。 3. extendedモード • searchモードと同様に複合語の処理を行うが、複合語は出力しない。また、辞書に登録ない未知語をUni-gram(1-gram)でトークナイズする。 Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

33. JapaneseTokenizerのモード設定による課題 searchモード、extendedモードを使用することで  手軽に再現率を向上させることが可能だが、  全ての問題を解決できない。 RN C 検索漏れ N 検索結果のドキュメント R 検索できた正解ドキュメント C 検索結果としての正解ドキュメント検索ノイズ Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

34. JapaneseTokenizerの課題 • 形態素解析によって出力される単語は、連接コスト、  単語生起コストを基に最適と思われる単語に分割  されるが、意図しない分割がされる場合がある。 • 最良と思われる、1つの形態素の連結パターンしか  出力できないため、複数の解釈が可能な文字列には  対応できない。 Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

35. 意図しない分割をされる例または外国人参政権 ↓ 外国 / 人 / 参政 / 権 Voting rights for foreign residents. 外国 / 人参 / 政権 The Carrot Administration of a foreign country. Carrot ? Some rights reserved by MDGovpics Some rights reserved by Max Braun Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

37. 複数の解釈が可能な例こちら / は / 社長 / 室 / 長谷川 / ですまたはこちら / は / 社長 / 室長 / 谷川 / ですこちらは社長室長谷川です ↓ This is Hasegawa, member of President’s Ofﬁce. This is Tanigawa, executive secretary of President’s Ofﬁce. 長谷川です谷川です Some rights reserved by A ONE-MAN ARMY RETURNS TO NO-MANS' LAND Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

39. searchモード、extendedモードの課題社長室長谷川社長  名詞室  名詞長谷川  名詞長谷  名詞川  名詞 BOS EOS 社長  名詞室  名詞長谷川  名詞谷川  名詞 BOS EOS 室長  名詞複合語の分割が可能な場合のみできること複数の分割候補の出力はできないできないこと Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

41. N-best こちらは社長室長谷川ですこちら  名詞は  助詞社長  名詞室  助詞長谷川  名詞 BOS EOS 社  名詞長  名詞です  助動詞室長  名詞谷川  名詞長谷  名詞川  名詞谷  名詞長  名詞 5 4 5 7 6 4 8 9 8 1110 117 10 4 3 3 1 1 1 1 4 3 3 3 1 1 4 4 1 1 1 1 4複数の解釈が可能な  テキスト対応したい Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

44. N-bestの実装仕様 • nbestCost、nbestExamplesパラメータの設定でN-best出力を制御する。 • 0 < nbestCostならN-bestを出力する。nbestCostはN-best出力として  許容される最大のコスト差分(allowable cost difference for N-best)を示す。 • 適切なコスト差分を求めるために、nbestExamplesで例文を指定できる。 • 例文からコスト差分を求めることができれば、例文からのコスト差分と  直接指定のコスト差分のうち大きな値が有効にする。 Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

45. サンプル schema.xml N-bestの実装 <ﬁeldType name="text_ja" class="solr.TextField" positionIncrementGap="100"  autoGeneratePhraseQueries="true"> <analyzer type=“index"> ... <tokenizer class="solr.JapaneseTokenizerFactory" mode="normal" nbestCost="2000" nbestExamples="/社長室長谷川-長谷川/社長室長谷川-谷川/" /> ... </analyzer> <analyzer type="query"> <tokenizer class="solr.JapaneseTokenizerFactory" mode="normal" /> ... </analyzer> </ﬁeldType> Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

50. N-bestの評価 • 評価用データ • Wikipediaダンプから取得したタイトル  (1,541,544タイトル) • 評価方法 • nbestCostを0から5000まで1000毎に変化させ、  評価用データからトークンを出力 • 出力されたトークンの差分を目視で確認し、  Good、Neutral、Badの3段階でジャッジアンパサンド言語日本語地理学 EU (曖昧さ回避) 国の一覧 SandBox パリヨーロッパ … Good : 良い Neutral : 中立 Bad : 悪い Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

51. N-bestの評価 nbestCost 総トークン数総トークン数  nbestCost=0比総出力文字数総出力文字数  nbestCost=0比 N-best  出現タイトル数 N-best  出現タイトル数  /全タイトル比 0 5,362,695 1.000 12,401,591 1.000 0 0 1,000 5,509,840 1.027 12,761,015 1.029 94,950 0.0616 2,000 5,677,682 1.059 13,222,013 1.066 187,636 0.1217 3,000 5,878.931 1.096 13,695,738 1.104 281,788 0.1828 4,000 6,168,215 1.150 14,198,753 1.145 392,367 0.2545 5,000 6,557,197 1.224 14,796,834 1.193 511,730 0.3320 nbestCost N-best出力差分出現タイトル数 N-best出力差分出現タイトル比ジャッジ数ジャッジ比 0 0 0 0 0 0 - 1,000 94,950 0.0616 300 0.003160 1,000 - 2,000 100,452 0.0652 300 0.002987 2,000 - 3,000 109,397 0.0710 300 0.002742 3,000 - 4,000 140,501 0.0911 300 0.002135 4,000 - 5,000 180,897 0.1173 300 0.001658 ※JapaneseTokenizerのnormalモードで評価 Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

52. N-bestの評価指標 - Good • 複合語が正しい単語で区切られる title nbestCost=0 nbestCost=1000 ヒルマン・ミンクスヒルマン / ・ / ミン / クスヒルマン / ・ / ミン / ミンクス / クス岡山県道69号西大寺備前線  (おかやまけんどう69ごうさいだいじびぜんせん) 岡山 / 県 / 道 / 69 / 号 / 西大寺 / 備前 / 線岡山 / 県 / 県道 / 道 / 69 / 号 / 西大寺 / 備前 / 線ドラッグマスターファイルドラッグマスターファイルドラッグ / マスター / ファイル Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

53. N-bestの評価指標 - Neutral • どちらも誤解析 • 元の結果でも問題ない title nbestCost=0 nbestCost=1000 鈴木里一郎  (すずきさといちろう) 鈴木 / 里 / 一郎鈴木 / 里 / 一 / 一郎 / 郎あしたまにあーなあし / たま / に / あー / なあし / たま / たまに / に / あー / な title nbestCost=0 nbestCost=1000 山田温泉  (やまだおんせん) 山田 / 温泉山田 / 山田温泉 / 温泉フィルムアウトフィルム / アウトフィルム / フィルムアウト / アウト Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

54. N-bestの評価指標 - Bad • ノイズが発生する title nbestCost=0 nbestCost=1000 ジャン・ピエール・ランパルジャン / ・ / ピエール / ・ / ランパルジャン / ・ / ピエール / ・ / ラン / ランパル / パル供御職  (くごしょく) 供御 / 職供 / 供御 / 御職 / 職市川市立高谷中学校  (いちかわしりつこうやちゅうがっこう) 市川 / 市立 / 高谷 / 中学校市川 / 市立 / 高 / 高谷 / 谷中 / 中学校 / 学校 Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

55. nbestCostの値の変更前と変更後で、出力に変化が見られたタイトル300件を無作為に抽出して評価。 N-bestの評価結果 nbestCost ジャッジ数 Good Neutral Bad (Good - Bad) / 300 0 - 1,000 300 190 30 80 0.37 1,000 - 2,000 300 133 82 85 0.16 2,000 - 3,000 300 109 60 131 -0.07 3,000 - 4,000 300 95 34 171 -0.25 4,000 - 5,000 300 87 48 165 -0.26 -0.15 0 0.15 0.3 0.45 0.6 0 1000 2000 3000 4000 5000 +0.37 +0.16 -0.07 -0.25 -0.26 Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

56. • N-gramとの併用よりも意味のある単語でより細かく分割が可能。 • 複数の解釈が可能な文字列への対応が可能。 N-bestの比較とまとめ長所短所形態素解析非N-best • インデックスサイズが小さい • 検索実行時の処理が速い • 検索結果にノイズが少ない • インデックス作成に時間がかかる • 辞書が必要 • 検索漏れが発生する N-best • N-gramよりインデックスサイズが小さい • N-gramより検索結果のノイズが少ない • N-gramより検索漏れが多い • 非N-bestよりインデックスサイズが大きい • 非N-bestより検索結果のノイズが多い • 非N-bestより検索漏れが少ない N-gram • インデックスの作成が速い • 辞書を必要としない • 検索漏れがない • インデックスサイズが大きい • 検索実行時の処理が遅い • 検索結果にノイズが多い Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

60. N-bestパッチの適用 # パッチのダウンロード  $ curl -L -O https://issues.apache.org/jira/secure/attachment/12766268/LUCENE-6837.patch # Lucene/Solrのtrunkチェックアウト  $ svn co http://svn.apache.org/repos/asf/lucene/dev/trunk lucene-solr # パッチの適用  $ cd lucene-solr  $ patch -p0 -E < ../LUCENE-6837.patch # ivyセットアップ  $ ant ivy-bootstrap # コンパイル  $ ant compile # テスト  $ ant test Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

61. N-bestパッチの適用 (続き) # Solrパッケージ作成  $ cd solr  $ ant create-package # Solrパケージの展開  $ cd ../../  $ tar zxvf lucene-solr/solr/package/solr-6.0.0-SNAPSHOT.tgz # サンプルコレクションの準備  $ cp -r server/solr/configsets/sample_techproducts_configs server/solr/nbest_sample  $ echo "name=nbest_sample" > server/solr/nbest_sample/core.properties  $ vi server/solr/nbest_sample/conf/schema.xml # Solrの起動  $ ./bin/solr start -p 8983 -s server/solr <fieldType name="text_ja_normal_nbest_2000" class="solr.TextField" positionIncrementGap="100"  autoGeneratePhraseQueries="true"> <analyzer> <tokenizer class="solr.JapaneseTokenizerFactory" mode="normal" nbestCost="2000"/> </analyzer> </fieldType> Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved.

第17回Lucene/Solr勉強会 #SolrJP – Apache Lucene Solrによる形態素解析の課題とN-bestの提案

Yahoo!デベロッパーネットワーク

第17回Lucene/Solr勉強会 #SolrJP – Apache Lucene Solrによる形態素解析の課題とN-bestの提案