Recommended
More Related Content
What's hot
What's hot (20)
Similar to Solrで日本語全文検索システムの構築と応用
Similar to Solrで日本語全文検索システムの構築と応用 (20)
Recently uploaded
Recently uploaded (7)
Solrで日本語全文検索システムの構築と応用
- 1. Solrで日本語全文検索システムの構築と応用 #OSC東京 2017/09/09 Solrで日本語全文検索システムの構築と応用 ～ドキュメント検索からオンラインショッピングサイトへの応用まで～ 1 橋本 修太 日本 openSUSE ユーザ会
- 2. Solrで日本語全文検索システムの構築と応用 #OSC東京 2017/09/09 自己紹介 ・橋本 修太 @hashimotosyuta open系をベースとしたWeb関連の案件が経歴 （ECサイト、プロモーションサイト、CMS等） ・openSUSEとの付き合い ー 家庭用パソコンは４年程前からopenSUSEを使用 カメレオンかわいいがきっかけ ー openSUSE-jaに今年の６月から参加 ⇢ブラック企業案件管理能力の乏しい企業に居たため自分の時間が ほとんどなかったが、無事今年６月にホワイト企業へ転職成功。 空いた時間を楽しもうとopenSUSE-jaに参加。 ⇢「今年の秋に東京でopenSUSE.Asia Summitがあるんだけど、 参加しない？」との声かけを頂いて・・・・ ー openSUSE.Asia Summit実行委員やってます ⇢10月21日（土）、22日（日）は電通大に集まろう！ 2
- 5. Solrで日本語全文検索システムの構築と応用 #OSC東京 2017/09/09 １ 全文検索ってなに？ 全文検索その１ シリアルスキャン型 # grep -r ‘hogehoge’ ⇢カレントディレクトリ以下のファイルから「hogehoge」って文字列の ある行を取り出してね ー 利点 ・手軽 ー 欠点 ・遅い ・テキストファイル以外は検索が難しい（Word等） ・検索ノイズが入る（後述） 5
- 6. Solrで日本語全文検索システムの構築と応用 #OSC東京 2017/09/09 １ 全文検索ってなに？ 全文検索その２ インデックス型 あらかじめ検索するであろう単語等の索引（インデックス）を作成し、 それを使って検索 ←ここを掘り下げていきます ー 利点 ・早い ・インデックス化できればWord等も検索可能 ・検索ノイズが減る（方法がある） ー 欠点 ・システムを構築する必要がある ・検索したいファイル等のインデックス化が必要 6
- 8. Solrで日本語全文検索システムの構築と応用 #OSC東京 2017/09/09 １ 全文検索ってなに？ シリアルスキャン型なら・・・ 8 # grep -r ‘openSUSE’ files_A ① ② ③ # soffice files_B/LibreOffice Writer.odt → Ctrl + F ④ # soffice files_B/LibreOffice Calc.ods → Ctrl + F ⑤ # okular files_B/pdf.pdf → Ctrl + F ⑥ ① ② ③ ④ ⑤ ⑥ こんな感じで逐次検索
- 9. Solrで日本語全文検索システムの構築と応用 #OSC東京 2017/09/09 １ 全文検索ってなに？ インデックス型なら・・・ 9 # curl ‘http://localhost:8983/solr/techproducts/select?indent=on&q=*:o penSUSE&wt=json’ ① ←ここを掘り下げていく ① インデックスを予め作成 検索しやすく構築されている インデックスから一発検索
- 10. Solrで日本語全文検索システムの構築と応用 #OSC東京 2017/09/09 ２ Solrってなに？ Solrとは ・インデックス型の全文検索システム ・読み方は そーらー （そらーと発音する人も多い） ・Apache Lucene（アパッチ ルシーン）のサブプロジェクト。 →Apache Luceneは全文検索ライブラリ Solrはこれを利用している。なのでもちろんオープンソース ・javaベース solrjという、これから説明する事を実装できるjavaライブラリもある。 ・ただし、アクセスはWebAPIっぽく出来るので、 クライアントは何でもOK! ・Elasticsearch（エラスティックサーチ）という競合がある 比較等は先達がいらっしゃいますので、そちらの情報をご覧ください。 10
- 11. Solrで日本語全文検索システムの構築と応用 #OSC東京 2017/09/09 ３ 使ってみよう！ さっそく構築！（ローカル検証用） １ JVMをインストール javaは1.8以降 （Leap 42.3なら既にインストール済） ２ Solrをダウンロード Solr公式ページのダウンロードより可能 現在バージョンは6.6.0 http://www.apache.org/dyn/closer.lua/lucene/solr/6.6.0 Zipファイルに一式入っています ３ ２でダウンロードしたZipファイルをディレクトリに展開 # unzip solr-6.6.0.zip そして移動 # cd solr-6.6.0 11
- 12. Solrで日本語全文検索システムの構築と応用 #OSC東京 2017/09/09 ３ 使ってみよう！ 12 起動、コア作成、インデックス化 ４ # bin/solr start ←まずはSolrを起動（コアもインデックスも無い） ５ # bin/solr create -c mycore ←「mycore」という名前でコア作成 ６ # bin/post -c mycore /home/hashimoto/doc/* ←「mycore」にファイルをインデックス化 「bin/post」がインデックス化を自動処理してくれます ・ ・ ・ （だらだらとインデックス化ログが流れる） なんと 完 了 ※ちなみにSolrサイトには五分で始められるクイックスタートサンプル もあります。（いきなり分散冗長構成が体験できたりする）
- 14. Solrで日本語全文検索システムの構築と応用 #OSC東京 2017/09/09 ３ 使ってみよう！ Solrはadmin uiを標準装備 起動後にブラウザで http://localhost:8983/solr/ にアクセスすると・・・ 14
- 15. Solrで日本語全文検索システムの構築と応用 #OSC東京 2017/09/09 ３ 使ってみよう！ 「mycore」というコアが登録されている 15 ちゃんと「mycore」が登録され ている
- 18. Solrで日本語全文検索システムの構築と応用 #OSC東京 2017/09/09 ４ インデックスってなに？ 18 インデックスの中身 （インデックスのイメージ） なので、「openSUSE」で検索すると、すぐに「text1.txt」と「LibreOffice Wirter.ods」にあ るよ、と返答がある 単語 単語のあるファイル openSUSE text1.txt LibreOffice Writer.ods カンファレンス text2.txt pdf.pdf ・・・ ・・・
- 23. Solrで日本語全文検索システムの構築と応用 #OSC東京 2017/09/09 ５ 構成や役割はこんな感じ でもって、こちらが物理的な構成 23 solr-6.6.0/ server/ ・ ・ ・ solr/ ・ lib/ ・ conf/ mycore/ ・ ・ ・ data/ managed-schema solrconfig.xml ・ ・ ・ core.properties 我らがmycore スキーマ定義ファイル 検索エンジン設定ファイル インデックス等格納ディレクトリ
- 28. Solrで日本語全文検索システムの構築と応用 #OSC東京 2017/09/09 ６ RDBMSからも検索できるよ！ 論理構成 2828 descriptionから 「geeko」を検索 検索結果 「nameが openSUSEのデー タにあるよ！」 スキーマのフィールドとRDBMSのカラムを対応 させてインデックス化 RDBMS スキーマ フィールド 名前=id フィールド 名前=name フィールド 名前=description id name description 1 openSUSE geekoがかわいい！
- 30. Solrで日本語全文検索システムの構築と応用 #OSC東京 2017/09/09 ６ RDBMSからも検索できるよ！ 設定はちょっとだけ面倒 ● RDBMSアクセス用コネクタを配置 →server/lib配下にJDBCコネクタを配置 ● フィールド定義 →次ページにて ● solrconfig.xml（コアの設定ファイル）に以下を設定 ・DataImportHandlerのライブラリ読み込み ・DataImportHandler使うよ宣言と、その時に使用する設定ファイル指定 *a ● DataImportHandler用設定ファイル（*aで指定したファイル） ・RDBMS接続設定 ・フィールドとSQLの対応 30 ここにインデックス用SQLや、 SELCET結果とフィールドの対応等を記述 概要となります。 具体的な設定の記述等は別途 資料を参照下さい。
- 31. Solrで日本語全文検索システムの構築と応用 #OSC東京 2017/09/09 ６ RDBMSからも検索できるよ！ フィールド定義 手っ取り早いのはadmin uiでスキーマ定義 31 ①（みにくいです が） 「Schema」を選択 ②「Add Field」を選 択 ③各種設定 し、下部の 「Add Field」を クリック （フィールドタ イプはtext_ja 辺り）
- 32. Solrで日本語全文検索システムの構築と応用 #OSC東京 2017/09/09 ６ RDBMSからも検索できるよ！ 設定は完了！ いざ、取り込み いつも通りREST-api http://localhost:8983/solr/mycore/dataimport?command=full-import 32 我らがmycore 余談 URI「/dataimport」はsolrconfig.xmlで requestHandlerを定義する時に指定 する これだけで、取り込みは完了！admin uiからの検索等が行える。 実運用に向けて、差分インポートの設定やインポートタイミングの設計 を行う。（定期的にインデックス化処理するか、DBアップデート時にイン デックス化処理するか、等々）
- 33. Solrで日本語全文検索システムの構築と応用 #OSC東京 2017/09/09 ７ 件数取得はファセットが便利 ファセット検索 グルーピングして件数を数える機能です。 例えば、こんな感じでtypeの件数取得 33 id name description type 1 docker コンテナ型仮想環境 virtualization 2 emacs 多機能エディタ editor 3 vim 多機能エディタ editor 4 chrome ブラウザ browser 5 firefox ブラウザ browser 6 sleipnir ブラウザ browser "facet_counts":{ "facet_queries":{}, "facet_fields":{ "type":[ "virtualization",1, "editor",2 “browser”,3]}, "facet_ranges":{}, "facet_intervals":{}, "facet_heatmaps":{}}
- 35. Solrで日本語全文検索システムの構築と応用 #OSC東京 2017/09/09 ８ ハイライトもお手の物 ハイライト 検索結果とは別に、ハイライト設定した結果を別途取得する事も出来ます。 例えばこんなデータで、desciptionから「オープンソース」で検索 35 id name description 1 openSUSE openSUSE プロジェクトとは、あらゆる場所での Linux の利 用を目指す世界的な取り組みです。openSUSE は、世界的な フリー/オープンソースソフトウェアコミュニティの一部として、 オープンに、透明に、友好的に協力し合い、世界最高の Linux ディストリビューションの一つを創っています。
- 36. Solrで日本語全文検索システムの構築と応用 #OSC東京 2017/09/09 ８ ハイライトもお手の物 ハイライト検索を実行すると 36 "highlighting":{ "1":{ "description":["openSUSE プロジェクトとは、あらゆる場所での Linux の利用を目指す世界的な取り組みです。openSUSE は、世界的な フリー/<em>オープンソース</em>ソフトウェアコミュニティの一部"]}} openSUSE プロジェクトとは、あらゆる場所での Linux の利用を目指す世界的な取 り組みです。openSUSE は、世界的なフリー/オープンソースソフトウェアコミュニティ の一部として、オープンに、透明に、友好的に協力し合い、世界最高の Linux ディス トリビューションの一つを創っています。 「オープンソース」で検索すると<em>タグで囲われる また、ヒットした所の前後一定数で切り取りだす
- 37. Solrで日本語全文検索システムの構築と応用 #OSC東京 2017/09/09 ８ ハイライトもお手の物 ハイライト検索のREST-api 検索はいつもどおりURLにパラメータ指定 http://localhost:8983/solr/mycore/select?hl=on&hl.fl=description&indent=on&q=des cription:%E3%82%AA%E3%83%BC%E3%83%97%E3%83%B3%E3%82%BD%E 3%83%BC%E3%82%B9&wt=json 37 ・hl=on ハイライトオン ・hl.fl=description ハイライト用にdescriptionのフィールドを指定 「オープンソース」で検索 REST-apiなので、URLエンコードしてます
- 38. Solrで日本語全文検索システムの構築と応用 #OSC東京 2017/09/09 ８ ハイライトもお手の物 ハイライトの設定 ・solrconfig.xmlに、「searchComponent」で設定されている ・フィールドに幾つか設定が必要 a storedという、取得したデータを保持する項目をtrueに b フィールドタイプは解析を行うものを指定 ハイライトは幾つかの設定の組み合わせが可能。 初期設定でも有用ですが、設定をする事でより細かい制御が可能 hl.method hl.qparser hl.requireFieldMatch hl.usePhraseHighlighter ・ ・ ・ 38