Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to MySQLユーザ視点での小さく始めるElasticsearch
Similar to MySQLユーザ視点での小さく始めるElasticsearch (20)
More from Kentaro Yoshida
More from Kentaro Yoshida (11)
Recently uploaded
Recently uploaded (9)
MySQLユーザ視点での小さく始めるElasticsearch
- 1. 07th Feb, 2014 MySQLユーザ視点での 小さく始めるElasticsearch Kentaro Yoshida in 第3回 Elasticsearch勉強会 page 1
- 2. 1. はじめに 2. 自己紹介 3. 今回のテーマ 本日の流れ 4. Yamabikoの紹介 5. 検索ことはじめ 6. Elasticsearch雑感 7. まとめ page 2
- 8. つまり page 8
- 9. “Solr” or “Elasticsearch” が必要 page 9
- 12. 2. 自己紹介 page 12
- 13. 自己紹介 • よしけんさん • (株)リブセンス • Web系インフラの 研究開発エンジニア • Elasticsearch歴： 2013年 初夏∼ 好きなプロダクト page 13
- 14. お知らせ
- 16. 3.今回のテーマ page 16
- 17. 今回のテーマ 実データを用いて手軽にElasticsearchと連携した検索を行いたい Elasticsearchをスモールスタートで使い始めたい 既存プログラムの更新系処理に触れずに小さく始めたい メインRDBはMySQLではあるが、検索のみElasticsearchを使う構成 Amazon RDS for MySQLにも応用できる手離れの良い構成にしたい MySQLサーバの管理無しに冗長化構成を実現できる (Multi-AZ) page 17
- 20. 既存製品はElasticsearch非対応 Attunity Replicate / Tungsten Replicator page 20
- 27. そこで！ page 27
- 31. Yamabiko 概要 MySQLからElasticsearchへデータを非同期に逐次反映 Amazon RDS・MariaDB・PerconaServer等の互換DBにも対応 Elasticsearchとは別の単体ミドルウェアとして動作 CentOS 6.x向けのRPMパッケージとして配布中 任意のSQL文の結果の差分から、insert/update/deleteイベントを検知 SELECT * FROM contents WHERE DATE_ADD(updated_at, INTERVAL 5 MINUTE) > NOW(); といったクエリで差分同期も可能 page 31
- 35. データ投入 かねてから無償配布されているライブドアグルメのCSVデータを利用 MySQLをGUI管理できるMacアプリ”Sequel Pro"を用いてDBへ流し込む Yamabikoを利用し、MySQLからデータの同期を始める 登録クエリ：SELECT * FROM restaurants WHERE closed = 0; 次のトピックは後ほど解説 mapping：緯度経度を扱えるgeo_point型を使うため analyzer：高機能な全文検索を扱えるKuromojiを使うため page 35
- 36. page 36
- 37. 検索クエリ curl -X POST 'http://localhost:9200/livedoor-gourmet/_search?pretty' -d '{ "query":{ "query_string":{ "query":"name:ワイン AND pref_id:13" Luceneクエリで条件指定 } いわゆるWHERE句 }, "sort" : [ 並び替え条件を指定 { "access_count" : "desc" }, ORDER BY access_count DESC ... "fan_count", "_score" ], 範囲選択 LIMIT 0, 10 "from" : 0, "size" : 10 }' page 37
- 38. 意外と簡単！ page 38
- 39. 緯度経度検索 MySQLでのGeo検索はイケてないのです SPATIALインデックスを使えるのはMyISAMだけ 最近はInnoDBでGeohashを用いればある程度のことは出来る Geohashにも対応しているElasticsearchであれば、Z曲線のグループ毎に facet検索できるので、地域毎に何件ヒットしたかの検索も(多分)可能 MySQL側で緯度と経度が別カラムに格納されているテーブルを Yamabikoを使ってElasticsearchに流し込む場合には、 SELECT文に CONCAT(lat, ",", lon) AS location という列を追加し、 次ページのmapping定義をすれば緯度経度や近傍検索が出来る page 39
- 40. 緯度経度検索 # mapping定義を行った後にデータを流し込む $ curl -XPUT "http://localhost:9200/livedoor/restaurants/_mapping" -d ' { "restaurants" : { "properties" : { "location": { "type": "geo_point", "lat_lon": "true" } } } }' page 40
- 41. 緯度経度検索 # 検索例 渋谷近辺で店名に「ワイン」を含むお店を10件リストアップします $ curl -XGET "http://localhost:9200/livedoor/restaurants/_search?pretty" -d ' { "query" : { "filtered" : { "query":{ "query_string":{ "query":"name:ワイン" } }, "filter" : { "geo_distance" : { "distance" : "1km", "location" : { "lat" : 35.3924, "lon" : 139.4157 } } } } }, "from" : 0, "size" : 10 }' page 41
- 42. 意外と簡単！ page 42
- 44. Analyzer Kuromojiの利用方法 環境：Elasticsearch 1.0.0 RC2 RPM 注意点 次のような手順でプラグインをインストール indexを作る前に登録する必要がある（既にある場合は作り直し） プラグインを入れた後はelasticsearchを再起動する $ cd /usr/share/elasticsearch $ sudo ./bin/plugin --install elasticsearch/elasticsearch-analysis-kuromoji/2.0.0.RC1 $ sudo /etc/init.d/elasticsearch restart page 44
- 45. Analyzer $ curl -XPUT 'http://localhost:9200/livedoor/' -d' { "index":{ "analysis":{ "tokenizer" : { "kuromoji" : { "type" : "kuromoji_tokenizer", "mode" : "extended" } }, "analyzer" : { "analyzer" : { "type" : "custom", "tokenizer" : "kuromoji" } } } } }' page 45
- 49. Elasticsearch ハマり所 Query DSLは奥が深く実に複雑なため、未だに自在に操れません... mapping定義を更新するためには、index/typeごと消す必要があること 列はinsertAPIやbulkAPIでは自動追加されないため、updateAPIを用いる noSQL的な概念の理解 GROUP BYに相当する機能は無い GitHubの Field Collapsing/Combining · Issue #256 の今後に期待 MySQLでは正規化さえしておけばSQL言語で自在に扱えるが、JOINが 出来ないElasticsearchでは厳しい。そのため、取り出したい形式に合 わせた非正規化データ構造を入念に準備する必要があること page 49
- 50. Elasticsearch ハマり所 noSQL故にJOIN出来ないということは、結果として各typeに同じデータ を複製された状態で持たせることになり、一貫性が失われるという懸念 mappingやデータ登録時の_parentや_childを使うと類似の事は可能 ただし、1:Nとしての紐付け、つまりLEFT JOIN的な事は不可能 こちらのページの「Parent & child」が分かりやすいのでオススメ Fun with elasticsearch's children and nested documents - Space Vatican http://www.spacevatican.org/2012/6/3/fun-with-elasticsearch-schildren-and-nested-documents/ page 50
- 51. 7. まとめ page 51
- 52. まとめ Elasticsearchの手軽さは革命的 ElasticsearchはKibanaの為だけのプロダクトではない Yamabikoを使えば、並行運用しつつスモールスタートが可能 page 52
- 53. お知らせ
- 54. お知らせ
- 58. Air Intern にてオフィス動画を公開中 http://airintern.com/company/detail/livesense LIVESENSE made* にてエンジニア求人掲載中 http://made.livesense.co.jp/