第15回Solr勉強会 - Solr at Yahoo! JAPAN #SolrJP

Solr at Yahoo! JAPAN
ヤフー株式会社大須賀稔
2014/12/08 第15回Solr勉強会 #SolrJP
Copyright
(C)
2014
Yahoo
Japan
Corpora5on.
All
Rights
Reserved.

ヤフー株式会社
プロジェクトマネージャ・Solr黒帯
Copyright
(C)
2014
Yahoo
Japan
Corpora5on.
All
Rights
Reserved.
P.2
自己紹介
大須賀　稔
（おおすかみのる）
Apacheソフトウェア財団
ManifoldCFコミッタ兼PMCメンバー
Solrコントリビュータ
共著： [改訂新版] Apache Solr入門
https://www.flickr.com/photos/o_0/14086728048/sizes/l
Some rights reserved by *_*

120以上 ※1
624億 ※2
2,800万 ※2
ユーザーID：
※1 Yahoo! JAPAN サービス一覧 http://services.yahoo.co.jp/
Copyright
(C)
2014
Yahoo
Japan
Corpora5on.
All
Rights
Reserved.
P.3
会社紹介
サービス数：
月間総PV：
7,300万 ※2
Daily UB：
https://www.flickr.com/photos/joao_trindade/4562486583/sizes/l
月間アクティブ
Some rights reserved ※2 ヤフー株式会社 2014年度第2四半期決算説明会資料 http://ir.yahoo.co.jp/jp/archives/present/ by trindade.joao

以前の検索サービスの仕組み
インタ
フェースB
インタ
フェースC
インデックスインデックスインデックスインデックス
検索機能の
二重開発
ライブラリの
バグに気付かない
Copyright
(C)
2014
Yahoo
Japan
Corpora5on.
All
Rights
Reserved.
P.4
以前の検索サービスの仕組み
サービスA
インタ
フェースA
Y!J独自検索
ライブラリ
サービスB
Y!J独自検索
ライブラリ
サービスC
Y!J独自検索
ライブラリ
サービスD
インタ
フェースD
Y!J独自検索
ライブラリ
ライブラリの
バージョンが違う
効率的な開発・運用ができないか検討

Copyright
(C)
2014
Yahoo
Japan
Corpora5on.
All
Rights
Reserved.
P.5
ABYSS
ABYSSとは？
https://www.flickr.com/photos/bg3photo/5082428505/sizes/l
Some rights reserved by BG³Photo
BOSS Search APIインスパイア

現在の検索サービスの仕組み
サービスA サービスB サービスC サービスD
Copyright
(C)
2014
Yahoo
Japan
Corpora5on.
All
Rights
Reserved.
P.6
現在の検索サービスの仕組み
ABYSS
Y!J独自検索
ライブラリ

Copyright
(C)
2014
Yahoo
Japan
Corpora5on.
All
Rights
Reserved.
P.7
現在のアーキテクチャ
現在のアーキテクチャ※3
※3 新検索プラットフォーム「ABYSS」
http://techblog.yahoo.co.jp/architecture/abyss/

運用・メンテナンスコスト
ソフトウェアライフサイクル
Copyright
(C)
2014
Yahoo
Japan
Corpora5on.
All
Rights
Reserved.
P.8
ABYSS再構築
なぜ再構築するのか？
https://www.flickr.com/photos/billjacobus1/122497422/sizes/l
Some rights reserved by billjacobus1
レガシーなアーキテクチャ
検索エンジンのコモディティ化

Apacheソフトウェア財団管理下
プラグインでの拡張が容易
Copyright
(C)
2014
Yahoo
Japan
Corpora5on.
All
Rights
Reserved.
P.9
Solr
なぜSolrなのか？
https://www.flickr.com/photos/gsfc/5808204795/sizes/l
Some rights reserved by NASA Goddard Photo and Video
多くの稼働実績
可用性・耐障害性

カスタマイズ可能な検索
ログ可視化機能
Copyright
(C)
2014
Yahoo
Japan
Corpora5on.
All
Rights
Reserved.
P.10
提供する機能
提供する機能
https://www.flickr.com/photos/basheertome/6785217165/sizes/l
Some rights reserved by basheertome
高可用性・耐障害性
Webベースの管理コンソール

UserABYSS Administrator / ABYSS User
Flume
Copyright
(C)
2014
Yahoo
Japan
Corpora5on.
All
Rights
Reserved.
P.11
新アーキテクチャ
OpenStack
SolrCloud
(Document Indexes)
SolrCloud
(Log Indexes)
Feed/Search API Control API
ZooKeeper
Banana
Admin UI
新アーキテクチャ
WebMA
SPDY Protocol
Support
WebMA
SPDY Protocol
Support
Front End Application
Morphline
Event
Log

Yahoo! JAPAN独自の日本語形態素
解析器
一般ユーザーにもWeb APIで公開中
http://developer.yahoo.co.jp/webapi/jlp/ma/v1/parse.html
Copyright
(C)
2014
Yahoo
Japan
Corpora5on.
All
Rights
Reserved.
P.12
WebMA
WebMAとは？
https://www.flickr.com/photos/crdot/5510506796/sizes/l
Some rights reserved by crdotx
京都大学はどこですか？
京都大学はどこですか？
何処
何所
京都
京都大
大学
学
京大
文章
区切り
類義語
トークン

テスト環境 : SolrCloud(2シャード+レプリカ=4ノード)
Virtual Server 2GHz 4CPU / 6GBメモリ / 120GB HDD
データセット : Wikipedia (English)
クエリセット : Wikipedia (English) 見出し語
8万キーワード(3万ユニークキーワード)
ツール : solrmeter (20QPS)
Average Query Time (Latency)
Copyright
(C)
2014
Yahoo
Japan
Corpora5on.
All
Rights
Reserved.
P.13
SPDYプロトコルサポート
SPDYプロトコルサポート
search
Shard1
Shard2
update
414 ms
342 ms
Solr
https://www.flickr.com/photos/xavier33300/15236610911/sizes/l
Some rights reserved by Grand Parc - Bordeaux, France
HTTP
HTTP
SPDY
Solr(Jetty9)+SPDY3
17%の速度改善がみられた

Copyright
(C)
2014
Yahoo
Japan
Corpora5on.
All
Rights
Reserved.
P.14
今後の計画
今後の計画
https://www.flickr.com/photos/29198100@N00/2368267322/sizes/l
Some rights reserved by gamillos
オートスケールの実装
独自検索エンジンの機能移植
Query Parser
Top-k Query Processing (WAND)
Machine-Learned Ranking (MLR)
etc.
OSSコミュニティとの協力

Copyright
(C)
2014
Yahoo
Japan
Corpora5on.
All
Rights
Reserved.
P.17
参考資料
参考資料
Yahoo! JAPAN サービス一覧
http://services.yahoo.co.jp/
ヤフー株式会社 2014年度第2四半期決算説明会資料
http://ir.yahoo.co.jp/jp/archives/present/
BOSS Search API – Yahoo Developer Network
https://developer.yahoo.com/boss/search/
新検索プラットフォーム「ABYSS」
http://techblog.yahoo.co.jp/architecture/abyss/
これがABYSSのすべてだ!!
http://techblog.yahoo.co.jp/architecture/abyss_1/
テキスト解析：日本語形態素解析
http://developer.yahoo.co.jp/webapi/jlp/ma/v1/parse.html
The Chromium Projects - SPDY
http://www.chromium.org/spdy
To enable SPDY in a SolrCloud setup
https://issues.apache.org/jira/browse/SOLR-6699
Visualizing Logs Using Apache Solr
http://www.slideshare.net/mosuka/visualizing-logs-using-apache-solr
https://www.flickr.com/photos/spam/5086168739/sizes/l
Some rights reserved by Smath.

第15回Solr勉強会 - Solr at Yahoo! JAPAN #SolrJP

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 第15回Solr勉強会 - Solr at Yahoo! JAPAN #SolrJP

Similar to 第15回Solr勉強会 - Solr at Yahoo! JAPAN #SolrJP (20)

More from Yahoo!デベロッパーネットワーク

More from Yahoo!デベロッパーネットワーク (20)

Recently uploaded

Recently uploaded (12)

第15回Solr勉強会 - Solr at Yahoo! JAPAN #SolrJP