CyberZ の社内勉強会であるスキルウェンズデーで発表した内容になります。 自己紹介と、最近作った Scala のプログラムの話です。

1. Scalaでつくる〇〇
CyberZ F.O.X 開発局
今森大地

2. INTRODUCTION
自己紹介
▸氏名：今森大地 (@aidy91614)
▸出身：大阪府枚方市
▸大学時代の所属：
社会情報学専攻 情報図書館学分野
▸大学時代の研究：
Twitterに関する研究

3. INTRODUCTION
自己紹介
▸氏名：今森大地 (@aidy91614)
▸出身：大阪府枚方市
▸大学時代の所属：
社会情報学専攻 情報図書館学分野
▸大学時代の研究：
Twitterに関する研究

4. WHAT IS SEARCH ENGINE?
検索エンジンとは
▸ほしい情報が掲載されている文書を探すためのシステム
▸ex) 図書館の司書さん
▸検索エンジンは「クエリ」と呼ばれる要求をユーザから受け取り、該当の文書を提示
▸ex) 司書さんに「図書館学について詳しい本を探しています。」と尋ねる
▸検索エンジンは索引(index) を用いて該当の文書を検索
▸ex) 司書さんは経験から該当文書がだいたいどこにあるかあたりを付けられる

5. THE IMPORTANT THINGS OF SEARCH ENGINE
検索エンジンの大事なところ
▸効率のいいインデックス作成
▸ランキング

6. THE IMPORTANT THINGS OF SEARCH ENGINE
検索エンジンの大事なところ
▸効率のいいインデックス作成
▸ある単語を含む文書一覧がほしい
▸全文書に対して該当単語が含まれるか調査？
▸転置インデックス
転置インデックス
単語ID 単語を含む文書ID
1 1,2,5
2 2,5,9
3 1,2
4 5
インデックス
文書ID 文書が含む単語ID
1 1,2,5
2 2,5,9
3 1,2
4 5

7. THE IMPORTANT THINGS OF SEARCH ENGINE
検索エンジンの大事なところ
▸ランキング
▸ユーザが要求したクエリに適した文書を上位に提示
▸適した文書とは?
▸文書の信頼性、人気度、新しさ
▸ランキングの多様性、パーソナライゼーション

8. Scalaでつくる〇〇
CyberZ F.O.X 開発局
今森大地

9. Scalaでつくる検索エンジン
CyberZ F.O.X 開発局
今森大地

10. MOTIVATION
動機
▸Scalaを勉強中
▸本は読んでいるけれど…
▸手を動かして学びたい
▸CAの技術研修で検索エンジンを作ったのでその復習
▸大学時代の専門の紹介を兼ねて
▸スキルウェンズデーのネタにちょうどいい

11. SPECIFICATION
仕様
▸Thunderbird からエクスポートしたメールデータを読み込んで動かす
オンメモリ検索エンジン
▸コード数200行の簡易検索エンジン
▸Scala インタープリタ上で実行
▸転置インデックス作成
▸ランキング
▸TF-IDF：クエリに含まれる単語が多く含まれるメールを上位に表示

12. HANDS ON
ハンズオン https://github.com/aidy1991/scala-searchengine