2009年4月8日セミナー 4.レコメンデーション Q&A
•
5 likes•1,993 views
2009年4月8日開催のセミナー「Extreme Search! 次世代検索エンジンSedue 24が実現する驚異のパフォーマンス」における、セッション「レコメンデーションQ&A」の配布資料。
Recommended
More Related Content
What's hot
What's hot (18)
More from Preferred Networks
More from Preferred Networks (20)
2009年4月8日セミナー 4.レコメンデーション Q&A
- 1. レコメンデーションＱ＆Ａ (株)プリファードインフラストラクチャー 岡野原 大輔 徳永 拓之 1
- 3. Ｑ.１ このＴシャツは何ですか？ 3
- 4. Q.1 このＴシャツは何ですか？ 答え 猫は弊社とリクルートが提供しているサー ビス「ねことパソコン」です 質問型レコメンデーションエンジン ０件残念問題を解決 簡単な対話で店を絞り込む 4
- 5. 導入編 5
- 7. Q.2 レコメンドってどこで 使われているの？ 答え ECサイト amazon.com 楽天 メディアサービス asahi.com はてなブックマーク（はてぶ） SNSサービス 人のお勧め 物と情報と人があるところにはどこでも！ 7
- 9. Q.3 レコメンドには どういう種類があるの？ 「行動履歴ベース」 「この商品を買った人はこれも買っています」の考え 長所：直接的な関連がなくてもＯＫ（例：おむつとビール） 短所：履歴が無いとできない 「コンテンツベース」 対象の商品/情報を解析し、それに基づいてお勧めの 商品/情報を求める 長所：履歴が無くてもでき、制御がしやすい 短所：問題の前提知識が必要 9
- 11. Q.4 レコメンドは どうしてできるようになったの？ 答え 大量の履歴データが入手可能になった 誰が何をどうしたかが全部わかる 詳細な商品データ レコメンデーションの技術の発展 行列の低ランク分解 機械学習との関連 自然言語処理 11
- 12. 導入編 Q.5 レコメンドを利用するには？ 12
- 13. Q.5 レコメンドを利用するには？ 今自分が使えるデータを確かめる 利用者のアクセスデータ 商品データ（自然文とか） パッケージを購入 Reflexa, Hotateなど 提供されているサービスを利用する 他社ASPなど 自分で作る 意外と簡単 13
- 14. 導入編 Ｑ.6 検索とレコメンデーションは 違うの？ 14
- 15. Ｑ.6 検索とレコメンデーションは 違うの？ (1/2) 情報を元に、関連するコンテンツを返す点 では同じ 検索の情報：ユーザーのクエリ レコメンドの情報：履歴情報、商品情報 検索は能動的、 レコメンデーションは受動的 検索では「探しているものが出ない」と不満 レコメンドでは「知っているものが出る」と不満 15
- 16. Ｑ.6 検索とレコメンデーションは 違うの？（2/2） 境界は非常にあいまいになってきている 検索の中でもレコメンドがたくさん もしかして機能 クエリ拡張（東大で検索しても、東京大学も探す） レコメンドの中でも検索はたくさん 似た履歴情報、個人情報を大量のＤＢから探す 16
- 17. 導入編 Q.7 ユーザーはどうしたら便利？ 17
- 18. Q.7 ユーザーはどうしたら便利？ 教えてください レコメンドは出しゃばると嫌がられる場合 が多い ユーザーにとっては望んでいる行動ではない はてなブックマークの例 18
- 19. 技術編 19
- 20. 技術編 Q.8 購入履歴情報は どう扱えばいいの？ 20
- 21. Q.8 購入履歴情報は どう扱えばいいの？ 答え：大抵「疎な行列情報」で表せます 二つの要素間の関係を記述 三つ以上の関係を真面目に記述するとテンソル ミスチル らき☆すた 水樹奈々 FF ドラクエ 田中 ○ ○ 太田 ○ ○ 徳永 ○ 岡野原 ○ ○ ○ 西川 ○ ○ 21
- 22. 技術編 Q.9 お勧め商品を 紹介するには？ 22
- 23. Q.9 お勧め商品を紹介するには？ 似ている人を探し、その人が買っていて、 もう一人が買っていないものを探せばよい 例：太田にお勧めは、「ドラクエ」 ミスチル らき☆すた 水樹奈々 FF ドラクエ 田中 ○ ○ チャンス！ 太田 ○ ○ 徳永 ○ 岡野原 ○ ○ ○ 西川 ○ ○ 23
- 24. 技術編 Q.10 「似ている」はどう計算する？ 24
- 25. Q.10「似ている」はどう計算する？ 共通に買った個数を「似ている度」とする 問題点：たくさん商品を買っている人は誰か らみても「似ている度」が高い ３ 解決法：スコアを正規化する 自分と全く同じ人との「似ている度」を１にする ミスチル らき☆ ドラクエ 水樹 FF すた 奈々 似ている度３ 太田 ○ ○ ○ 正規化後１ 岡野原 ○ ○ ○ 似ている度３ 海老原 ○ ○ ○ ○ ○ 正規化後０．７ 25
- 26. 数学で話すと 購入情報をm次元のベクトル v∈Rm vi = 1 i番目の商品を買った vi = 0 買っていない 「似ている度」＝ベクトル間の内積 vとwの似ている度（両方買ってるなら1） v, w v1w1 v2 w2 ... vm wm 正規化された「似ている度」 ＝ベクトル間のコサイン値（０～１） v, w v, v w, w 26
- 27. 疑似コードで話すと 購入情報を長さmの配列 v[m]で表す v[i] = 1 i番目の商品を買った v[i] = 0 買っていない 「似ている度」＝ベクトル間の内積 calcInp(v, w) sum = 0; for (i = 0; i < m; i++) sum += v[i] * w[i]; return sum; • 正規化されたスコア • calcInp(v, w) / sqrt(calcInp(v, v) * calcInp(w,w)) 27
- 29. Q.11 コンテンツベースの情報は どう扱えばよいの？ （1/2） 疎な行列で同じように表にして処理する 似た商品を探す方法は先ほどと同じ ゲーム 男性アー 女性アー 価格 価格 ティスト ティスト <3000 3000< <5000 ミスチル ○ ○ サザン ○ ○ 水樹奈々 ○ ○ ○ ○ FF ドラクエ ○ ○ 29
- 30. Q.11 コンテンツベースの情報は どう扱えばよいの？（2/2） 文書の場合は、文書に含まれる単語を属 性だと思う BoW (Bag of Words)表現 … 日本 Ｗ杯 中村俊輔 野球 文書１ ○ ○ ○ 文書２ ○ ○ ○ 文書３ ○ 文書１： 日本代表は２８日、Ｗ杯アジア最終予選第５戦でバーレーンと対戦し、１―０で勝った。 後半２分にＭＦ中村俊輔（３０）が国際Ａマッチ通算２３点目となるＦＫからのゴールを 決め、チームを最終予選ホーム初勝利に導いた。 30
- 32. Q. 12 パーソナライゼーション はどうやって実現？ 行動履歴の情報を詳細に入れれば、自然 にパーソナライゼーションが実現 個人に関係する情報も特徴情報に入れてよい 買った人の情報など 性別・年齢 計算量とのトレードオフ 特徴情報が非常に大きくなる可能性 32
- 33. 技術編 Q. 13 非常に大きいデータを 扱うには 33
- 34. Q.13 非常に大きいデータを扱うには とにかくメモリに入るように努力する 疎なベクトルを“アドレス”と”値“のペアで管理 WEB+DB Pressを見てください 誰でも持っているような特徴情報は捨てる サンプリングする 索引を工夫する 転置ファイル 低次元：Cover Tree 高次元：Locality Sensitive Hash / Spectral Hash 34
- 35. PFI編 35
- 37. Q.14 Preferred Infrastructureは どんなレコメンド製品を提供？ データの性質と手法でいろいろ Reflexa 先ほどの行列がある場合似たものを高速に探す Hotate 似た文書を探すのに特化 他にもケースバイケースで 37
- 38. PFI編 Q.15 Reflexaについて教えて 38
- 39. Q.15 Reflexaについて教えて 行列を与えたら、似た行・列を高速に探す エンジン デモサイト http://labs.preferred.jp/reflexa/ 行：単語 列：Wikipediaの文書 「はてぶ」の関連エントリ 行：エントリ 列：ユーザーが付けたタグ 「似ている」の計算は内積よりちょっと複雑 “Bayesian Set”と呼ばれる手法を元に 行列情報は圧縮して格納 非常に大きい情報でもメモリ上で操作可能 39
- 40. PFI編 Q.16 Hotateについて教えて 40
- 41. Q.16 Hotateについて教えて 関連文書を探すのに特化 利用例：asahi.com, IT-Proの関連ニュース 文書からのキーワードの抽出に工夫 辞書と文脈情報（どこで切れるか）を組み合わせる 各キーワードにスコアが付いている 字種情報、キーワードの意味情報（住所など） 関連度は秘密の計算式 文書間が何故似ているかを出力 少ないキーワードで関連付ける キーワードのOn/Offで精度調整が可能 41
- 42. Q.17 もっとレコメンドを詳しく 知るには？ 42
- 43. Q.17 もっとレコメンドを詳しく知るには？ 製品情報 弊社ホームページ http://preferred.jp 雑誌 WEB+DB Press Vol 49. レコメンド特集 論文 「情報処理」 Vol.48 No.9 嗜好抽出技術の最前線 「Netflix Prize」、「Recommender system」（wikipedia) Google Scholarで「Collaborative Filtering」 「Matrix Factorization」「Recommend」 43
- 44. Q.18 まとめて！ 44
- 45. Q.18 まとめて！ データさえあればすぐ試せます Reflexa, Hotate 他、データに合わせていろいろ 興味がある方はご連絡を！ info@preferred.jp 45