SlideShare a Scribd company logo
1 of 30
Download to read offline
Recommender System
         and
   user experience
   Yoshifumi Seki
     Gunosy, Inc
    2013/02/09
  World IA Day Tokyo
What’s Gunosy?
• ユーザの嗜好に合わせたウェブコンテンツを
  毎日届けるレコメンドサービス
• 2011年10月末公開
 – 開発理由:夏休み暇だった
 – データマイニングを研究する学生3人で開発
• 登録するとSNSのアカウントを元にユーザの
  嗜好を解析し,毎日25個のウェブコンテンツ
  を届ける
• 2012年度未踏発掘・育成事業採択
• App Store 無料6位
World ia day
Motivation
• 自分たちが欲しい物を作った
 – RSSリーダーをどうも好きになれない
  • 未読が三桁になって見るのも嫌になってしまう
 – 読むべき情報を知りたい
• 簡単に真似できないものを作りたかった
 – 研究分野への勉強という意味も含めて
 – データマイニングの面白さと実践の溝
ビジネス系
エンジニア系
スポーツ系
ユーザ数の推移


     60%以上のユーザがアクティ
     ブ




Sep.07   Oct.07   Nov.07   Dec.07   Jan.08   Feb.08   Mar.08   Apr.08   May.08   Jun.08   Jul.08   Aug.08   Sep.08   Oct.08   Nov.08   Dec.08   Jan.09
今日のお話
• 現代のウェブにおける推薦エンジンの価値
• 推薦エンジン研究の最近のトレンドの話
 – 推薦エンジンの歴史
 – 既存の評価指標の限界
    • Filer Bubble
 – From Algorithms To User experience
• ウェブの情報体験が旧来メディアの体験を超
  えるには?
 – ウェブの情報体験の変化
 – Gunosyのビジョン
What’s Recommender System
• 膨大な情報の中からユーザに適した情報
  を探索し,ユーザに提供する
 – ユーザの情報を特徴付ける
  • ユーザのプロフィール
  • アイテムに対する評価データ
 – アイテムの情報を特徴付ける
  • アイテムの中身
  • 他のユーザの評価
 – ユーザ・アイテム間の類似性を評価する
ウェブと推薦エンジン
• ECサイトへの導入
 – Amazon, e-bay
• パーソナライゼーション
 – Google Search
 – Facebookのタイムライン
• スマートフォンの普及
 – 画面が小さい、操作性が低い、通信速度が遅い
 – 大量の情報を以下に表示するか?
 – 情報を減らす
    • パーソナライゼーション
History




          Microsoft Academic Search
History
• 誕生は90年代
  – 協調フィルタリング
    • 現在でも多くのシステムで活用されている手法
    • あなたの買った◯◯を買った人は××も買っています
• 2000年代
  – インターネット・バブル
    • Amazon等ECサイトにおける推薦エンジンの成功
    • Netfix Prize
       – 推薦エンジンの精度向上コンテスト
       – 多くの新しい手法が生み出されたが結局実際には使われなかったとの批判も
  – 新しい手法は多く生み出されたが協調フィルタリングが圧倒的
    優位
  – 推薦システムを売りにしたベンチャーの多くは倒産または売却
    • 売上への寄与が見えづらく,売りにくい
    • 単純なモデルを実装した営業力の強い会社の勝利
    • 汎用的に使えるものはなく,チューニングが必要なため外注ではなか
      なかマネタイズしない
協調フィルタリング
• 既存のユーザコミュニティの過去の振る舞いや意見を
  用いて、利用者の好みや興味を予測し、情報を発掘す
  ること
• ユーザベース協調フィルタリング
 – あなたと興味の近い人はこんな商品を買っています
 – 類似するユーザの評価値を元に,未知のアイテムに対する
   評価値を予測する
• アイテムベース協調フィルタリング
 – この商品を買っている人はこんな商品も買っています
 – ユーザベースの転置行列を解く
• 実際の行動に基づいた高精度な推薦が可能
• 行動ログが必要
• 新しいユーザ,新しい商品に推薦できない
内容ベースフィルタリング
• アイテムの情報をユーザのプロファイルを元に推薦す
  る
• ルールベース
 – 業界における常識や知見などに基づいてアイテムを勧める
   • デジカメ買った人にSDカードを勧める
• メモリベース
 – ユーザとコンテンツのと距離を元に推薦する
 – ユーザとコンテンツをそれぞれベクトル空間に射影し,そ
   の座標間の距離を元に推薦する
• モデルベース
 – 大量の行動履歴からユーザの行動をモデル化し推薦ルール
   を作成する
知識ベース推薦
• 行動ログがあまりたまらない分野におけ
  る推薦システム
 – 家、車などは人生で数回しか買わない上に、
   次買うときは興味などが変わる
 – 購入を決定付ける素性を人の知識から獲得す
   る
  • 値段、性能の定量化、
• 最適化した探索を行う検索システム
• ユーザの嗜好をベースにした対話型推薦
  システム
Filter Bubble
• The Filter Bubble: What the Internet Is Hiding from You
   – Eli Pariser (2011)
• ウェブにおけるパーソナライゼーションの負の側
  面を指摘
   – 多様な情報に触れる機会が減らされている.
• Recsys 2011でFilterBubbleのWorkshopが開かれる.
   – Are there “filter bubbles”?
   – To what degree is personalized filtering problem?
   – What should we as a community do to address the filter
     bubble issue?
Filter Bubble
• Recsys2011での議論
  – Are there “filter bubbles”?
      • 本質的にはトレードオフである
  – To what degree is personalized filtering problem?
      • すべての情報を人が網羅することは不可能なのでフィルタリング技術
        は必須である
  – What should we as a community do to address the filter bubble issue?
      • 推薦の透明性,説明性を確保すべき
      • 利用者が現在求めるものだけでなく,長期的多様性も考慮
      • アイテムごとの個別判断ではなく,推薦リスト全体の良さを追求
• 何が問題だったのか?(私見)
  – 推薦システムの評価方法がユーザ体験を考慮していない
      • 5年分のデータのうち最初の1年で残りの4年を予測する
      • ユーザの行動予測問題
From Algorithm to User Experience
• Recommender Systems: from algorithms to user experience
    – Joseph A. Konstan and John Riedl,User Modeling and User adapted
      Interaction(2012)
    – 推薦システムのユーザ体験評価についてのサーベイ論文

• 推薦システムが悪いとユーザのサービスに対する満足度を落とす
  (Cosley et al. 2003)
    – ユーザは推薦システムが悪いとは認識しない

• 推薦システムのライフサイクル
    – 新規ユーザと既存ユーザの推薦システムに対する期待の違い.
• より洗練された評価基準
    – ユーザ行動予測以外の評価基準
    – 推薦結果全体の評価、多様性
• ユーザが推薦システムをコントロールすること
User Recommender Lifecycle
• New User Problem
  – 評価値データがない( cold start problem)
  – 人気なものと,評価が割れるものを混ぜて推薦す
    るものが継続率が高い ( Rashid et al 2002)
     • 推薦していないにも関わらずユーザはすごく精度が高
       いと評価する
     • ユーザモデルも作りやすい
• User Lifecycle (McNee 2006)
   1. 推薦エンジンを観察する.
   2. 推薦されるアイテムに関心をもち,多くのアイ
      テムを評価するようになる
   3. 推薦システムとして活用するようになる
Recommender System Quality
• Top-N Recommendation
   – Mean Absolute Error
       • 平均絶対誤差
   – Precision, Recall
       • 検索エンジンの指標
   – False positive, False negative
       • ROE curve トレードオフ,
• Diversity Problem (Ziegler et al. 2005)
   – 推薦対象でないものを結果リストに差し込む
       • ユーザは個人に最適化されてないことを認識するが,差し込ま
         れた量が全体の30%程度であれば差し込まれた方を好む
• Data quality
   – ユーザにアイテムを再評価させると評価結果が改善す
     る.(Amatriain et al. 2009)
Explanations and Transparency
• Explanations of recommendation (Tintarev et al. 2007)
   – Transparency
       • どのように推薦結果が決められたか説明することで信頼性を上げるこ
         とができる
   – Trust
       • 推薦結果の正確性以外の部分で努力する必要がある.
   – Scrutability
       • ユーザが推薦に用いるデータの過ちに気づき,改善を自身で行うこと
         ができる.
• 説明性を高めることで,ユーザの意思決定を促進することで
  きる.
   – アルゴリズムが洗練されて正しいことより,近い友人が薦めて
     いるという説明のほうが効果がある. (Herlocker et al. 2000)
   – 多様性を計算することより,タグをつけて多様であるように見
     えるほうが効果がある.(Vig et al. 2009)
継続率の変化
78            45000

76            40000

74
              35000

72
              30000
70
              25000
68
              20000   one_month_active_rate
66
                      user_num
              15000
64

              10000
62

60      アルゴリズム5000


58
        変更    0
スコアとクリック率との比較



click rate                                                                       通常
                                                                                 普通の記事




             1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25


                                            ranking
表示順位とスコアの比較



click rate                                                                       アルゴリズム
                                                                                 逆表示




             1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25


                                             ranking
ウェブにおける情報体験の変化
ウェブにおける情報体験の変化
情報体験
• ウェブの情報体験
 – 自分から情報を取りに行かなくてはいけない
 – 探すためのリテラシーが必要
 – 能動的
• 旧来メディアの情報体験
 – 新聞:毎日やってくる
 – テレビ:つければ入ってくる
 – 受動的
• 受動的な情報体験が人々の基本的な情報体験とし
  て根付いている
 – ウェブがテレビ・新聞を超えられない理由はここに
   あるのではないか?
Gunosy’s Vision
• ウェブにおける受動的な情報体験を設計する
 – 普段通り過ごすだけでGunosyが必要な情報を集めてくれる
 – ユーザに考えさせない,情報を入力させない
   • 登録はSNSアカウントのみ
   • 設定もほぼなし
 – クリックなどのGunosy利用状況に応じて最適化する
   • RSSやSNSで特定の情報をすでに見ている人に対してはそれ以外の情報
     を出す
 – アルゴリズムの評価はユーザ継続率ベース
   • 使い続けることが重要
   • 毎日使うサービスではなく時々使うサービス
   • 見ていないことに対してストレスを与えない
     – RSSリーダの未読(9999)って辛いよね。がスタート
• 機械が得意なことは機械にやらせよう
 – 大量の選択肢からの単純な意思決定は機械のほうが得意
 – 労働集約型産業へのイノベーションを起こす
まとめ:IAと推薦システム
• 推薦システム研究におけるユーザ体験設計はまだ
  非常に尐ない
 – 推薦を受ける前と受けたあとで間違いなく行動は変
   わる
 – 目的変数はユーザ行動の予測ではない
• より抽象度の高い目的変数が必要である.
 – 継続率を生み出す推薦リストとは?
 – 人はなにが推薦されると嬉しいのか?
 – 人はなにを推薦されるといやなのか?
• IAの知見を指標化・定式化すればよりよい推薦シ
  ステムを起こせるのでは
• ビッグデータは魔法の杖ではない.活用目的とな
  る目的変数を定義しなくてはならない.そのため
  のIA

More Related Content

Viewers also liked

女子の心をつかむUIデザインポイント - MERY編 -
女子の心をつかむUIデザインポイント - MERY編 -女子の心をつかむUIデザインポイント - MERY編 -
女子の心をつかむUIデザインポイント - MERY編 -Shoko Tanaka
 
Cyta.jp_サービスEC説明資料
Cyta.jp_サービスEC説明資料Cyta.jp_サービスEC説明資料
Cyta.jp_サービスEC説明資料Find Job Startup
 
PIXTA_シードラウンド用事業プラン説明資料
PIXTA_シードラウンド用事業プラン説明資料PIXTA_シードラウンド用事業プラン説明資料
PIXTA_シードラウンド用事業プラン説明資料Find Job Startup
 
BASE_プレゼン用サービス説明資料
BASE_プレゼン用サービス説明資料BASE_プレゼン用サービス説明資料
BASE_プレゼン用サービス説明資料Find Job Startup
 
ストリートアカデミー_ローンチ前企画書
ストリートアカデミー_ローンチ前企画書ストリートアカデミー_ローンチ前企画書
ストリートアカデミー_ローンチ前企画書Find Job Startup
 
メルカリ_サービス説明資料
メルカリ_サービス説明資料メルカリ_サービス説明資料
メルカリ_サービス説明資料Find Job Startup
 
創業時の「nanapiのナマ企画書」
創業時の「nanapiのナマ企画書」創業時の「nanapiのナマ企画書」
創業時の「nanapiのナマ企画書」Find Job Startup
 

Viewers also liked (9)

女子の心をつかむUIデザインポイント - MERY編 -
女子の心をつかむUIデザインポイント - MERY編 -女子の心をつかむUIデザインポイント - MERY編 -
女子の心をつかむUIデザインポイント - MERY編 -
 
Cyta.jp_サービスEC説明資料
Cyta.jp_サービスEC説明資料Cyta.jp_サービスEC説明資料
Cyta.jp_サービスEC説明資料
 
PIXTA_シードラウンド用事業プラン説明資料
PIXTA_シードラウンド用事業プラン説明資料PIXTA_シードラウンド用事業プラン説明資料
PIXTA_シードラウンド用事業プラン説明資料
 
Spc2015 53
Spc2015 53Spc2015 53
Spc2015 53
 
BASE_プレゼン用サービス説明資料
BASE_プレゼン用サービス説明資料BASE_プレゼン用サービス説明資料
BASE_プレゼン用サービス説明資料
 
ストリートアカデミー_ローンチ前企画書
ストリートアカデミー_ローンチ前企画書ストリートアカデミー_ローンチ前企画書
ストリートアカデミー_ローンチ前企画書
 
Spc2014 24
Spc2014 24Spc2014 24
Spc2014 24
 
メルカリ_サービス説明資料
メルカリ_サービス説明資料メルカリ_サービス説明資料
メルカリ_サービス説明資料
 
創業時の「nanapiのナマ企画書」
創業時の「nanapiのナマ企画書」創業時の「nanapiのナマ企画書」
創業時の「nanapiのナマ企画書」
 

Similar to World ia day

ライフエンジンを支える検索エンジンの作り方
ライフエンジンを支える検索エンジンの作り方ライフエンジンを支える検索エンジンの作り方
ライフエンジンを支える検索エンジンの作り方Chiaki Hatanaka
 
ウフル ソーシャルリスニング紹介資料
ウフル ソーシャルリスニング紹介資料ウフル ソーシャルリスニング紹介資料
ウフル ソーシャルリスニング紹介資料uhuru_jp
 
Jmrx講演資料0723(配布用)[1]
Jmrx講演資料0723(配布用)[1]Jmrx講演資料0723(配布用)[1]
Jmrx講演資料0723(配布用)[1]Shigeru Kishikawa
 
ShibuyaUX - UX and Analytics
ShibuyaUX - UX and AnalyticsShibuyaUX - UX and Analytics
ShibuyaUX - UX and AnalyticsMakoto Shimizu
 
サイトサーチアナリティクスとは
サイトサーチアナリティクスとはサイトサーチアナリティクスとは
サイトサーチアナリティクスとはMakoto Shimizu
 
地図を捨ててコンパスを頼りに進め
地図を捨ててコンパスを頼りに進め地図を捨ててコンパスを頼りに進め
地図を捨ててコンパスを頼りに進めDai FUJIHARA
 
地図を捨ててコンパスを頼りに進め
地図を捨ててコンパスを頼りに進め地図を捨ててコンパスを頼りに進め
地図を捨ててコンパスを頼りに進めRakuten Group, Inc.
 
【人工知能学会2013 】社会知としての消費者価値観構造モデルと類型「Societas」の構築
【人工知能学会2013 】社会知としての消費者価値観構造モデルと類型「Societas」の構築【人工知能学会2013 】社会知としての消費者価値観構造モデルと類型「Societas」の構築
【人工知能学会2013 】社会知としての消費者価値観構造モデルと類型「Societas」の構築Ayako Baba
 
Ecサイトの構造設計 5月21日 東京セミナー 抜粋
Ecサイトの構造設計 5月21日 東京セミナー 抜粋Ecサイトの構造設計 5月21日 東京セミナー 抜粋
Ecサイトの構造設計 5月21日 東京セミナー 抜粋Narutoshi Gon
 
Case study of online machine learning for display advertising in Yahoo! JAPAN
Case study of online machine learning for display advertising in Yahoo! JAPANCase study of online machine learning for display advertising in Yahoo! JAPAN
Case study of online machine learning for display advertising in Yahoo! JAPANDataWorks Summit/Hadoop Summit
 
個客とIAとアクセス解析
個客とIAとアクセス解析個客とIAとアクセス解析
個客とIAとアクセス解析Makoto Shimizu
 
【Halo】スマホアプリ3つの法則 ボケてをアプリ化するときにやったこと121210
【Halo】スマホアプリ3つの法則 ボケてをアプリ化するときにやったこと121210【Halo】スマホアプリ3つの法則 ボケてをアプリ化するときにやったこと121210
【Halo】スマホアプリ3つの法則 ボケてをアプリ化するときにやったこと121210Osamu Ise
 
20141107 図書館総合展 ユニバーサルナレッジ_講演資料
20141107 図書館総合展 ユニバーサルナレッジ_講演資料20141107 図書館総合展 ユニバーサルナレッジ_講演資料
20141107 図書館総合展 ユニバーサルナレッジ_講演資料Toshikazu Inoue
 
ネット上でのクチコミマーケティングとは
ネット上でのクチコミマーケティングとはネット上でのクチコミマーケティングとは
ネット上でのクチコミマーケティングとは武 河野
 
20220521_IR_reading_Sato.pptx
20220521_IR_reading_Sato.pptx20220521_IR_reading_Sato.pptx
20220521_IR_reading_Sato.pptxMasahiro Sato
 
【20121124】word bench大阪
【20121124】word bench大阪【20121124】word bench大阪
【20121124】word bench大阪Raysus Co.,Ltd.
 

Similar to World ia day (20)

ライフエンジンを支える検索エンジンの作り方
ライフエンジンを支える検索エンジンの作り方ライフエンジンを支える検索エンジンの作り方
ライフエンジンを支える検索エンジンの作り方
 
ウフル ソーシャルリスニング紹介資料
ウフル ソーシャルリスニング紹介資料ウフル ソーシャルリスニング紹介資料
ウフル ソーシャルリスニング紹介資料
 
Jmrx講演資料0723(配布用)[1]
Jmrx講演資料0723(配布用)[1]Jmrx講演資料0723(配布用)[1]
Jmrx講演資料0723(配布用)[1]
 
ShibuyaUX - UX and Analytics
ShibuyaUX - UX and AnalyticsShibuyaUX - UX and Analytics
ShibuyaUX - UX and Analytics
 
サイトサーチアナリティクスとは
サイトサーチアナリティクスとはサイトサーチアナリティクスとは
サイトサーチアナリティクスとは
 
UX流Web解析
UX流Web解析UX流Web解析
UX流Web解析
 
地図を捨ててコンパスを頼りに進め
地図を捨ててコンパスを頼りに進め地図を捨ててコンパスを頼りに進め
地図を捨ててコンパスを頼りに進め
 
地図を捨ててコンパスを頼りに進め
地図を捨ててコンパスを頼りに進め地図を捨ててコンパスを頼りに進め
地図を捨ててコンパスを頼りに進め
 
【人工知能学会2013 】社会知としての消費者価値観構造モデルと類型「Societas」の構築
【人工知能学会2013 】社会知としての消費者価値観構造モデルと類型「Societas」の構築【人工知能学会2013 】社会知としての消費者価値観構造モデルと類型「Societas」の構築
【人工知能学会2013 】社会知としての消費者価値観構造モデルと類型「Societas」の構築
 
Ecサイトの構造設計 5月21日 東京セミナー 抜粋
Ecサイトの構造設計 5月21日 東京セミナー 抜粋Ecサイトの構造設計 5月21日 東京セミナー 抜粋
Ecサイトの構造設計 5月21日 東京セミナー 抜粋
 
ホワイトペーパーVol05 コミュニティ成功のための7つの秘訣
ホワイトペーパーVol05 コミュニティ成功のための7つの秘訣ホワイトペーパーVol05 コミュニティ成功のための7つの秘訣
ホワイトペーパーVol05 コミュニティ成功のための7つの秘訣
 
Case study of online machine learning for display advertising in Yahoo! JAPAN
Case study of online machine learning for display advertising in Yahoo! JAPANCase study of online machine learning for display advertising in Yahoo! JAPAN
Case study of online machine learning for display advertising in Yahoo! JAPAN
 
個客とIAとアクセス解析
個客とIAとアクセス解析個客とIAとアクセス解析
個客とIAとアクセス解析
 
【Halo】スマホアプリ3つの法則 ボケてをアプリ化するときにやったこと121210
【Halo】スマホアプリ3つの法則 ボケてをアプリ化するときにやったこと121210【Halo】スマホアプリ3つの法則 ボケてをアプリ化するときにやったこと121210
【Halo】スマホアプリ3つの法則 ボケてをアプリ化するときにやったこと121210
 
20141107 図書館総合展 ユニバーサルナレッジ_講演資料
20141107 図書館総合展 ユニバーサルナレッジ_講演資料20141107 図書館総合展 ユニバーサルナレッジ_講演資料
20141107 図書館総合展 ユニバーサルナレッジ_講演資料
 
ネット上でのクチコミマーケティングとは
ネット上でのクチコミマーケティングとはネット上でのクチコミマーケティングとは
ネット上でのクチコミマーケティングとは
 
Webdirection
WebdirectionWebdirection
Webdirection
 
20220521_IR_reading_Sato.pptx
20220521_IR_reading_Sato.pptx20220521_IR_reading_Sato.pptx
20220521_IR_reading_Sato.pptx
 
【20121124】word bench大阪
【20121124】word bench大阪【20121124】word bench大阪
【20121124】word bench大阪
 
Digital strategy in Japanese
Digital strategy in JapaneseDigital strategy in Japanese
Digital strategy in Japanese
 

World ia day

  • 1. Recommender System and user experience Yoshifumi Seki Gunosy, Inc 2013/02/09 World IA Day Tokyo
  • 2. What’s Gunosy? • ユーザの嗜好に合わせたウェブコンテンツを 毎日届けるレコメンドサービス • 2011年10月末公開 – 開発理由:夏休み暇だった – データマイニングを研究する学生3人で開発 • 登録するとSNSのアカウントを元にユーザの 嗜好を解析し,毎日25個のウェブコンテンツ を届ける • 2012年度未踏発掘・育成事業採択 • App Store 無料6位
  • 4. Motivation • 自分たちが欲しい物を作った – RSSリーダーをどうも好きになれない • 未読が三桁になって見るのも嫌になってしまう – 読むべき情報を知りたい • 簡単に真似できないものを作りたかった – 研究分野への勉強という意味も含めて – データマイニングの面白さと実践の溝
  • 8. ユーザ数の推移 60%以上のユーザがアクティ ブ Sep.07 Oct.07 Nov.07 Dec.07 Jan.08 Feb.08 Mar.08 Apr.08 May.08 Jun.08 Jul.08 Aug.08 Sep.08 Oct.08 Nov.08 Dec.08 Jan.09
  • 9. 今日のお話 • 現代のウェブにおける推薦エンジンの価値 • 推薦エンジン研究の最近のトレンドの話 – 推薦エンジンの歴史 – 既存の評価指標の限界 • Filer Bubble – From Algorithms To User experience • ウェブの情報体験が旧来メディアの体験を超 えるには? – ウェブの情報体験の変化 – Gunosyのビジョン
  • 10. What’s Recommender System • 膨大な情報の中からユーザに適した情報 を探索し,ユーザに提供する – ユーザの情報を特徴付ける • ユーザのプロフィール • アイテムに対する評価データ – アイテムの情報を特徴付ける • アイテムの中身 • 他のユーザの評価 – ユーザ・アイテム間の類似性を評価する
  • 11. ウェブと推薦エンジン • ECサイトへの導入 – Amazon, e-bay • パーソナライゼーション – Google Search – Facebookのタイムライン • スマートフォンの普及 – 画面が小さい、操作性が低い、通信速度が遅い – 大量の情報を以下に表示するか? – 情報を減らす • パーソナライゼーション
  • 12. History Microsoft Academic Search
  • 13. History • 誕生は90年代 – 協調フィルタリング • 現在でも多くのシステムで活用されている手法 • あなたの買った◯◯を買った人は××も買っています • 2000年代 – インターネット・バブル • Amazon等ECサイトにおける推薦エンジンの成功 • Netfix Prize – 推薦エンジンの精度向上コンテスト – 多くの新しい手法が生み出されたが結局実際には使われなかったとの批判も – 新しい手法は多く生み出されたが協調フィルタリングが圧倒的 優位 – 推薦システムを売りにしたベンチャーの多くは倒産または売却 • 売上への寄与が見えづらく,売りにくい • 単純なモデルを実装した営業力の強い会社の勝利 • 汎用的に使えるものはなく,チューニングが必要なため外注ではなか なかマネタイズしない
  • 14. 協調フィルタリング • 既存のユーザコミュニティの過去の振る舞いや意見を 用いて、利用者の好みや興味を予測し、情報を発掘す ること • ユーザベース協調フィルタリング – あなたと興味の近い人はこんな商品を買っています – 類似するユーザの評価値を元に,未知のアイテムに対する 評価値を予測する • アイテムベース協調フィルタリング – この商品を買っている人はこんな商品も買っています – ユーザベースの転置行列を解く • 実際の行動に基づいた高精度な推薦が可能 • 行動ログが必要 • 新しいユーザ,新しい商品に推薦できない
  • 15. 内容ベースフィルタリング • アイテムの情報をユーザのプロファイルを元に推薦す る • ルールベース – 業界における常識や知見などに基づいてアイテムを勧める • デジカメ買った人にSDカードを勧める • メモリベース – ユーザとコンテンツのと距離を元に推薦する – ユーザとコンテンツをそれぞれベクトル空間に射影し,そ の座標間の距離を元に推薦する • モデルベース – 大量の行動履歴からユーザの行動をモデル化し推薦ルール を作成する
  • 16. 知識ベース推薦 • 行動ログがあまりたまらない分野におけ る推薦システム – 家、車などは人生で数回しか買わない上に、 次買うときは興味などが変わる – 購入を決定付ける素性を人の知識から獲得す る • 値段、性能の定量化、 • 最適化した探索を行う検索システム • ユーザの嗜好をベースにした対話型推薦 システム
  • 17. Filter Bubble • The Filter Bubble: What the Internet Is Hiding from You – Eli Pariser (2011) • ウェブにおけるパーソナライゼーションの負の側 面を指摘 – 多様な情報に触れる機会が減らされている. • Recsys 2011でFilterBubbleのWorkshopが開かれる. – Are there “filter bubbles”? – To what degree is personalized filtering problem? – What should we as a community do to address the filter bubble issue?
  • 18. Filter Bubble • Recsys2011での議論 – Are there “filter bubbles”? • 本質的にはトレードオフである – To what degree is personalized filtering problem? • すべての情報を人が網羅することは不可能なのでフィルタリング技術 は必須である – What should we as a community do to address the filter bubble issue? • 推薦の透明性,説明性を確保すべき • 利用者が現在求めるものだけでなく,長期的多様性も考慮 • アイテムごとの個別判断ではなく,推薦リスト全体の良さを追求 • 何が問題だったのか?(私見) – 推薦システムの評価方法がユーザ体験を考慮していない • 5年分のデータのうち最初の1年で残りの4年を予測する • ユーザの行動予測問題
  • 19. From Algorithm to User Experience • Recommender Systems: from algorithms to user experience – Joseph A. Konstan and John Riedl,User Modeling and User adapted Interaction(2012) – 推薦システムのユーザ体験評価についてのサーベイ論文 • 推薦システムが悪いとユーザのサービスに対する満足度を落とす (Cosley et al. 2003) – ユーザは推薦システムが悪いとは認識しない • 推薦システムのライフサイクル – 新規ユーザと既存ユーザの推薦システムに対する期待の違い. • より洗練された評価基準 – ユーザ行動予測以外の評価基準 – 推薦結果全体の評価、多様性 • ユーザが推薦システムをコントロールすること
  • 20. User Recommender Lifecycle • New User Problem – 評価値データがない( cold start problem) – 人気なものと,評価が割れるものを混ぜて推薦す るものが継続率が高い ( Rashid et al 2002) • 推薦していないにも関わらずユーザはすごく精度が高 いと評価する • ユーザモデルも作りやすい • User Lifecycle (McNee 2006) 1. 推薦エンジンを観察する. 2. 推薦されるアイテムに関心をもち,多くのアイ テムを評価するようになる 3. 推薦システムとして活用するようになる
  • 21. Recommender System Quality • Top-N Recommendation – Mean Absolute Error • 平均絶対誤差 – Precision, Recall • 検索エンジンの指標 – False positive, False negative • ROE curve トレードオフ, • Diversity Problem (Ziegler et al. 2005) – 推薦対象でないものを結果リストに差し込む • ユーザは個人に最適化されてないことを認識するが,差し込ま れた量が全体の30%程度であれば差し込まれた方を好む • Data quality – ユーザにアイテムを再評価させると評価結果が改善す る.(Amatriain et al. 2009)
  • 22. Explanations and Transparency • Explanations of recommendation (Tintarev et al. 2007) – Transparency • どのように推薦結果が決められたか説明することで信頼性を上げるこ とができる – Trust • 推薦結果の正確性以外の部分で努力する必要がある. – Scrutability • ユーザが推薦に用いるデータの過ちに気づき,改善を自身で行うこと ができる. • 説明性を高めることで,ユーザの意思決定を促進することで きる. – アルゴリズムが洗練されて正しいことより,近い友人が薦めて いるという説明のほうが効果がある. (Herlocker et al. 2000) – 多様性を計算することより,タグをつけて多様であるように見 えるほうが効果がある.(Vig et al. 2009)
  • 23. 継続率の変化 78 45000 76 40000 74 35000 72 30000 70 25000 68 20000 one_month_active_rate 66 user_num 15000 64 10000 62 60 アルゴリズム5000 58 変更 0
  • 24. スコアとクリック率との比較 click rate 通常 普通の記事 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 ranking
  • 25. 表示順位とスコアの比較 click rate アルゴリズム 逆表示 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 ranking
  • 28. 情報体験 • ウェブの情報体験 – 自分から情報を取りに行かなくてはいけない – 探すためのリテラシーが必要 – 能動的 • 旧来メディアの情報体験 – 新聞:毎日やってくる – テレビ:つければ入ってくる – 受動的 • 受動的な情報体験が人々の基本的な情報体験とし て根付いている – ウェブがテレビ・新聞を超えられない理由はここに あるのではないか?
  • 29. Gunosy’s Vision • ウェブにおける受動的な情報体験を設計する – 普段通り過ごすだけでGunosyが必要な情報を集めてくれる – ユーザに考えさせない,情報を入力させない • 登録はSNSアカウントのみ • 設定もほぼなし – クリックなどのGunosy利用状況に応じて最適化する • RSSやSNSで特定の情報をすでに見ている人に対してはそれ以外の情報 を出す – アルゴリズムの評価はユーザ継続率ベース • 使い続けることが重要 • 毎日使うサービスではなく時々使うサービス • 見ていないことに対してストレスを与えない – RSSリーダの未読(9999)って辛いよね。がスタート • 機械が得意なことは機械にやらせよう – 大量の選択肢からの単純な意思決定は機械のほうが得意 – 労働集約型産業へのイノベーションを起こす
  • 30. まとめ:IAと推薦システム • 推薦システム研究におけるユーザ体験設計はまだ 非常に尐ない – 推薦を受ける前と受けたあとで間違いなく行動は変 わる – 目的変数はユーザ行動の予測ではない • より抽象度の高い目的変数が必要である. – 継続率を生み出す推薦リストとは? – 人はなにが推薦されると嬉しいのか? – 人はなにを推薦されるといやなのか? • IAの知見を指標化・定式化すればよりよい推薦シ ステムを起こせるのでは • ビッグデータは魔法の杖ではない.活用目的とな る目的変数を定義しなくてはならない.そのため のIA