SlideShare a Scribd company logo
1 of 29
情報推薦システムとユーザ体験
Yoshifumi Seki
Gunosy, Inc / University of Tokyo
2013/08/02
@Zansa
About me
• 関喜史
– 富山県出身,1987年生まれ
– 富山商船高等専門学校を卒業し、東京大学
に編入学
– 同学大学院工学系研究科技術経営戦略学専
攻博士1年在学中
– 研究分野:ウェブマイニング、書誌計量学
– 様々なウェブ系企業でデータマイニングの
インターンを経験
– 2011年10月Gunosyを公開,2012年11月法
人化
• 推薦システム構築を中心としたデータマイニ
ングの研究開発業務に従事
What’s Gunosy?
• ユーザの嗜好に合わせたウェブコンテンツを毎日届けるレコ
メンドサービス
• 2011年10月末公開
– 開発理由:夏休み暇だった
– データマイニングを研究する学生3人で開発
• 2012年度未踏発掘・育成事業採択
• ユーザ数 22万人 ( 2013年5月末時点 )
• 自分たちが欲しい物を作った
– RSSリーダーをどうも好きになれない
• 未読が三桁になって見るのも嫌になってしまう
– 読むべき情報を知りたい
• 簡単に真似できないものを作りたかった
– 研究分野への勉強という意味も含めて
– データマイニングの面白さと実践の溝
今日のお話
• 現代のウェブにおける推薦エンジンの価値
• 推薦エンジン研究の最近のトレンドの話
– 推薦エンジンの歴史
– 既存の評価指標の限界
• Filer Bubble
– From Algorithms To User experience
– 実際に明らかになってきていること
What’s Recommender System
• 膨大な情報の中からユーザに適した情報を探索し,ユー
ザに提供する
– ユーザの情報を特徴付ける
• ユーザのプロフィール
• アイテムに対する評価データ
– アイテムの情報を特徴付ける
• アイテムの中身
• 他のユーザの評価
– ユーザ・アイテム間の類似性を評価する
ウェブと推薦エンジン
• ECサイトへの導入
– Amazon, e-bay
• パーソナライゼーション
– Google Search
– Facebookのタイムライン
• スマートフォンの普及
– 画面が小さい、操作性が低い、通信速度が遅い
– 大量の情報を以下に表示するか?
– 情報を減らす
• パーソナライゼーション
History
Microsoft Academic
Search
History
• 誕生は90年代
– 協調フィルタリング
• 現在でも多くのシステムで活用されている手法
• あなたの買った◯◯を買った人は××も買っています
• 2000年代
– インターネット・バブル
• Amazon等ECサイトにおける推薦エンジンの成功
• Netfix Prize
– 推薦エンジンの精度向上コンテスト
– 多くの新しい手法が生み出されたが結局実際には使われなかった
との批判も
– 新しい手法は多く生み出されたが協調フィルタリングが圧倒的優位
– 推薦システムを売りにしたベンチャーの多くは倒産または売却
• 売上への寄与が見えづらく,売りにくい
• 単純なモデルを実装した営業力の強い会社の勝利
• 汎用的に使えるものはなく,チューニングが必要なため外注ではなか
なかマネタイズしない
Filter Bubble
• The Filter Bubble: What the Internet Is Hiding from You
– Eli Pariser (2011)
• ウェブにおけるパーソナライゼーションの負の側面を指
摘
– 多様な情報に触れる機会が減らされている.
• Recsys 2011でFilterBubbleのWorkshopが開かれる.
– Are there “filter bubbles”?
– To what degree is personalized filtering problem?
– What should we as a community do to address the filter bubble
issue?
Filter Bubble
• Recsys2011での議論
– Are there “filter bubbles”?
• 本質的にはトレードオフである
– To what degree is personalized filtering problem?
• すべての情報を人が網羅することは不可能なのでフィルタリング技
術は必須である
– What should we as a community do to address the filter bubble
issue?
• 推薦の透明性,説明性を確保すべき
• 利用者が現在求めるものだけでなく,長期的多様性も考慮
• アイテムごとの個別判断ではなく,推薦リスト全体の良さを追求
• 何が問題だったのか?(私見)
– 推薦システムの評価方法がユーザ体験を考慮していない
• 5年分のデータのうち最初の1年で残りの4年を予測する
• ユーザの行動予測問題
From Algorithm to User Experience
• Recommender Systems: from algorithms to user experience
– Joseph A. Konstan and John Riedl,User Modeling and User
adapted Interaction(2012)
– 推薦システムのユーザ体験評価についてのサーベイ論文
• 推薦システムが悪いとユーザのサービスに対する満足度を落
とす (Cosley et al. 2003)
– ユーザは推薦システムが悪いとは認識しない
• 推薦システムのライフサイクル
– 新規ユーザと既存ユーザの推薦システムに対する期待の違い.
• より洗練された評価基準
– ユーザ行動予測以外の評価基準
– 推薦結果全体の評価、多様性
• ユーザが推薦システムをコントロールすること
User Recommender Lifecycle
• New User Problem
– 評価値データがない( cold start problem)
– 人気なものと,評価が割れるものを混ぜて推薦するものが継続
率が高い ( Rashid et al 2002)
• 推薦していないにも関わらずユーザはすごく精度が高いと評価する
• ユーザモデルも作りやすい
• User Lifecycle (McNee 2006)
1. 推薦エンジンを観察する.
2. 推薦されるアイテムに関心をもち,多くのアイテムを評価す
るようになる
3. 推薦システムとして活用するようになる
Recommender System Quality
• Top-N Recommendation
– Mean Absolute Error
• 平均絶対誤差
– Precision, Recall
• 検索エンジンの指標
– False positive, False negative
• ROE curve トレードオフ,
• Diversity Problem (Ziegler et al. 2005)
– 推薦対象でないものを結果リストに差し込む
• ユーザは個人に最適化されてないことを認識するが,差し込まれた
量が全体の30%程度であれば差し込まれた方を好む
• Data quality
– ユーザにアイテムを再評価させると評価結果が改善す
る.(Amatriain et al. 2009)
Explanations and Transparency
• Explanations of recommendation (Tintarev et al. 2007)
– Transparency
• どのように推薦結果が決められたか説明することで信頼性を上げる
ことができる
– Trust
• 推薦結果の正確性以外の部分で努力する必要がある.
– Scrutability
• ユーザが推薦に用いるデータの過ちに気づき,改善を自身で行うこ
とができる.
• 説明性を高めることで,ユーザの意思決定を促進するこ
とできる.
– アルゴリズムが洗練されて正しいことより,近い友人が薦めて
いるという説明のほうが効果がある. (Herlocker et al. 2000)
– 多様性を計算することより,タグをつけて多様であるように見
えるほうが効果がある.(Vig et al. 2009)
推薦システムの効果
• Youtubeにおける推薦
• James Davidson et al. (RecSys’10)
– co-Viewを用いた単純な協調フィルタリングモデルでランキング
と比較して207%クリックが向上した
• ブラジル2位のECサイトにおける推薦
• ThiagoBullef et al. (RecSys’12)
– 90万人のユーザのうち5%のユーザに推薦システムを用いないこ
とにして比較
– 8-20%の売上の向上が見られた
• 経済シミュレーションにおける多様性の評価
• Daniel Fleder et al.
– 多様なコンテンツに対するアクションが成立するかは,そのシ
ステムの教師データに依存する.
スコアとクリック率との比較
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
通常
普通の記事
ranking
click rate
表示順位とスコアの比較
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
アルゴリズム
逆表示
click rate
ranking
継続率の変化
0
5000
10000
15000
20000
25000
30000
35000
40000
45000
58
60
62
64
66
68
70
72
74
76
78
one_month_active_rate
user_num
アルゴリズム
変更
まとめ
• データマイニング研究はオフライン評価が中心である
が,近年それに対する批判も多くオンライン評価の研究
もいくつか出てきている
– しかしながらまだ数は尐なく,推薦システムのユーザ行動には
明らかになっていない点が多い
– UIの影響とか,オフライン評価の精度向上がオンライン評価に
与える影響とか
• 目的を何にするかが非常に大事
– 精度をあげる ->サービスの価値なのか?
– リスト全体の評価なのか,コンテンツひとつずつ評価なのか
情報体験
• ウェブの情報体験
– 自分から情報を取りに行かなくてはいけない
– 探すためのリテラシーが必要
– 能動的
• 旧来メディアの情報体験
– 新聞:毎日やってくる
– テレビ:つければ入ってくる
– 受動的
• 受動的な情報体験が人々の基本的な情報体験として根付
いている
– ウェブがテレビ・新聞を超えられない理由はここにあるのでは
ないか?
Gunosy’s Vision
• ウェブにおける受動的な情報体験を設計する
– 普段通り過ごすだけでGunosyが必要な情報を集めてくれる
– ユーザに考えさせない,情報を入力させない
• 登録はSNSアカウントのみ
• 設定もほぼなし
– クリックなどのGunosy利用状況に応じて最適化する
• RSSやSNSで特定の情報をすでに見ている人に対してはそれ以外の情
報を出す
– アルゴリズムの評価はユーザ継続率ベース
• 使い続けることが重要
• 毎日使うサービスではなく時々使うサービス
• 見ていないことに対してストレスを与えない
– RSSリーダの未読(9999)って辛いよね。がスタート
• 機械が得意なことは機械にやらせよう
– 大量の選択肢からの単純な意思決定は機械のほうが得意
– 労働集約型産業へのイノベーションを起こす
宣伝
• Gunosyでは毎週水曜日19時から勉強会をやっていま
す
– 書籍の輪読
• PRML ( 2013/02 ~ 2013/05 )
• IIR ( 2013/06 ~ )
– 論文の紹介
• 毎週1本担当を決めて紹介
References (1/2)
• Panel on the filter bubble in RecSys 2011
– http://acmrecsys.wordpress.com/2011/10/25/panel-on-the-filter-
bubble/
– 情報中立推薦システム (神嶌ら)
• http://www.kamishima.net/archive/2012-p-jsai-PR.pdf
• Recommender systems: from algorithm to user experience
– Joseph A. Konstan, John Riedl
– User Modeling and User-Adapted Interaction Vol.12 pp-101-123
2012
• Getting to you know: learning new user preferences in
recommender systems
– Rashid et al.
– IUI’02
• Is seeing believing?: how recommender system interfaces
affect user opinion.
– Cosley et al.
– CHI’03
References
• Making recommendations better: an analytic model for
human-recommender interaction
– McMee et al.
– CHI’06
• Improvingrecommendation lists through topic diversification
– Ziegler et al.
– WWW’05
• Rate it againL increasing recommendation accuracy by user
re-rating
– Amatriain et al.
– RecSys’09
• Effective ecplanations of recommendations: user-centered
design
– Tintarev et al.
– RecSys’07
References
• Explaining collaborative filtering recommendations
– Herlocker et al.
– CSCW’00
• Tagsplanations: explaining recommendation using tag
– Vig et al.
– IUI’09
• The YouTube Video Recommendation System
– Davidson et al.
– RecSys’10
• Case Study on the Business Value Impact of Personalized
Recommendations on a Large Online Retailer
– Belluf et al.
– RecSys’12
• Recommender Systems and their Impact on Sales Diversity
– Fleder et al.
– EC’07

More Related Content

Viewers also liked

ビジネスの現場のデータ分析における理想と現実
ビジネスの現場のデータ分析における理想と現実ビジネスの現場のデータ分析における理想と現実
ビジネスの現場のデータ分析における理想と現実Takashi J OZAKI
 
社会の意見のダイナミクスを物理モデルとして考えてみる
社会の意見のダイナミクスを物理モデルとして考えてみる社会の意見のダイナミクスを物理モデルとして考えてみる
社会の意見のダイナミクスを物理モデルとして考えてみるtakeshi0406
 
幾何を使った統計のはなし
幾何を使った統計のはなし幾何を使った統計のはなし
幾何を使った統計のはなしToru Imai
 
PythonによるDeep Learningの実装
PythonによるDeep Learningの実装PythonによるDeep Learningの実装
PythonによるDeep Learningの実装Shinya Akiba
 
補足資料 財務3表の基礎知識
補足資料	財務3表の基礎知識補足資料	財務3表の基礎知識
補足資料 財務3表の基礎知識horihorio
 
統計と会計 - Zansa#19
統計と会計 - Zansa#19統計と会計 - Zansa#19
統計と会計 - Zansa#19horihorio
 
オブジェクト指向の設計と実装の学び方のコツ
オブジェクト指向の設計と実装の学び方のコツオブジェクト指向の設計と実装の学び方のコツ
オブジェクト指向の設計と実装の学び方のコツ増田 亨
 

Viewers also liked (7)

ビジネスの現場のデータ分析における理想と現実
ビジネスの現場のデータ分析における理想と現実ビジネスの現場のデータ分析における理想と現実
ビジネスの現場のデータ分析における理想と現実
 
社会の意見のダイナミクスを物理モデルとして考えてみる
社会の意見のダイナミクスを物理モデルとして考えてみる社会の意見のダイナミクスを物理モデルとして考えてみる
社会の意見のダイナミクスを物理モデルとして考えてみる
 
幾何を使った統計のはなし
幾何を使った統計のはなし幾何を使った統計のはなし
幾何を使った統計のはなし
 
PythonによるDeep Learningの実装
PythonによるDeep Learningの実装PythonによるDeep Learningの実装
PythonによるDeep Learningの実装
 
補足資料 財務3表の基礎知識
補足資料	財務3表の基礎知識補足資料	財務3表の基礎知識
補足資料 財務3表の基礎知識
 
統計と会計 - Zansa#19
統計と会計 - Zansa#19統計と会計 - Zansa#19
統計と会計 - Zansa#19
 
オブジェクト指向の設計と実装の学び方のコツ
オブジェクト指向の設計と実装の学び方のコツオブジェクト指向の設計と実装の学び方のコツ
オブジェクト指向の設計と実装の学び方のコツ
 

Similar to Zansa0802

connectionpool 事業概要書
connectionpool 事業概要書connectionpool 事業概要書
connectionpool 事業概要書Yu Ito
 
約1000サービスの実績から見えた「UXを可視化するユーザーテストの極意」 先生:平石 大祐
約1000サービスの実績から見えた「UXを可視化するユーザーテストの極意」  先生:平石 大祐約1000サービスの実績から見えた「UXを可視化するユーザーテストの極意」  先生:平石 大祐
約1000サービスの実績から見えた「UXを可視化するユーザーテストの極意」 先生:平石 大祐schoowebcampus
 
ユーザーテスト体験イベント@株式会社メンバーズ 20150703
ユーザーテスト体験イベント@株式会社メンバーズ 20150703ユーザーテスト体験イベント@株式会社メンバーズ 20150703
ユーザーテスト体験イベント@株式会社メンバーズ 20150703Daisuke Hiraishi
 
20160409_Validating Product Ideas_yukio yoshida_cp04
20160409_Validating Product Ideas_yukio yoshida_cp0420160409_Validating Product Ideas_yukio yoshida_cp04
20160409_Validating Product Ideas_yukio yoshida_cp04Japan Culture Creation
 
WWW2017 Recommender Systems ふりかえり
WWW2017 Recommender Systems ふりかえりWWW2017 Recommender Systems ふりかえり
WWW2017 Recommender Systems ふりかえりyyammt
 
ビッグデータ・オープンデータ活用の現状〜ビッグデータ活用概要編〜
ビッグデータ・オープンデータ活用の現状〜ビッグデータ活用概要編〜ビッグデータ・オープンデータ活用の現状〜ビッグデータ活用概要編〜
ビッグデータ・オープンデータ活用の現状〜ビッグデータ活用概要編〜Takafumi Nakanishi
 
マイニング探検会#12
マイニング探検会#12マイニング探検会#12
マイニング探検会#12Yoji Kiyota
 
WWW2018 論文読み会 Web Search and Mining
WWW2018 論文読み会 Web Search and MiningWWW2018 論文読み会 Web Search and Mining
WWW2018 論文読み会 Web Search and Miningcyberagent
 
SLASH-7ご説明資料
SLASH-7ご説明資料SLASH-7ご説明資料
SLASH-7ご説明資料pLucky
 
JAWSDAYS2016 ランチタイムセッション
JAWSDAYS2016 ランチタイムセッションJAWSDAYS2016 ランチタイムセッション
JAWSDAYS2016 ランチタイムセッション陽平 山口
 
業務システム開発モダナイゼーションガイド
業務システム開発モダナイゼーションガイド業務システム開発モダナイゼーションガイド
業務システム開発モダナイゼーションガイドYou&I
 
Pivotal Trackerでアジャイルなプロジェクト管理
Pivotal Trackerでアジャイルなプロジェクト管理Pivotal Trackerでアジャイルなプロジェクト管理
Pivotal Trackerでアジャイルなプロジェクト管理You&I
 
分析・モニタリングのために作文活動を測定するシステムの設計
分析・モニタリングのために作文活動を測定するシステムの設計分析・モニタリングのために作文活動を測定するシステムの設計
分析・モニタリングのために作文活動を測定するシステムの設計yamahige
 
Think aloud method
Think aloud methodThink aloud method
Think aloud methodHeesung Lee
 
Tc sympo tokyo_takayama20090825
Tc sympo tokyo_takayama20090825Tc sympo tokyo_takayama20090825
Tc sympo tokyo_takayama20090825和也 高山
 
HCDの教育をHCDで考えた話
HCDの教育をHCDで考えた話HCDの教育をHCDで考えた話
HCDの教育をHCDで考えた話Jun Iio
 
今さら聞けない人のためのDevOps超入門
今さら聞けない人のためのDevOps超入門今さら聞けない人のためのDevOps超入門
今さら聞けない人のためのDevOps超入門Toru Miyahara
 

Similar to Zansa0802 (20)

connectionpool 事業概要書
connectionpool 事業概要書connectionpool 事業概要書
connectionpool 事業概要書
 
約1000サービスの実績から見えた「UXを可視化するユーザーテストの極意」 先生:平石 大祐
約1000サービスの実績から見えた「UXを可視化するユーザーテストの極意」  先生:平石 大祐約1000サービスの実績から見えた「UXを可視化するユーザーテストの極意」  先生:平石 大祐
約1000サービスの実績から見えた「UXを可視化するユーザーテストの極意」 先生:平石 大祐
 
ユーザーテスト体験イベント@株式会社メンバーズ 20150703
ユーザーテスト体験イベント@株式会社メンバーズ 20150703ユーザーテスト体験イベント@株式会社メンバーズ 20150703
ユーザーテスト体験イベント@株式会社メンバーズ 20150703
 
World ia day
World ia dayWorld ia day
World ia day
 
Sexi勉強会0630
Sexi勉強会0630Sexi勉強会0630
Sexi勉強会0630
 
20160409_Validating Product Ideas_yukio yoshida_cp04
20160409_Validating Product Ideas_yukio yoshida_cp0420160409_Validating Product Ideas_yukio yoshida_cp04
20160409_Validating Product Ideas_yukio yoshida_cp04
 
WWW2017 Recommender Systems ふりかえり
WWW2017 Recommender Systems ふりかえりWWW2017 Recommender Systems ふりかえり
WWW2017 Recommender Systems ふりかえり
 
ビッグデータ・オープンデータ活用の現状〜ビッグデータ活用概要編〜
ビッグデータ・オープンデータ活用の現状〜ビッグデータ活用概要編〜ビッグデータ・オープンデータ活用の現状〜ビッグデータ活用概要編〜
ビッグデータ・オープンデータ活用の現状〜ビッグデータ活用概要編〜
 
マイニング探検会#12
マイニング探検会#12マイニング探検会#12
マイニング探検会#12
 
WWW2018 論文読み会 Web Search and Mining
WWW2018 論文読み会 Web Search and MiningWWW2018 論文読み会 Web Search and Mining
WWW2018 論文読み会 Web Search and Mining
 
SLASH-7ご説明資料
SLASH-7ご説明資料SLASH-7ご説明資料
SLASH-7ご説明資料
 
02 matsushita
02 matsushita02 matsushita
02 matsushita
 
JAWSDAYS2016 ランチタイムセッション
JAWSDAYS2016 ランチタイムセッションJAWSDAYS2016 ランチタイムセッション
JAWSDAYS2016 ランチタイムセッション
 
業務システム開発モダナイゼーションガイド
業務システム開発モダナイゼーションガイド業務システム開発モダナイゼーションガイド
業務システム開発モダナイゼーションガイド
 
Pivotal Trackerでアジャイルなプロジェクト管理
Pivotal Trackerでアジャイルなプロジェクト管理Pivotal Trackerでアジャイルなプロジェクト管理
Pivotal Trackerでアジャイルなプロジェクト管理
 
分析・モニタリングのために作文活動を測定するシステムの設計
分析・モニタリングのために作文活動を測定するシステムの設計分析・モニタリングのために作文活動を測定するシステムの設計
分析・モニタリングのために作文活動を測定するシステムの設計
 
Think aloud method
Think aloud methodThink aloud method
Think aloud method
 
Tc sympo tokyo_takayama20090825
Tc sympo tokyo_takayama20090825Tc sympo tokyo_takayama20090825
Tc sympo tokyo_takayama20090825
 
HCDの教育をHCDで考えた話
HCDの教育をHCDで考えた話HCDの教育をHCDで考えた話
HCDの教育をHCDで考えた話
 
今さら聞けない人のためのDevOps超入門
今さら聞けない人のためのDevOps超入門今さら聞けない人のためのDevOps超入門
今さら聞けない人のためのDevOps超入門
 

Zansa0802

  • 2. About me • 関喜史 – 富山県出身,1987年生まれ – 富山商船高等専門学校を卒業し、東京大学 に編入学 – 同学大学院工学系研究科技術経営戦略学専 攻博士1年在学中 – 研究分野:ウェブマイニング、書誌計量学 – 様々なウェブ系企業でデータマイニングの インターンを経験 – 2011年10月Gunosyを公開,2012年11月法 人化 • 推薦システム構築を中心としたデータマイニ ングの研究開発業務に従事
  • 3. What’s Gunosy? • ユーザの嗜好に合わせたウェブコンテンツを毎日届けるレコ メンドサービス • 2011年10月末公開 – 開発理由:夏休み暇だった – データマイニングを研究する学生3人で開発 • 2012年度未踏発掘・育成事業採択 • ユーザ数 22万人 ( 2013年5月末時点 ) • 自分たちが欲しい物を作った – RSSリーダーをどうも好きになれない • 未読が三桁になって見るのも嫌になってしまう – 読むべき情報を知りたい • 簡単に真似できないものを作りたかった – 研究分野への勉強という意味も含めて – データマイニングの面白さと実践の溝
  • 4.
  • 5.
  • 6.
  • 7.
  • 8. 今日のお話 • 現代のウェブにおける推薦エンジンの価値 • 推薦エンジン研究の最近のトレンドの話 – 推薦エンジンの歴史 – 既存の評価指標の限界 • Filer Bubble – From Algorithms To User experience – 実際に明らかになってきていること
  • 9. What’s Recommender System • 膨大な情報の中からユーザに適した情報を探索し,ユー ザに提供する – ユーザの情報を特徴付ける • ユーザのプロフィール • アイテムに対する評価データ – アイテムの情報を特徴付ける • アイテムの中身 • 他のユーザの評価 – ユーザ・アイテム間の類似性を評価する
  • 10. ウェブと推薦エンジン • ECサイトへの導入 – Amazon, e-bay • パーソナライゼーション – Google Search – Facebookのタイムライン • スマートフォンの普及 – 画面が小さい、操作性が低い、通信速度が遅い – 大量の情報を以下に表示するか? – 情報を減らす • パーソナライゼーション
  • 12. History • 誕生は90年代 – 協調フィルタリング • 現在でも多くのシステムで活用されている手法 • あなたの買った◯◯を買った人は××も買っています • 2000年代 – インターネット・バブル • Amazon等ECサイトにおける推薦エンジンの成功 • Netfix Prize – 推薦エンジンの精度向上コンテスト – 多くの新しい手法が生み出されたが結局実際には使われなかった との批判も – 新しい手法は多く生み出されたが協調フィルタリングが圧倒的優位 – 推薦システムを売りにしたベンチャーの多くは倒産または売却 • 売上への寄与が見えづらく,売りにくい • 単純なモデルを実装した営業力の強い会社の勝利 • 汎用的に使えるものはなく,チューニングが必要なため外注ではなか なかマネタイズしない
  • 13. Filter Bubble • The Filter Bubble: What the Internet Is Hiding from You – Eli Pariser (2011) • ウェブにおけるパーソナライゼーションの負の側面を指 摘 – 多様な情報に触れる機会が減らされている. • Recsys 2011でFilterBubbleのWorkshopが開かれる. – Are there “filter bubbles”? – To what degree is personalized filtering problem? – What should we as a community do to address the filter bubble issue?
  • 14. Filter Bubble • Recsys2011での議論 – Are there “filter bubbles”? • 本質的にはトレードオフである – To what degree is personalized filtering problem? • すべての情報を人が網羅することは不可能なのでフィルタリング技 術は必須である – What should we as a community do to address the filter bubble issue? • 推薦の透明性,説明性を確保すべき • 利用者が現在求めるものだけでなく,長期的多様性も考慮 • アイテムごとの個別判断ではなく,推薦リスト全体の良さを追求 • 何が問題だったのか?(私見) – 推薦システムの評価方法がユーザ体験を考慮していない • 5年分のデータのうち最初の1年で残りの4年を予測する • ユーザの行動予測問題
  • 15. From Algorithm to User Experience • Recommender Systems: from algorithms to user experience – Joseph A. Konstan and John Riedl,User Modeling and User adapted Interaction(2012) – 推薦システムのユーザ体験評価についてのサーベイ論文 • 推薦システムが悪いとユーザのサービスに対する満足度を落 とす (Cosley et al. 2003) – ユーザは推薦システムが悪いとは認識しない • 推薦システムのライフサイクル – 新規ユーザと既存ユーザの推薦システムに対する期待の違い. • より洗練された評価基準 – ユーザ行動予測以外の評価基準 – 推薦結果全体の評価、多様性 • ユーザが推薦システムをコントロールすること
  • 16. User Recommender Lifecycle • New User Problem – 評価値データがない( cold start problem) – 人気なものと,評価が割れるものを混ぜて推薦するものが継続 率が高い ( Rashid et al 2002) • 推薦していないにも関わらずユーザはすごく精度が高いと評価する • ユーザモデルも作りやすい • User Lifecycle (McNee 2006) 1. 推薦エンジンを観察する. 2. 推薦されるアイテムに関心をもち,多くのアイテムを評価す るようになる 3. 推薦システムとして活用するようになる
  • 17. Recommender System Quality • Top-N Recommendation – Mean Absolute Error • 平均絶対誤差 – Precision, Recall • 検索エンジンの指標 – False positive, False negative • ROE curve トレードオフ, • Diversity Problem (Ziegler et al. 2005) – 推薦対象でないものを結果リストに差し込む • ユーザは個人に最適化されてないことを認識するが,差し込まれた 量が全体の30%程度であれば差し込まれた方を好む • Data quality – ユーザにアイテムを再評価させると評価結果が改善す る.(Amatriain et al. 2009)
  • 18. Explanations and Transparency • Explanations of recommendation (Tintarev et al. 2007) – Transparency • どのように推薦結果が決められたか説明することで信頼性を上げる ことができる – Trust • 推薦結果の正確性以外の部分で努力する必要がある. – Scrutability • ユーザが推薦に用いるデータの過ちに気づき,改善を自身で行うこ とができる. • 説明性を高めることで,ユーザの意思決定を促進するこ とできる. – アルゴリズムが洗練されて正しいことより,近い友人が薦めて いるという説明のほうが効果がある. (Herlocker et al. 2000) – 多様性を計算することより,タグをつけて多様であるように見 えるほうが効果がある.(Vig et al. 2009)
  • 19. 推薦システムの効果 • Youtubeにおける推薦 • James Davidson et al. (RecSys’10) – co-Viewを用いた単純な協調フィルタリングモデルでランキング と比較して207%クリックが向上した • ブラジル2位のECサイトにおける推薦 • ThiagoBullef et al. (RecSys’12) – 90万人のユーザのうち5%のユーザに推薦システムを用いないこ とにして比較 – 8-20%の売上の向上が見られた • 経済シミュレーションにおける多様性の評価 • Daniel Fleder et al. – 多様なコンテンツに対するアクションが成立するかは,そのシ ステムの教師データに依存する.
  • 20. スコアとクリック率との比較 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 通常 普通の記事 ranking click rate
  • 21. 表示順位とスコアの比較 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 アルゴリズム 逆表示 click rate ranking
  • 23. まとめ • データマイニング研究はオフライン評価が中心である が,近年それに対する批判も多くオンライン評価の研究 もいくつか出てきている – しかしながらまだ数は尐なく,推薦システムのユーザ行動には 明らかになっていない点が多い – UIの影響とか,オフライン評価の精度向上がオンライン評価に 与える影響とか • 目的を何にするかが非常に大事 – 精度をあげる ->サービスの価値なのか? – リスト全体の評価なのか,コンテンツひとつずつ評価なのか
  • 24. 情報体験 • ウェブの情報体験 – 自分から情報を取りに行かなくてはいけない – 探すためのリテラシーが必要 – 能動的 • 旧来メディアの情報体験 – 新聞:毎日やってくる – テレビ:つければ入ってくる – 受動的 • 受動的な情報体験が人々の基本的な情報体験として根付 いている – ウェブがテレビ・新聞を超えられない理由はここにあるのでは ないか?
  • 25. Gunosy’s Vision • ウェブにおける受動的な情報体験を設計する – 普段通り過ごすだけでGunosyが必要な情報を集めてくれる – ユーザに考えさせない,情報を入力させない • 登録はSNSアカウントのみ • 設定もほぼなし – クリックなどのGunosy利用状況に応じて最適化する • RSSやSNSで特定の情報をすでに見ている人に対してはそれ以外の情 報を出す – アルゴリズムの評価はユーザ継続率ベース • 使い続けることが重要 • 毎日使うサービスではなく時々使うサービス • 見ていないことに対してストレスを与えない – RSSリーダの未読(9999)って辛いよね。がスタート • 機械が得意なことは機械にやらせよう – 大量の選択肢からの単純な意思決定は機械のほうが得意 – 労働集約型産業へのイノベーションを起こす
  • 26. 宣伝 • Gunosyでは毎週水曜日19時から勉強会をやっていま す – 書籍の輪読 • PRML ( 2013/02 ~ 2013/05 ) • IIR ( 2013/06 ~ ) – 論文の紹介 • 毎週1本担当を決めて紹介
  • 27. References (1/2) • Panel on the filter bubble in RecSys 2011 – http://acmrecsys.wordpress.com/2011/10/25/panel-on-the-filter- bubble/ – 情報中立推薦システム (神嶌ら) • http://www.kamishima.net/archive/2012-p-jsai-PR.pdf • Recommender systems: from algorithm to user experience – Joseph A. Konstan, John Riedl – User Modeling and User-Adapted Interaction Vol.12 pp-101-123 2012 • Getting to you know: learning new user preferences in recommender systems – Rashid et al. – IUI’02 • Is seeing believing?: how recommender system interfaces affect user opinion. – Cosley et al. – CHI’03
  • 28. References • Making recommendations better: an analytic model for human-recommender interaction – McMee et al. – CHI’06 • Improvingrecommendation lists through topic diversification – Ziegler et al. – WWW’05 • Rate it againL increasing recommendation accuracy by user re-rating – Amatriain et al. – RecSys’09 • Effective ecplanations of recommendations: user-centered design – Tintarev et al. – RecSys’07
  • 29. References • Explaining collaborative filtering recommendations – Herlocker et al. – CSCW’00 • Tagsplanations: explaining recommendation using tag – Vig et al. – IUI’09 • The YouTube Video Recommendation System – Davidson et al. – RecSys’10 • Case Study on the Business Value Impact of Personalized Recommendations on a Large Online Retailer – Belluf et al. – RecSys’12 • Recommender Systems and their Impact on Sales Diversity – Fleder et al. – EC’07