SlideShare a Scribd company logo
1 of 135
第4回データマイニング+WEB勉強会@東京
           2010/05/16




ソーシャルウェブ と レコメンデーション
    Social Web and Recommendation




        hamadakoichi
          濱田 晃一
AGENDA
         ◆自己紹介
         ◆ソーシャルウェブとレコメンデーション
         ◆レコメンデーション
          ●レコメンデーションとは
          ●2つのレコメンド経路
          ●類似度によるレコメンド手法
           ○コンテンツベースフィルタリング
           ○協調フィルタリング
          ●その他のレコメンド手法
          ●開発用ライブラリ (Java)
         ◆最後に
                               2
AGENDA
         ◆自己紹介
         ◆ソーシャルウェブとレコメンデーション
         ◆レコメンデーション
          ●レコメンデーションとは
          ●2つのレコメンド経路
          ●類似度によるレコメンド手法
           ○コンテンツベースフィルタリング
           ○協調フィルタリング
          ●その他のレコメンド手法
          ●開発用ライブラリ (Java)
         ◆最後に
                               3
hamadakoichi
   濱田晃一
http://iddy.jp/profile/hamadakoichi




                                      4
自己紹介:hamadakoichi 濱田晃一




                         5
自己紹介:hamadakoichi 濱田晃一




データマイニング+WEB勉強会@東京

              主催者です



                         6
自己紹介:hamadakoichi 濱田晃一
                      理論物理 博士(2004.3取得)
                        量子統計場の理論
Statistical Field Theory                        Spontaneously
                                        Time-Reversal Symmetry Breaking




                                       Anisotropic Massless Dirac Fermions




 博士論文: http://hosi.phys.s.u-tokyo.ac.jp/~koichi/PhD-thesis.pdf          7
自己紹介:hamadakoichi 濱田晃一

            文部大臣に褒められた
   元 文部大臣・法務大臣      六法全書著者・元法学政治学研究科長
      森山眞弓さん             菅野和夫さん




                                    8
自己紹介:hamadakoichi 濱田晃一

         Los Angelesでプロダンサーに褒められた




 ・HIP HOP/House ダンス歴13年
 ・ダンス開始後 1年半でL.A.でプロダンサーに褒められる

  Youtube Channel: http://www.youtube.com/hamadakoichi   9
自己紹介:hamadakoichi 濱田晃一

          毎週末3時間ダンスコーチをしています




           ■過去、東京と京都でも
            ダンス部を創設。
            コーチをしていました
                          駒場物理ダンス部   京都大学基礎物理学研究所ダンス部
                          部長兼コーチ     部長兼コーチ

  現在: 毎週末 3時間ダンスコーチ
  Youtube Channel: http://www.youtube.com/hamadakoichi   10
数理解析手法の実ビジネスへの適用
            2004年 博士号取得後
       数理解析手法を実ビジネス適用の方法論構築
主な領域
◆活動の数理モデル化・解析手法
◆活動の分析手法・再構築手法
◆活動の実行制御・実績解析システム
…
 内容抜粋
 “Decoupling Executions in Navigating Manufacturing          "Unified graph representation of processes
 Processes for Shortening Lead Time and Its Implementation   for scheduling with flexible resource
 to an Unmanned Machine Shop”,                               assignment",




                                                                                                          11
数理解析手法の実ビジネスへの適用:活動例
                         活動例
                  活動の統一グラフモデルを構築・解析
                        Unified graphical model of processes and resources
                                                                                                 青字:割付モデル属性
                                                                                                 [ ] : Optional
Node             ・priority(優先度)                                                       Edge
                 ・duration(予定時間)
                 [・earliest(再早開始日時) ]                                                      Process Edge
Process          [・deadline(納期) ]
                 [・or(条件集約数) ]
                                                                                             前プロセスの終了後に後プロセスが
プロセスを表す                                                                                      開始できること表す
                 ・attributes(属性)
                                                                      preemptable(中断可否),
                                                                      successive(引継ぎ可否)
                                                                                           Uses Edge
                                                                      workload(作業負荷)         Processが使用する
                        uses     uses uses         uses   uses        uses                   Assign Region を表す

Assign Region                                                                              Assigns from Edge
同一Resourceを割付け続ける                                                                            Assign Regionに
                                  assigns from assigns from                                  指定Resourceの子Resource集合の
範囲を表す
               assigns                                           assigns                     中から割付けることを示す
                                 企業01                             [process]
                                 has         has                  [startDate(開始日時)]
                                                                  [endDate(終了日時)]          Assigns Edge
                  製品01                    組織A                                                StartDateからEndDateまでの間
Resource                                                                     has             Assign RegionにResourceを
割付対象要素を表す           has has      has      has   has       has                                割付けることを表す
                                                                    ・capacity(容量)
                                                                    ・calender(カレンダー)
                AAA01    AAB02    …     山田さん 田中さん 鈴木さん              ・attributes(属性)        Has Edge
                                                                           東さん               Resourceの所有関係を表す
                                                                                                                   12
参加者
  自己紹介Time

(1分以内ずつ:計30分程度)


                  13
AGENDA
         ◆自己紹介
         ◆ソーシャルウェブとレコメンデーション
         ◆レコメンデーション
          ●レコメンデーションとは
          ●2つのレコメンド経路
          ●類似度によるレコメンド手法
           ○コンテンツベースフィルタリング
           ○協調フィルタリング
          ●その他のレコメンド手法
          ●開発用ライブラリ (Java)
         ◆最後に
                               14
ソーシャルウェブとレコメンデーション

          ソーシャルウェブサービス




               ソーシャルネット
              Facebook MySpace
             Mixi GREE DeNA …




                                 15
ソーシャルウェブとレコメンデーション

                      ソーシャルウェブサービス




   ブックマーク共有
  Del.icio.us はてな …
                          ソーシャルネット
    写真・動画共有
                         Facebook MySpace
   Youtube Flickr …
                        Mixi GREE DeNA …
     ニュース共有
 はてな Newsing Digg …




                                            16
ソーシャルウェブとレコメンデーション

                      ソーシャルウェブサービス




   ブックマーク共有
  Del.icio.us はてな …
                          ソーシャルネット
    写真・動画共有
                         Facebook MySpace
   Youtube Flickr …
                        Mixi GREE DeNA …
     ニュース共有
 はてな Newsing Digg …



ユーザー発信型情報提供
Wikipedia はてな goo …


                                            17
ソーシャルウェブとレコメンデーション

                      ソーシャルウェブサービス
                              ツイート
                         Twitter GoogleBuzz
                                …


   ブックマーク共有
  Del.icio.us はてな …
                          ソーシャルネット
    写真・動画共有
                         Facebook MySpace
   Youtube Flickr …
                        Mixi GREE DeNA …
     ニュース共有
 はてな Newsing Digg …



ユーザー発信型情報提供
Wikipedia はてな goo …


                                              18
ソーシャルウェブとレコメンデーション

                        ソーシャルウェブサービス
   ブログホスティング                    ツイート
 Blogger はてな Livedoor      Twitter GoogleBuzz
        Ameba …                   …


   ブックマーク共有
  Del.icio.us はてな …
                            ソーシャルネット
    写真・動画共有
                           Facebook MySpace
   Youtube Flickr …
                          Mixi GREE DeNA …
     ニュース共有
 はてな Newsing Digg …



ユーザー発信型情報提供
Wikipedia はてな goo …


                                                19
ソーシャルウェブとレコメンデーション

                        ソーシャルウェブサービス
   ブログホスティング                    ツイート
 Blogger はてな Livedoor      Twitter GoogleBuzz
        Ameba …                   …


   ブックマーク共有
  Del.icio.us はてな …
                            ソーシャルネット
    写真・動画共有
                           Facebook MySpace
   Youtube Flickr …
                          Mixi GREE DeNA …
     ニュース共有
 はてな Newsing Digg …



ユーザー発信型情報提供                    情報検索
                          Google Yahoo Bing
Wikipedia はてな goo …
                            Baidu Naver …
                                                20
ソーシャルウェブとレコメンデーション

                        ソーシャルウェブサービス
   ブログホスティング                    ツイート                  電話
 Blogger はてな Livedoor      Twitter GoogleBuzz   Skype GoogleTalk …
        Ameba …                   …                   メール
                                                Gmail Yahoo!Mail …

   ブックマーク共有
  Del.icio.us はてな …
                            ソーシャルネット
    写真・動画共有
                           Facebook MySpace
   Youtube Flickr …
                          Mixi GREE DeNA …
     ニュース共有
 はてな Newsing Digg …



ユーザー発信型情報提供                    情報検索
                          Google Yahoo Bing
Wikipedia はてな goo …
                            Baidu Naver …
                                                                     21
ソーシャルウェブとレコメンデーション

                        ソーシャルウェブサービス
   ブログホスティング                    ツイート                   電話
 Blogger はてな Livedoor      Twitter GoogleBuzz   Skype GoogleTalk …
        Ameba …                   …                    メール
                                                Gmail Yahoo!Mail …

   ブックマーク共有
  Del.icio.us はてな …
                            ソーシャルネット            ビジネスアプリケーション
    写真・動画共有                                        Google Calendar
                           Facebook MySpace
   Youtube Flickr …                              Google SpreadSheet
                          Mixi GREE DeNA …
     ニュース共有                                     Google Docs Zoho …
 はてな Newsing Digg …
                                                  プロジェクト管理
                                                Basecamp Jotspot …
ユーザー発信型情報提供                    情報検索
                          Google Yahoo Bing          Wiki作成
Wikipedia はてな goo …                             Mediawiki Pukiwiki …
                            Baidu Naver …
                                                                     22
ソーシャルウェブとレコメンデーション

                        ソーシャルウェブサービス
   ブログホスティング                    ツイート                   電話
 Blogger はてな Livedoor      Twitter GoogleBuzz   Skype GoogleTalk …
        Ameba …                   …                    メール
                                                Gmail Yahoo!Mail …

   ブックマーク共有
  Del.icio.us はてな …
                            ソーシャルネット            ビジネスアプリケーション
    写真・動画共有                                        Google Calendar
                           Facebook MySpace
   Youtube Flickr …                              Google SpreadSheet
                          Mixi GREE DeNA …
     ニュース共有                                     Google Docs Zoho …
 はてな Newsing Digg …
                                                  プロジェクト管理
                                                Basecamp Jotspot …
ユーザー発信型情報提供                    情報検索
                          Google Yahoo Bing          Wiki作成
Wikipedia はてな goo …                             Mediawiki Pukiwiki …
                            Baidu Naver …
                                                                     23
ソーシャルウェブとレコメンデーション

     Webと人の関わりが重要になってきている




                            24
ソーシャルウェブとレコメンデーション

              Webと人の関わりが重要になってきている

          ・世界人口の50%以上が20代。
           彼らの96%がソーシャルネットワークに加入している




                                                                               25
※引用元: Social Media Revolution 2   http://www.youtube.com/watch?v=lFZ0z5Fm-Ng
ソーシャルウェブとレコメンデーション

              Webと人の関わりが重要になってきている

          ・世界人口の50%以上が20代。
           彼らの96%がソーシャルネットワークに加入している

          ・Facebookへのアクセス数がGoogleへのアクセス数を超えた




                                                                               26
※引用元: Social Media Revolution 2   http://www.youtube.com/watch?v=lFZ0z5Fm-Ng
ソーシャルウェブとレコメンデーション

              Webと人の関わりが重要になってきている

          ・世界人口の50%以上が20代。
           彼らの96%がソーシャルネットワークに加入している

          ・Facebookへのアクセス数がGoogleへのアクセス数を超えた

          ・もしFacebookが国ならば世界3位の大国になっている




                                                                               27
※引用元: Social Media Revolution 2   http://www.youtube.com/watch?v=lFZ0z5Fm-Ng
ソーシャルウェブとレコメンデーション

              Webと人の関わりが重要になってきている

          ・世界人口の50%以上が20代。
           彼らの96%がソーシャルネットワークに加入している

          ・Facebookへのアクセス数がGoogleへのアクセス数を超えた

          ・もしFacebookが国ならば世界3位の大国になっている

          ・78%の消費者は知人からの推薦を信頼している
           14%の消費者しか広告を信用していない




                                                                               28
※引用元: Social Media Revolution 2   http://www.youtube.com/watch?v=lFZ0z5Fm-Ng
ソーシャルウェブとレコメンデーション

              Webと人の関わりが重要になってきている

          ・世界人口の50%以上が20代。
           彼らの96%がソーシャルネットワークに加入している

          ・Facebookへのアクセス数がGoogleへのアクセス数を超えた

          ・もしFacebookが国ならば世界3位の大国になっている

          ・78%の消費者は知人からの推薦を信頼している
           14%の消費者しか広告を信用していない

          ・我々は商品やサービスを探すことなく
           彼らがソーシャルメディアにより我々を見つけるようになるだろう



                                                                               29
※引用元: Social Media Revolution 2   http://www.youtube.com/watch?v=lFZ0z5Fm-Ng
ソーシャルウェブとレコメンデーション

              Webと人の関わりが重要になってきている

          ・世界人口の50%以上が20代。
           彼らの96%がソーシャルネットワークに加入している

          ・Facebookへのアクセス数がGoogleへのアクセス数を超えた

          ・もしFacebookが国ならば世界3位の大国になっている

          ・78%の消費者は知人からの推薦を信頼している
           14%の消費者しか広告を信用していない

          ・我々は商品やサービスを探すことなく
           彼らがソーシャルメディアにより我々を見つけるようになるだろう



                                                                               30
※引用元: Social Media Revolution 2   http://www.youtube.com/watch?v=lFZ0z5Fm-Ng
ソーシャルウェブとレコメンデーション
         各人の活動や興味にあった
          適切な情報提示が重要


            活動       興味




                          31
ソーシャルウェブとレコメンデーション
         各人の活動や興味にあった
          適切な情報提示が重要


            活動        興味




    各人の活動や興味に合った適切な情報提示
            Recommendation
             (レコメンデーション)



                             32
AGENDA
         ◆自己紹介
         ◆ソーシャルウェブとレコメンデーション
         ◆レコメンデーション
          ●レコメンデーションとは
          ●2つのレコメンド経路
          ●類似度によるレコメンド手法
           ○コンテンツベースフィルタリング
           ○協調フィルタリング
          ●その他のレコメンド手法
          ●開発用ライブラリ (Java)
         ◆最後に
                               33
AGENDA
         ◆自己紹介
         ◆ソーシャルウェブとレコメンデーション
         ◆レコメンデーション
          ●レコメンデーションとは
          ●2つのレコメンド経路
          ●類似度によるレコメンド手法
           ○コンテンツベースフィルタリング
           ○協調フィルタリング
          ●その他のレコメンド手法
          ●開発用ライブラリ (Java)
         ◆最後に
                               34
レコメンデーション
            各人の活動や関心にもとづき
            適した情報を提示・推薦する

例:Amazon.co.jp
                     検索・閲覧




                             35
レコメンデーション
            各人の活動や関心にもとづき
            適した情報を提示・推薦する

例:Amazon.co.jp
                     検索・閲覧




                     提示・推薦




                             36
レコメンデーション例
      「このアイテムを○○したユーザーは
    これらのアイテムについても○○しています」




                            37
レコメンデーション例
      「このアイテムを○○したユーザーは
    これらのアイテムについても○○しています」
             ○○ = ユーザーアクション




                              38
レコメンデーション例
      「このアイテムを○○したユーザーは
    これらのアイテムについても○○しています」
             ○○ = ユーザーアクション
         視聴     購入   閲覧    保存

             メール送信   ブックマーク

        お気に入りへの追加     共有   作成




                                39
レコメンデーション例
      「このアイテムを○○したユーザーは
    これらのアイテムについても○○しています」
             ○○ = ユーザーアクション
         視聴     購入   閲覧    保存

             メール送信   ブックマーク

        お気に入りへの追加     共有   作成

例
◆この動画を「視聴」したユーザーはこちらの動画も「視聴」しています
◆この記事に関連した新しいアイテムはこちらです
◆あなたに似たユーザーはこちらです
◆こちらの商品にも関心がありませんか?
                                40
レコメンデーションエンジンの入出力
        レコメンデーションエンジンの
             入出力




             レコメンデーション   レコメンドされた
               システム      アイテム・ユーザー




                                    41
レコメンデーションエンジンの入出力
                 レコメンデーションエンジンの
                      入出力

  アイテムの情報

アイテムのコンテンツ


      ユーザー          レコメンデーション     レコメンドされた
  プロファイル              システム        アイテム・ユーザー
年齢    性別
居住地   資産     …




                                             42
レコメンデーションエンジンの入出力
                 レコメンデーションエンジンの
                      入出力

  アイテムの情報

アイテムのコンテンツ


      ユーザー          レコメンデーション     レコメンドされた
  プロファイル              システム        アイテム・ユーザー
年齢    性別
居住地   資産     …

      ユーザー
 インタラクション
閲覧履歴 タグ付け
購入 保存 評価
メール送信履歴 …                                    43
レコメンデーションエンジンの入出力
                 レコメンデーションエンジンの
                      入出力
                     アイテム提示の
  アイテムの情報
                     コンテキスト
アイテムのコンテンツ               検討中アイテムの
                         カテゴリ …

      ユーザー          レコメンデーション       レコメンドされた
  プロファイル              システム          アイテム・ユーザー
年齢    性別
居住地   資産     …

      ユーザー
 インタラクション
閲覧履歴 タグ付け
購入 保存 評価
メール送信履歴 …                                      44
レコメンデーションエンジンの入出力
                 レコメンデーションエンジンの
                      入出力
                     アイテム提示の
  アイテムの情報
                     コンテキスト
アイテムのコンテンツ               検討中アイテムの
                         カテゴリ …

      ユーザー          レコメンデーション       レコメンドされた
  プロファイル              システム          アイテム・ユーザー
年齢    性別
居住地   資産     …

      ユーザー
 インタラクション
閲覧履歴 タグ付け
購入 保存 評価
メール送信履歴 …                                      45
レコメンデーションの戦略
           レコメンデーションを
        売り込みと様子伺いの間で行う

◆売り込み
   ユーザーの趣向にぴったり合った
   アイテムを推薦


◆様子伺い
   ユーザーの新たな趣向を見つけるため
   ユーザーの趣向に合わないアイテムを提示
   →例:いくつかのアイテムをランダムに選ぶなど

                            46
AGENDA
         ◆自己紹介
         ◆ソーシャルウェブとレコメンデーション
         ◆レコメンデーション
          ●レコメンデーションとは
          ●2つのレコメンド経路
          ●類似度によるレコメンド手法
           ○コンテンツベースフィルタリング
           ○協調フィルタリング
          ●その他のレコメンド手法
          ●開発用ライブラリ (Java)
         ◆最後に
                               47
レコメンデーションの手法

                 アイテムベース
          アイテムの類似アイテムを分析・推薦

分析手法 分析・推薦対象     類似度算出の対象
                 コンテンツベース   コラボレーションベース
                            (協調フィルタリング)
アイテム   アイテムの類似
ベース    アイテム




                                          48
アイテムベース分析

                  アイテムベース
         アイテムの類似アイテムを分析・推薦



  アイテム          アイテム   アイテム   アイテム
   A             B      C      D




         ユーザー
            1




                                     49
アイテムベース分析

                  アイテムベース
         アイテムの類似アイテムを分析・推薦



  アイテム          アイテム   アイテム   アイテム
   A             B      C      D


   好む

         ユーザー
            1




                                     50
アイテムベース分析

                  アイテムベース
         アイテムの類似アイテムを分析・推薦

                類似

  アイテム          アイテム   アイテム   アイテム
   A             B      C      D


   好む

         ユーザー
            1




                                     51
アイテムベース分析

                  アイテムベース
         アイテムの類似アイテムを分析・推薦

                類似

  アイテム          アイテム    アイテム   アイテム
   A             B        C     D


   好む                  レコメンド

         ユーザー
            1




                                      52
レコメンデーションの手法

                 ユーザーベース
        類似ユーザーを分析、好むアイテムを推薦

分析手法 分析・推薦対象     類似度算出の対象
                 コンテンツベース   コラボレーションベース
                            (協調フィルタリング)
アイテム   アイテムの類似
ベース    アイテム


ユーザー   ユーザーの類似
ベース    ユーザーが好む
       アイテム




                                          53
ユーザーベース分析

                 ユーザーベース
         類似ユーザーを分析、好むアイテムを推薦



  アイテム          アイテム          アイテム        アイテム
   A             B             C           D




          ユーザー         ユーザー        ユーザー
            1           2            3




                                                 54
ユーザーベース分析

                 ユーザーベース
         類似ユーザーを分析、好むアイテムを推薦



  アイテム          アイテム          アイテム        アイテム
   A             B             C           D




          ユーザー         ユーザー        ユーザー
            1           2            3



                       類似
                                                 55
ユーザーベース分析

                 ユーザーベース
         類似ユーザーを分析、好むアイテムを推薦



  アイテム          アイテム          アイテム        アイテム
   A             B             C           D



                                          好む

          ユーザー         ユーザー        ユーザー
            1           2            3



                       類似
                                                 56
ユーザーベース分析

                 ユーザーベース
         類似ユーザーを分析、好むアイテムを推薦



  アイテム          アイテム          アイテム        アイテム
   A             B             C           D

                     レコメンド
                                          好む

          ユーザー         ユーザー        ユーザー
            1           2            3



                       類似
                                                 57
AGENDA
         ◆自己紹介
         ◆ソーシャルウェブとレコメンデーション
         ◆レコメンデーション
          ●レコメンデーションとは
          ●2つのレコメンド経路
          ●類似度によるレコメンド手法
           ○コンテンツベースフィルタリング
           ○協調フィルタリング
          ●その他のレコメンド手法
          ●開発用ライブラリ
         ◆最後に
                               58
類似度算出法の種類

             類似度算出法の種類
         コンテンツベース と 協調フィルタリング

分析手法 分析・推薦対象     類似度算出の対象
                 コンテンツベース      協調フィルタリング

アイテム   アイテムの類似   アイテムの         ユーザー行動
ベース    アイテム      タームベクトル       (購入、閲覧、保存、評価、
                               ブックマークなど)

ユーザー   ユーザーの類似 ユーザープロファイルの
ベース    ユーザーが好む タームベクトル
       アイテム    (年齢、ユーザー、居住地、
                 資産)




                                           59
類似度算出法の種類

              類似度算出法の種類
         コンテンツベース と コラボレーションベース

類似度算出法      分析対象           算出概要
コンテンツ       コンテンツ内容        ベクトル空間モデル
ベース         アイテム           コンテンツを「ターム(用語)ベクトル」で表
            ユーザープロファイル     現。タームベクトル距離を算出・レコメン
                           ド

協調フィルタリング   ユーザー行動         メモリベース
            購入、閲覧、保存、評価、   類似ユーザー群を見つけ好みを合成し、
            ブックマークなど       アイテムの予測評価を算出・レコメンド。
            (ユーザー・アイテム
            データセット)
                           モデルベース
                           過去の行動からユーザーモデル化し、ア
                           イテムの予測評価を算出・レコメンド。
                                               60
類似度算出法の種類

                コンテンツベース
    コンテンツのターム(用語)ベクトルの類似度を算出する

類似度算出法      分析対象           算出概要
コンテンツ       コンテンツ内容        ベクトル空間モデル
ベース         アイテム           コンテンツを「ターム(用語)ベクトル」で表
            ユーザープロファイル     現。タームベクトル距離を算出・レコメン
                           ド

協調フィルタリング   ユーザー行動         メモリベース
            購入、閲覧、保存、評価、   類似ユーザー群を見つけ好みを合成し、
            ブックマークなど       アイテムの予測評価を算出・レコメンド。
            (ユーザー・アイテム
            データセット)
                           モデルベース
                           過去の行動からユーザーモデル化し、ア
                           イテムの予測評価を算出・レコメンド。
                                               61
AGENDA
         ◆自己紹介
         ◆ソーシャルウェブとレコメンデーション
         ◆レコメンデーション
          ●レコメンデーションとは
          ●2つのレコメンド経路
          ●類似度によるレコメンド手法
           ○コンテンツベースフィルタリング
           ○協調フィルタリング
          ●その他のレコメンド手法
          ●開発用ライブラリ (Java)
         ◆最後に
                               62
類似度算出法の種類

                 コンテンツベース
  アイテムの情報 や ユーザープロファイル のコンテンツを分析

                  アイテム提示の
 アイテムの情報
                   コンテキスト
アイテムのコンテンツ             検討中アイテムの
                       カテゴリ …

      ユーザー        レコメンデーション       レコメンドされた
  プロファイル            システム          アイテム・ユーザー
年齢    性別
居住地   資産     …

      ユーザー
 インタラクション
閲覧履歴 タグ付け
購入 保存 評価
メール送信履歴 …                                    63
ベクトル空間モデル
            コンテンツをTerm(用語)の
             N次元のベクトルで表現

               Term3




    Term1               Term2

                                64
ベクトル空間モデル
  文書集合中に現れる 用語 wi を第 i 次元に設定
  第 i 次元の値は、文書中に用語 wi が現れた頻度

 文書例
   [文書1] 私/は/茨城/県/に/ある/茨城/大学/の/学生/です/。
      [文書2] 私/は/茨城/県/の/日立/市/に/住ん/で/い/ます/。
      [文書3] 日立/市/には/日立/の/工場/が/たくさん/あり/ます/。

 単語
      (1) 私, (2)茨城, (3)県, (4)大学, (5)学生, (6)日立, (7)市, (8)工場


 ベクトル表現
      [文書1] (1,2,1,1,1,0,0,0)
      [文書2] (1,1,1,0,0,1,1,0)
      [文書3] (0,0,0,0,0,2,1,1)                                65
ベクトル空間モデル

      単語の重みを考慮してベクトルを作成する


 重み
      一般的な用語    文書の分野を推定できる単語
       ⇒ 軽くする    ⇒重くする




            TF*IDF法

                            66
重み付け:TF*IDF法
 文章中の特徴的な単語を抽出するためのアルゴリズム
      TFとIDFの2つの指標で計算
  TFIDF =TF*IDF
   ◆TF    (Term Frequency)   単語の出現頻度

   ◆IDF   (Inverse Document Frequency)   文書の逆出現頻度
           一般語フィルタとして働く。
           多くの文書に出現する語は重要度が下がる




                         文書総数
                                 単語 iを含む文書数


                                                    67
コンテンツの類似度:タームベクトル距離近さ
             距離の近さから
           類似コンテンツを抽出する

   ■単純な計算
    ユークリッド距離から求める
  ■ 類似度を測る手法
   ・余弦尺度(cos)
     ベクトル空間での方向の類似度を表す
     長さが1に正規化されている場合、ユークリッド距離と等価

                          θ

   ・Jaccard係数   カテゴリカルなデータに対しても適用できる


                                       68
AGENDA
         ◆自己紹介
         ◆ソーシャルウェブとレコメンデーション
         ◆レコメンデーション
          ●レコメンデーションとは
          ●2つのレコメンド経路
          ●類似度によるレコメンド手法
           ○コンテンツベースフィルタリング
           ○協調フィルタリング
          ●その他のレコメンド手法
          ●開発用ライブラリ (Java)
         ◆最後に
                               69
類似度算出法の種類

              類似度算出法の種類
         コンテンツベース と コラボレーションベース

類似度算出法      分析対象           算出概要
コンテンツ       コンテンツ内容        ベクトル空間モデル
ベース         アイテム           コンテンツを「ターム(用語)ベクトル」で表
            ユーザープロファイル     現。タームベクトル距離を算出・レコメン
                           ド

協調フィルタリング   ユーザー行動         メモリベース
            購入、閲覧、保存、評価、   類似ユーザー群を見つけ好みを合成し、
            ブックマークなど       アイテムの予測評価を算出・レコメンド。
            (ユーザー・アイテム
            データセット)
                           モデルベース
                           過去の行動からユーザーモデル化し、ア
                           イテムの予測評価を算出・レコメンド。
                                               70
協調フィルタリング

               協調フィルタリング
         ユーザー行動 (ユーザー・アイテム データ)を分析

類似度算出法      分析対象           算出概要
コンテンツ       コンテンツ内容        ベクトル空間モデル
ベース         アイテム           コンテンツを「ターム(用語)ベクトル」で表
            ユーザープロファイル     現。タームベクトル距離を算出・レコメン
                           ド

協調フィルタリング   ユーザー行動         メモリベース
            購入、閲覧、保存、評価、   類似ユーザー群を見つけ好みを合成し、
            ブックマークなど       アイテムの予測評価を算出・レコメンド。
            (ユーザー・アイテム
            データセット)
                           モデルベース
                           過去の行動からユーザーモデル化し、ア
                           イテムの予測評価を算出・レコメンド。
                                               71
協調フィルタリング

                 協調フィルタリング
           ユーザー行動 (ユーザー・アイテム データ)を分析

                    アイテム提示の
  アイテムの情報
                    コンテキスト
アイテムのコンテンツ              検討中アイテムの
                        カテゴリ …

      ユーザー         レコメンデーション       レコメンドされた
  プロファイル             システム          アイテム・ユーザー
年齢    性別
居住地   資産     …

      ユーザー
 インタラクション
閲覧履歴 タグ付け
購入 保存 評価
メール送信履歴 …                                     72
協調フィルタリング: アルゴリズム

              アルゴリズム



 1. 類似アイテム(またはユーザー)を見つける



 2. 類似アイテム(またはユーザー)を利用し、予測する




                               73
協調フィルタリング: アルゴリズム

              アルゴリズム



 1. 類似アイテム(またはユーザー)を見つける



 2. 類似アイテム(またはユーザー)を利用し、予測する




                               74
協調フィルタリング: データ表現
             アイテムを
       N次元のユーザー行動ベクトルで表現

             User3




     User1           User2

                             75
協調フィルタリング: データ表現

            ユーザー-アイテム行列を扱う

                例:アイテムのユーザー評価

            User1   User2   User3   …
    Item1   3       2       1       …
    Item2   4       2       3       …
    Item3   2       4       5       …
    ….      …       …       …       …




                                        76
協調フィルタリング: 類似度計算
            ユーザー-アイテム行列から
            3つの類似度計算の手法

   ◆コサインベース
    (Cosine-based similarity computation)


   ◆相関ベース
    (Correlation-based similarity computation)

   ◆調整コサインベース
    (Adjusted cosine-based similarity computation)


                                                     77
協調フィルタリング: 類似度計算
            ユーザー-アイテム行列から
            3つの類似度計算の手法

   ◆コサインベース
    (Cosine-based similarity computation)


   ◆相関ベース
    (Correlation-based similarity computation)

   ◆調整コサインベース
    (Adjusted cosine-based similarity computation)


                                                     78
類似度の算出:コサインベース

            コサインベースの類似度計算
        (Cosine-based similarity computation)
Item間類似度
 ①Item Vectorの正規化
                  User1     User2    User3
         Item1    0.818     0.5345   0.2673     正規化
         Item2    0.7428    0.3714   0.557
         Item3    0.2981    0.5963   0.7454




                                                      79
類似度の算出:コサインベース

            コサインベースの類似度計算
        (Cosine-based similarity computation)
Item間類似度
 ①Item Vectorの正規化
                  User1     User2    User3
         Item1    0.818     0.5345   0.2673     正規化
         Item2    0.7428    0.3714   0.557
         Item3    0.2981    0.5963   0.7454

   Item間類似度                     ②Item Vectorの内積
                  Item1     Item2    Item3
         Item1    1         0.943    0.757
         Item2    0.7428    1        0.858
         Item3    0.2981    0.5963   1
                                                      80
類似度の算出:コサインベース

            コサインベースの類似度計算
        (Cosine-based similarity computation)
User間類似度
 ①User Vectorの正規化         正規化
                  User1     User2    User3
         Item1    0.5571    0.4082   0.1690
         Item2    0.7428    0.4082   0.5071
         Item3    0.3714    0.5071   0.8452




                                                81
類似度の算出:コサインベース

            コサインベースの類似度計算
        (Cosine-based similarity computation)
User間類似度
 ①User Vectorの正規化         正規化
                  User1     User2      User3
         Item1    0.5571    0.4082     0.1690
         Item2    0.7428    0.4082     0.5071
         Item3    0.3714    0.5071     0.8452

   User間類似度                        ②User Vectorの内積
                  User1     User2      User3
         User1    1         0.83       0.78
         User2    0.83      1          0.97
         User3    0.78      0.97
                                                     82
協調フィルタリング: 類似度計算
            ユーザー-アイテム行列から
            3つの類似度計算の手法

   ◆コサインベース
    (Cosine-based similarity computation)


   ◆相関ベース
    (Correlation-based similarity computation)

   ◆調整コサインベース
    (Adjusted cosine-based similarity computation)


                                                     83
類似度の算出:相関ベース

                相関ベースの類似度計算
      (Correlation-based similarity computation)
Itemの相関行列 Item間の相関を見る
 (分散共分散行列)




      R: ItemのUser評価行列
       成分         : Item i に対する User uの評価
                 User1   User2    User3   …
        Item1    R11     R12      R13     …
        Item2    R21     R22      R23     …
        …        …       …        …       …

             : Item i のUser評価平均
             : User数
                                                   84
類似度の算出:相関ベース

               相関ベースの類似度計算
     (Correlation-based similarity computation)


 ①Itemの評価平均からの差分 行列
                 User1     User2     User3
                                                  評価平均
       Item1     1         0         -1
                                                  からのずれ値
       Item2     1         -1        0
       Item3     -5/3      1/3       4/3




                                                      85
類似度の算出:相関ベース

               相関ベースの類似度計算
     (Correlation-based similarity computation)


 ①Itemの評価平均からの差分 行列
                 User1     User2      User3
                                                  評価平均
       Item1     1         0          -1
                                                  からのずれ値
       Item2     1         -1         0
       Item3     -5/3      1/3        4/3

  Item間 相関行列                     ②Item Vectorの規格化・内積
                 Item1     Item2      Item3
       Item1     1         0.5        -0.982
       Item2     0.5       1          -0.655
       Item3     -0.982    -0.655     1
                                                      86
類似度の算出:相関ベース

               相関ベースの類似度計算
     (Correlation-based similarity computation)
                                     評価平均
 ①Userの評価平均からの差分 行列                  からのずれ値

                 User1     User2     User3
       Item1     0         -0.4083   -0.7071
       Item2     0.7071    -0.4083   0
       Item3     -0.7071   0.8166    0.7071




                                                  87
類似度の算出:相関ベース

               相関ベースの類似度計算
     (Correlation-based similarity computation)
                                     評価平均
 ①Userの評価平均からの差分 行列                  からのずれ値

                 User1     User2     User3
       Item1     0         -0.4083   -0.7071
       Item2     0.7071    -0.4083   0
       Item3     -0.7071   0.8166    0.7071

  User間 相関行列                   ②User Vectorの規格化・内積
                 User1     User2     User3
       User1     1         -0.866    -0.5
       User2     -0.866    1         0.87
       User3     -0.5      0.87      1
                                                  88
協調フィルタリング: 類似度計算
            ユーザー-アイテム行列から
            3つの類似度計算の手法

   ◆コサインベース
    (Cosine-based similarity computation)


   ◆相関ベース
    (Correlation-based similarity computation)

   ◆調整コサインベース
    (Adjusted cosine-based similarity computation)


                                                     89
類似度の算出:調整コサインベース

         調整コサインベースの類似度計算
    (Adjusted cosine-based similarity computation)
            Userごとの評価の振れ幅の補正

                               (Item i のUser評価平均)ではなく
                               : User uの評価平均 を使用
  調整コサイン行列




      R: ItemのUser評価行列
      成分         : Item i に対する User uの評価
          : User数

                                                     90
類似度の算出:調整コサインベース

         調整コサインベースの類似度計算
    (Adjusted cosine-based similarity computation)
                                     User評価平均
 ①Userの評価平均からの差分 行列                  からのずれ値

                  User1     User2     User3
         Item1    0         -2/3      -2
         Item2    1         -2/3      0
         Item3    -1        4/3       2




                                                     91
類似度の算出:調整コサインベース

         調整コサインベースの類似度計算
    (Adjusted cosine-based similarity computation)
                                     User評価平均
 ①Userの評価平均からの差分 行列                  からのずれ値

                  User1     User2     User3
         Item1    0         -2/3      -2
         Item2    1         -2/3      0
         Item3    -1        4/3       2

   Item間 相関行列                   ②Item Vectorの規格化・内積
                  Item1     Item2     Item3
         Item1    1         0.1754    -0.891
         Item2    0.1754    1         0.604
         Item3    -0.981    0.604     1
                                                     92
類似度の算出:調整コサインベース

         調整コサインベースの類似度計算
    (Adjusted cosine-based similarity computation)


 ①Itemの評価平均からの差分 行列
                  User1     User2     User3
                                                 Item評価平均
         Item1    1         1         -1         からのずれ値
         Item2    1         -1        0
         Item3    -5/2      0         4/3




                                                      93
類似度の算出:調整コサインベース

         調整コサインベースの類似度計算
    (Adjusted cosine-based similarity computation)


 ①Itemの評価平均からの差分 行列
                  User1     User2     User3
                                                 Item評価平均
         Item1    1         1         -1         からのずれ値
         Item2    1         -1        0
         Item3    -5/2      0         4/3

   User間 相関行列                    ②User Vectorの規格化・内積
                  User1     User2     User3
         User1    1         -0.675    -0.884
         User2    -0.675    1         -0.253
         User3    -0.884    -0.253    1
                                                      94
協調フィルタリング: アルゴリズム

              アルゴリズム



 1. 類似アイテム(またはユーザー)を見つける



 2. 類似アイテム(またはユーザー)を利用し、予測する




                               95
協調フィルタリング: 評価予測

     類似アイテム・ユーザーを利用し予測する




                           96
協調フィルタリング: 評価予測

       類似アイテム・ユーザーを利用し予測する
K近傍法   K個の近いアイテム・ユーザーの評価を
       偏差を重み付けして和を取る




                             97
協調フィルタリング: 評価予測

              類似アイテム・ユーザーを利用し予測する
K近傍法          K個の近いアイテム・ユーザーの評価を
              偏差を重み付けして和を取る
ItemのUser評価行列 Riu
          User1   User2   User3   平均
  Item1   3       2       1       2
  Item2   4       2       3       3
  Item3   2       4       5       11/3
  平均      3       8/3     3       26/3




                                         98
協調フィルタリング: 評価予測

              類似アイテム・ユーザーを利用し予測する
K近傍法                 K個の近いアイテム・ユーザーの評価を
                     偏差を重み付けして和を取る
ItemのUser評価行列 Riu
          User1        User2        User3       平均
  Item1   3            2            1           2
  Item2   4            2            3           3
  Item3   2            4            5           11/3
  平均      3            8/3          3           26/3
        相関ベース類似度計算
User間 相関行列 Cuv
              User1          User2          User3
  User1       1              -0.866         -0.5
  User2       -0.866         1              0.87
  User3       -0.5           0.87           1          99
協調フィルタリング: 評価予測

              類似アイテム・ユーザーを利用し予測する
K近傍法                 K個の近いアイテム・ユーザーの評価を
                     偏差を重み付けして和を取る
ItemのUser評価行列 Riu
                                                       User1のItem1への評価期待値
          User1        User2        User3       平均
                                                       =User1の平均評価
  Item1   3            2            1           2
  Item2   4            2            3           3
                                                       +User2の重みづき偏差
  Item3   2            4            5           11/3   +User3の重みづき偏差
  平均      3            8/3          3           26/3
                                                       =R1
        相関ベース類似度計算
                                                        +C12/(C12+C13)*(R12 –R2)
User間 相関行列 Cuv
                                                        +C13/(C12+C13)*(R13 –R3)
              User1          User2          User3
  User1       1              -0.866         -0.5       =4.2
  User2       -0.866         1              0.87
  User3       -0.5           0.87           1                                      100
Amazon
協調フィルタリング




            101
Amazon協調フィルタリング

     世界で最も知られている協調フィルタリング


 Amazon.co.jp     検索・閲覧




                  レコメンデーション




                              102
Amazon協調フィルタリング

     世界で最も知られている協調フィルタリング

 ◆アイテム-アイテム協調フィルタリング
    アイテムベース
      同じアイテムを見たユーザーには、同じアイテムを推薦

    ユーザー数に依存せずスケールする
     処理
     ①アイテム-推薦アイテムのテーブルをオフラインで作る
     ②ユーザーアクセス時にはテーブルを参照するだけ



                                  103
Amazon-アイテム-アイテム協調フィルタリング
             アイテム-アイテム協調フィルタリング
                   アルゴリズム




            User1   User2   User3   User4
    Item1   1               1
    Item2           1       1
    Item3   1               1       1
    Item4           1               1

                                            104
Amazon-アイテム-アイテム協調フィルタリング
             アイテム-アイテム協調フィルタリング
                   アルゴリズム
  1. 空のアイテム-アイテム の行列を作る




            User1   User2   User3   User4           Item1   Item2   Item3   Item4
    Item1   1               1               Item1
    Item2           1       1               Item2
    Item3   1               1       1       Item3
    Item4           1               1       Item4

                                                                                    105
Amazon-アイテム-アイテム協調フィルタリング
             アイテム-アイテム協調フィルタリング
                   アルゴリズム
  1. 空のアイテム-アイテム の行列を作る

  2. 全アイテムに関し次の処理を行う
    2-1. あるアイテム(親アイテム)を購入した顧客全てに対し
         購入アイテム(子アイテム)をカウントする。
    2-2. 親アイテム列・子アイテム行にカウント数を入れる
    2-3. 親アイテム列のカウント数上位を推薦アイテムとする

            User1   User2   User3   User4           Item1   Item2   Item3   Item4
    Item1   1               1               Item1           1       2
    Item2           1       1               Item2
    Item3   1               1       1       Item3
    Item4           1               1       Item4

                                                                                    106
Amazon-アイテム-アイテム協調フィルタリング
             アイテム-アイテム協調フィルタリング
                   アルゴリズム
  1. 空のアイテム-アイテム の行列を作る

  2. 全アイテムに関し次の処理を行う
    2-1. あるアイテム(親アイテム)を購入した顧客全てに対し
         購入アイテム(子アイテム)をカウントする。
    2-2. 親アイテム列・子アイテム行にカウント数を入れる
    2-3. 親アイテム列のカウント数上位を推薦アイテムとする

            User1   User2   User3   User4           Item1   Item2   Item3   Item4
    Item1   1               1               Item1           1       2
    Item2           1       1               Item2   1               1       1
    Item3   1               1       1       Item3   2       1               1
    Item4           1               1       Item4           1

                                                                                    107
レコメンデーションの手法

            レコメンデーションの手法

分析手法 分析・推薦対象     類似度算出の対象
                 コンテンツベース      コラボレーションベース
                               (協調フィルタリング)
アイテム   アイテムの類似   アイテムの         ユーザー行動
ベース    アイテム      タームベクトル       (購入、閲覧、保存、評価、
                               ブックマークなど)

ユーザー   ユーザーの類似 ユーザープロファイルの
ベース    ユーザーが好む タームベクトル
       アイテム    (年齢、ユーザー、居住地、
                 資産)



                                             108
類似度の計算手法

                       利点と難点
類似度算出法     利点                         難点
コンテンツ      ◆少ないデータでも動作:               ◆コンテンツの質が評価不可:
ベース        行動履歴が少ない新規ユーザー・            タームベクトルのみ用いる。記事が
           アイテムに対しても適用できる。            良し悪しはアルゴリズムには分から
                                      ない。



協調フィルタリン   ◆コンテンツの質が評価可能:             ◆少ないデータの予測能力が
グ          例:PageRank(Google):リンク構造   低い:
           ◆展開が容易:           行動履歴が少ない新規ユーザー・
                             アイテムに対し精度が低い。
           ・言語に依存しない
                             (※通常、十分な数の評価がある
           ・画像、音楽、動画へも同様に適用
                             まで、新規ユーザー・アイテムを推
           アイテムをブラックボックスとして扱 薦しない)
           えるため。
           (コンテンツ情報を必要としない)
                                                    109
類似度の計算手法

                       利点と難点
類似度算出法     利点                         難点
コンテンツ      ◆少ないデータでも動作:               ◆コンテンツの質が評価不可:
ベース        行動履歴が少ない新規ユーザー・            タームベクトルのみ用いる。記事が
           アイテムに対しても適用できる。            良し悪しはアルゴリズムには分から
                                      ない。



協調フィルタリン   ◆コンテンツの質が評価可能:             ◆少ないデータの予測能力が
グ          例:PageRank(Google):リンク構造   低い:
           ◆展開が容易:           行動履歴が少ない新規ユーザー・
                             アイテムに対し精度が低い。
           ・言語に依存しない
                             (※通常、十分な数の評価がある
           ・画像、音楽、動画へも同様に適用
                             まで、新規ユーザー・アイテムを推
           アイテムをブラックボックスとして扱 薦しない)
           えるため。
           (コンテンツ情報を必要としない)
                                                    110
類似度の計算手法

                       利点と難点
類似度算出法     利点                         難点
コンテンツ      ◆少ないデータでも動作:               ◆コンテンツの質が評価不可:
ベース        行動履歴が少ない新規ユーザー・            タームベクトルのみ用いる。記事が
           アイテムに対しても適用できる。            良し悪しはアルゴリズムには分から
                                      ない。



協調フィルタリン   ◆コンテンツの質が評価可能:             ◆少ないデータの予測能力が
グ          例:PageRank(Google):リンク構造   低い:
           ◆展開が容易:           行動履歴が少ない新規ユーザー・
                             アイテムに対し精度が低い。
           ・言語に依存しない
                             (※通常、十分な数の評価がある
           ・画像、音楽、動画へも同様に適用
                             まで、新規ユーザー・アイテムを推
           アイテムをブラックボックスとして扱 薦しない)
           えるため。
           (コンテンツ情報を必要としない)
                                                    111
類似度の計算手法

                       利点と難点
類似度算出法     利点                         難点
コンテンツ      ◆少ないデータでも動作:               ◆コンテンツの質が評価不可:
ベース        行動履歴が少ない新規ユーザー・            タームベクトルのみ用いる。記事が
           アイテムに対しても適用できる。            良し悪しはアルゴリズムには分から
                                      ない。



協調フィルタリン   ◆コンテンツの質が評価可能:             ◆少ないデータの予測能力が
グ          例:PageRank(Google):リンク構造   低い:
           ◆展開が容易:           行動履歴が少ない新規ユーザー・
                             アイテムに対し精度が低い。
           ・言語に依存しない
                             (※通常、十分な数の評価がある
           ・画像、音楽、動画へも同様に適用
                             まで、新規ユーザー・アイテムを推
           アイテムをブラックボックスとして扱 薦しない)
           えるため。
           (コンテンツ情報を必要としない)
                                                    112
類似度の計算手法

                       利点と難点
類似度算出法     利点                         難点
コンテンツ      ◆少ないデータでも動作:               ◆コンテンツの質が評価不可:
ベース        行動履歴が少ない新規ユーザー・            タームベクトルのみ用いる。記事が
           アイテムに対しても適用できる。            良し悪しはアルゴリズムには分から
                                      ない。



協調フィルタリン   ◆コンテンツの質が評価可能:             ◆少ないデータの予測能力が
グ          例:PageRank(Google):リンク構造   低い:
           ◆展開が容易:           行動履歴が少ない新規ユーザー・
                             アイテムに対し精度が低い。
           ・言語に依存しない
                             (※通常、十分な数の評価がある
           ・画像、音楽、動画へも同様に適用
                             まで、新規ユーザー・アイテムを推
           アイテムをブラックボックスとして扱 薦しない)
           えるため。
           (コンテンツ情報を必要としない)
                                                    113
類似度の計算手法

                       利点と難点
類似度算出法     利点                         難点
コンテンツ      ◆少ないデータでも動作:               ◆コンテンツの質が評価不可:
ベース        行動履歴が少ない新規ユーザー・            タームベクトルのみ用いる。記事が
           アイテムに対しても適用できる。            良し悪しはアルゴリズムには分から
                                      ない。



協調フィルタリン   ◆コンテンツの質が評価可能:             ◆少ないデータの予測能力が
グ          例:PageRank(Google):リンク構造   低い:
           ◆展開が容易:           行動履歴が少ない新規ユーザー・
                             アイテムに対し精度が低い。
           ・言語に依存しない
                             (※通常、十分な数の評価がある
           ・画像、音楽、動画へも同様に適用
                             まで、新規ユーザー・アイテムを推
           アイテムをブラックボックスとして扱 薦しない)
           えるため。
           (コンテンツ情報を必要としない)
                                                    114
レコメンデーションエンジンの入出力
                 レコメンデーションエンジンの
                      入出力
                     アイテム提示の
  アイテムの情報
                     コンテキスト
アイテムのコンテンツ               検討中アイテムの
                         カテゴリ …

      ユーザー          レコメンデーション       レコメンドされた
  プロファイル              システム          アイテム・ユーザー
年齢    性別
居住地   資産     …

      ユーザー
 インタラクション
閲覧履歴 タグ付け
購入 保存 評価
メール送信履歴 …                                      115
類似度の計算手法

           2手法を合成しての適用


◆コンテンツベースとコラボレーションベースの結果を合成
◆十分な数の評価が行われるまでは、コンテンツベース
◆時期、月、週などの情報をレコメンデーションに反映

…




                            116
分析手法の特性

                分析手法の特性
          アイテムリストの変化
推薦対象      低頻度          高頻度
アイテム      アイテムベース分析    ユーザーベース分析
                       (例:ニュースサイト。ニュース
                       記事が頻繁に更新)


ユーザー      ユーザーベース分析


空間次元数(アイテム・ユーザー)
  小さい次元数の対象の方法を扱うほうが容易
計算速度
  アイテムベースのアルゴリズムのほうが速い(経験則)
                                         117
AGENDA
         ◆自己紹介
         ◆ソーシャルウェブとレコメンデーション
         ◆レコメンデーション
          ●レコメンデーションとは
          ●2つのレコメンド経路
          ●類似度によるレコメンド手法
           ○コンテンツベースフィルタリング
           ○協調フィルタリング
          ●その他のレコメンド手法
          ●開発用ライブラリ (Java)
         ◆最後に
                               118
類似度以外からのレコメンデーション
             類似度算出以外の
             レコメンデーション

ルールベース
 レコメンドのルールを決め、ルールに従いレコメンド。
  例:紙おむつ買う → ビールを勧める
  ※ルール作成にアソシエーション分析も用いられる。
   ⇒5/22のTokyo.Rで話します。「R言語によるアソシエーション分析」




                                           119
類似度以外からのレコメンデーション
             類似度算出以外の
             レコメンデーション

ルールベース
 レコメンドのルールを決め、ルールに従いレコメンド。
  例:紙おむつ買う → ビールを勧める
  ※ルール作成にアソシエーション分析も用いられる。
   ⇒5/22のTokyo.Rで話します。「R言語によるアソシエーション分析」
ベイジアンネットワーク
  過去事象から、事象発生の確率ネットワークを作成。
  各事象に対し、遷移確率が高い先をレコメンド。




                                           120
類似度以外からのレコメンデーション
             類似度算出以外の
             レコメンデーション

ルールベース
 レコメンドのルールを決め、ルールに従いレコメンド。
  例:紙おむつ買う → ビールを勧める
  ※ルール作成にアソシエーション分析も用いられる。
   ⇒5/22のTokyo.Rで話します。「R言語によるアソシエーション分析」
ベイジアンネットワーク
  過去事象から、事象発生の確率ネットワークを作成。
  各事象に対し、遷移確率が高い先をレコメンド。




                                           121
類似度以外からのレコメンデーション
             類似度算出以外の
             レコメンデーション

ルールベース
 レコメンドのルールを決め、ルールに従いレコメンド。
  例:紙おむつ買う → ビールを勧める
  ※ルール作成にアソシエーション分析も用いられる。
   ⇒5/22のTokyo.Rで話します。「R言語によるアソシエーション分析」
ベイジアンネットワーク
  過去事象から、事象発生の確率ネットワークを作成。
  各事象に対し、遷移確率が高い先をレコメンド。




                                           122
AGENDA
         ◆自己紹介
         ◆ソーシャルウェブとレコメンデーション
         ◆レコメンデーション
          ●レコメンデーションとは
          ●2つのレコメンド経路
          ●類似度によるレコメンド手法
           ○コンテンツベースフィルタリング
           ○協調フィルタリング
          ●その他のレコメンド手法
          ●開発用ライブラリ (Java)
         ◆最後に
                               123
開発用ライブラリ (Java)
                      Java
                 データマイニングライブラリ
  Lucene
    Apache Lucene。オープンソースの全文検索エンジン。
    サブプロジェクトに分散検索の 「Hadoop」、
    Hadoop上で動く機械学習の 「Mahout」がある。

  WEKA
     オープンソースのデータマイニングフレームワーク。
     前処理、分類、回帰、クラスタリング、相関ルール、可視化

  JDM(Java Data Mining)
    データマイニングの標準API構築を目指されている。
    分類、回帰、クラスタリング、属性重要度、相関ルール、
    多変量解析、時系列分析、異常検出、変換、テキストマイニング
    多目標モデル。                           124
AGENDA
         ◆自己紹介
         ◆ソーシャルウェブとレコメンデーション
         ◆レコメンデーション
          ●レコメンデーションとは
          ●2つのレコメンド経路
          ●類似度によるレコメンド手法
           ○コンテンツベースフィルタリング
           ○協調フィルタリング
          ●その他のレコメンド手法
          ●開発用ライブラリ (Java)
         ◆最後に
                               125
最後に

      蓄積されたデータを有効活用してきたい




                           126
最後に

      蓄積されたデータを有効活用してきたい




  Google Group: http://groups.google.com/group/webmining-tokyo

                                                                 127
最後に
               データマイニング+WEB勉強会
                発表者を募集しています




 連絡
  Google Group: http://groups.google.com/group/webmining-tokyo
  Twitter     : http://twitter.com/hamadakoichi
                                                                 128
ご清聴ありがとうございました




                 129
AGENDA
         ◆自己紹介
         ◆ソーシャルウェブとレコメンデーション
         ◆レコメンデーション
          ●レコメンデーションとは
          ●2つのレコメンド経路
          ●類似度によるレコメンド手法
           ○コンテンツベースフィルタリング
           ○協調フィルタリング
          ●その他のレコメンド手法
          ●開発用ライブラリ (Java)
         ◆最後に
                               130
目的: データマイニング+WEB勉強会@東京
        データマイニングの方法論を用い
     蓄積されたデータを有効活用していく方法を学ぶ
                                               統計解析
               Web API
                                             データマイニング
             Amazon Web Service
               楽天 Web Service            対応分析        時系列分析
    Twitter API Recruit Web Service          回帰分析
                  Yahoo! Web Service                   クラスター分析
    はてな Web Service                                       判別分析
                                         主成分分析 因子分析
    (Bookmark/Graph/Keyword,…)
                                             カーネル法
       Google Data API                            樹木モデル
       (Calendar/Maps/BookSearch/
        FinancePortfolioData,…)                   ニューラルネットワーク
                                                 サポートベクターマシン
                 …        免疫型最適化       Particle Swam    …
                         Memetic           Ant Colony
                         遺伝的   熱力学的
                              シミュレーテドアニーリング
                               力学モデルによる最適化
                         タブーサーチ    グラフ
                                               …
                                    最適解探索
                                    アルゴリズム
                                                                 131
推薦文献・動画




          132
推薦文献

       集合知イン・アクション




       集合知プログラミング




                     133
推薦文献

       確率モデルによるWebデータ解析法
       - データマイニング技法からe-コマースまで




       ソーシャル・ウェブ入門
       Google, mixi, ブログ・・・新しいWeb世界の歩き方




                                          134
推薦動画

       Social Media Revolution 2
       2010/05/05


       http://www.youtube.com/watch?v=lFZ0z5Fm-Ng




       Social Media Revolution
       2009/07/30


       http://www.youtube.com/watch?v=sIFYPQjYhv8




                                                    135

More Related Content

What's hot

「R言語による Random Forest 徹底入門 -集団学習による分類・予測-」 - #TokyoR #11
「R言語による Random Forest 徹底入門 -集団学習による分類・予測-」 - #TokyoR  #11「R言語による Random Forest 徹底入門 -集団学習による分類・予測-」 - #TokyoR  #11
「R言語による Random Forest 徹底入門 -集団学習による分類・予測-」 - #TokyoR #11Koichi Hamada
 
R言語による アソシエーション分析-組合せ・事象の規則を解明する-(第5回R勉強会@東京)
R言語による アソシエーション分析-組合せ・事象の規則を解明する-(第5回R勉強会@東京)R言語による アソシエーション分析-組合せ・事象の規則を解明する-(第5回R勉強会@東京)
R言語による アソシエーション分析-組合せ・事象の規則を解明する-(第5回R勉強会@東京)Koichi Hamada
 
データマイニングCROSS 第2部-機械学習・大規模分散処理
データマイニングCROSS 第2部-機械学習・大規模分散処理データマイニングCROSS 第2部-機械学習・大規模分散処理
データマイニングCROSS 第2部-機械学習・大規模分散処理Koichi Hamada
 
『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点-
『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点- 『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点-
『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点- Koichi Hamada
 
DeNAの大規模データマイニング活用したサービス開発
DeNAの大規模データマイニング活用したサービス開発DeNAの大規模データマイニング活用したサービス開発
DeNAの大規模データマイニング活用したサービス開発Koichi Hamada
 
何故DeNAがverticaを選んだか?
何故DeNAがverticaを選んだか?何故DeNAがverticaを選んだか?
何故DeNAがverticaを選んだか?Kenshin Yamada
 
ビッグデータ&データマネジメント展
ビッグデータ&データマネジメント展ビッグデータ&データマネジメント展
ビッグデータ&データマネジメント展Recruit Technologies
 
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラムビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラムRecruit Technologies
 
決定版:サービスの盛り上がり具合をユーザの数(DAU)から読み解く方法
決定版:サービスの盛り上がり具合をユーザの数(DAU)から読み解く方法決定版:サービスの盛り上がり具合をユーザの数(DAU)から読み解く方法
決定版:サービスの盛り上がり具合をユーザの数(DAU)から読み解く方法Daisuke Nogami
 
Hadoopカンファレンス20140707
Hadoopカンファレンス20140707Hadoopカンファレンス20140707
Hadoopカンファレンス20140707Recruit Technologies
 
世界最速の正規表現JITエンジンの実装
世界最速の正規表現JITエンジンの実装世界最速の正規表現JITエンジンの実装
世界最速の正規表現JITエンジンの実装Ryoma Sin'ya
 
DeNAの分析を支える分析基盤
DeNAの分析を支える分析基盤DeNAの分析を支える分析基盤
DeNAの分析を支える分析基盤Kenshin Yamada
 
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組みリクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組みRecruit Technologies
 
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)NTT DATA OSS Professional Services
 
【JAWS DAYS 2013】ランサーズを支えるAWS
【JAWS DAYS 2013】ランサーズを支えるAWS【JAWS DAYS 2013】ランサーズを支えるAWS
【JAWS DAYS 2013】ランサーズを支えるAWSKei Kinoshita
 
リクルート式Hadoopの使い方
リクルート式Hadoopの使い方リクルート式Hadoopの使い方
リクルート式Hadoopの使い方Recruit Technologies
 

What's hot (17)

「R言語による Random Forest 徹底入門 -集団学習による分類・予測-」 - #TokyoR #11
「R言語による Random Forest 徹底入門 -集団学習による分類・予測-」 - #TokyoR  #11「R言語による Random Forest 徹底入門 -集団学習による分類・予測-」 - #TokyoR  #11
「R言語による Random Forest 徹底入門 -集団学習による分類・予測-」 - #TokyoR #11
 
R言語による アソシエーション分析-組合せ・事象の規則を解明する-(第5回R勉強会@東京)
R言語による アソシエーション分析-組合せ・事象の規則を解明する-(第5回R勉強会@東京)R言語による アソシエーション分析-組合せ・事象の規則を解明する-(第5回R勉強会@東京)
R言語による アソシエーション分析-組合せ・事象の規則を解明する-(第5回R勉強会@東京)
 
データマイニングCROSS 第2部-機械学習・大規模分散処理
データマイニングCROSS 第2部-機械学習・大規模分散処理データマイニングCROSS 第2部-機械学習・大規模分散処理
データマイニングCROSS 第2部-機械学習・大規模分散処理
 
『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点-
『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点- 『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点-
『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点-
 
DeNAの大規模データマイニング活用したサービス開発
DeNAの大規模データマイニング活用したサービス開発DeNAの大規模データマイニング活用したサービス開発
DeNAの大規模データマイニング活用したサービス開発
 
何故DeNAがverticaを選んだか?
何故DeNAがverticaを選んだか?何故DeNAがverticaを選んだか?
何故DeNAがverticaを選んだか?
 
ビッグデータ&データマネジメント展
ビッグデータ&データマネジメント展ビッグデータ&データマネジメント展
ビッグデータ&データマネジメント展
 
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラムビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
 
決定版:サービスの盛り上がり具合をユーザの数(DAU)から読み解く方法
決定版:サービスの盛り上がり具合をユーザの数(DAU)から読み解く方法決定版:サービスの盛り上がり具合をユーザの数(DAU)から読み解く方法
決定版:サービスの盛り上がり具合をユーザの数(DAU)から読み解く方法
 
Hadoopカンファレンス20140707
Hadoopカンファレンス20140707Hadoopカンファレンス20140707
Hadoopカンファレンス20140707
 
世界最速の正規表現JITエンジンの実装
世界最速の正規表現JITエンジンの実装世界最速の正規表現JITエンジンの実装
世界最速の正規表現JITエンジンの実装
 
DeNAの分析を支える分析基盤
DeNAの分析を支える分析基盤DeNAの分析を支える分析基盤
DeNAの分析を支える分析基盤
 
JAZUG仙台#1勉強会
JAZUG仙台#1勉強会JAZUG仙台#1勉強会
JAZUG仙台#1勉強会
 
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組みリクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
 
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
 
【JAWS DAYS 2013】ランサーズを支えるAWS
【JAWS DAYS 2013】ランサーズを支えるAWS【JAWS DAYS 2013】ランサーズを支えるAWS
【JAWS DAYS 2013】ランサーズを支えるAWS
 
リクルート式Hadoopの使い方
リクルート式Hadoopの使い方リクルート式Hadoopの使い方
リクルート式Hadoopの使い方
 

Viewers also liked

はじめてのパターン認識 第5章 k最近傍法(k_nn法)
はじめてのパターン認識 第5章 k最近傍法(k_nn法)はじめてのパターン認識 第5章 k最近傍法(k_nn法)
はじめてのパターン認識 第5章 k最近傍法(k_nn法)Motoya Wakiyama
 
協調フィルタリング入門
協調フィルタリング入門協調フィルタリング入門
協調フィルタリング入門hoxo_m
 
協調フィルタリング with Mahout
協調フィルタリング with Mahout協調フィルタリング with Mahout
協調フィルタリング with MahoutKatsuhiro Takata
 
レコメンドアルゴリズムの基礎と「B-dash」におけるシステム構成の紹介
レコメンドアルゴリズムの基礎と「B-dash」におけるシステム構成の紹介レコメンドアルゴリズムの基礎と「B-dash」におけるシステム構成の紹介
レコメンドアルゴリズムの基礎と「B-dash」におけるシステム構成の紹介Takeshi Mikami
 
協調フィルタリングを利用した推薦システム構築
協調フィルタリングを利用した推薦システム構築協調フィルタリングを利用した推薦システム構築
協調フィルタリングを利用した推薦システム構築Masayuki Ota
 
Pythonによる機械学習入門 ~SVMからDeep Learningまで~
Pythonによる機械学習入門 ~SVMからDeep Learningまで~Pythonによる機械学習入門 ~SVMからDeep Learningまで~
Pythonによる機械学習入門 ~SVMからDeep Learningまで~Yasutomo Kawanishi
 
ビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分けビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分けRecruit Technologies
 
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)NTT DATA OSS Professional Services
 
逆説のスタートアップ思考
逆説のスタートアップ思考逆説のスタートアップ思考
逆説のスタートアップ思考Takaaki Umada
 
機械学習チュートリアル@Jubatus Casual Talks
機械学習チュートリアル@Jubatus Casual Talks機械学習チュートリアル@Jubatus Casual Talks
機械学習チュートリアル@Jubatus Casual TalksYuya Unno
 

Viewers also liked (12)

はじめてのパターン認識 第5章 k最近傍法(k_nn法)
はじめてのパターン認識 第5章 k最近傍法(k_nn法)はじめてのパターン認識 第5章 k最近傍法(k_nn法)
はじめてのパターン認識 第5章 k最近傍法(k_nn法)
 
協調フィルタリング入門
協調フィルタリング入門協調フィルタリング入門
協調フィルタリング入門
 
machine learning & apache mahout
machine learning & apache mahoutmachine learning & apache mahout
machine learning & apache mahout
 
協調フィルタリング with Mahout
協調フィルタリング with Mahout協調フィルタリング with Mahout
協調フィルタリング with Mahout
 
レコメンドアルゴリズムの基礎と「B-dash」におけるシステム構成の紹介
レコメンドアルゴリズムの基礎と「B-dash」におけるシステム構成の紹介レコメンドアルゴリズムの基礎と「B-dash」におけるシステム構成の紹介
レコメンドアルゴリズムの基礎と「B-dash」におけるシステム構成の紹介
 
協調フィルタリングを利用した推薦システム構築
協調フィルタリングを利用した推薦システム構築協調フィルタリングを利用した推薦システム構築
協調フィルタリングを利用した推薦システム構築
 
Pythonによる機械学習入門 ~SVMからDeep Learningまで~
Pythonによる機械学習入門 ~SVMからDeep Learningまで~Pythonによる機械学習入門 ~SVMからDeep Learningまで~
Pythonによる機械学習入門 ~SVMからDeep Learningまで~
 
ビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分けビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分け
 
一般向けのDeep Learning
一般向けのDeep Learning一般向けのDeep Learning
一般向けのDeep Learning
 
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
 
逆説のスタートアップ思考
逆説のスタートアップ思考逆説のスタートアップ思考
逆説のスタートアップ思考
 
機械学習チュートリアル@Jubatus Casual Talks
機械学習チュートリアル@Jubatus Casual Talks機械学習チュートリアル@Jubatus Casual Talks
機械学習チュートリアル@Jubatus Casual Talks
 

Similar to ソーシャルウェブ と レコメンデーション -第4回データマイニング+WEB勉強会@東京

「はじめてでもわかる RandomForest 入門-集団学習による分類・予測 -」 -第7回データマイニング+WEB勉強会@東京
「はじめてでもわかる RandomForest 入門-集団学習による分類・予測 -」 -第7回データマイニング+WEB勉強会@東京「はじめてでもわかる RandomForest 入門-集団学習による分類・予測 -」 -第7回データマイニング+WEB勉強会@東京
「はじめてでもわかる RandomForest 入門-集団学習による分類・予測 -」 -第7回データマイニング+WEB勉強会@東京Koichi Hamada
 
スクラムプロジェクト準備(公開用) No.31
スクラムプロジェクト準備(公開用) No.31スクラムプロジェクト準備(公開用) No.31
スクラムプロジェクト準備(公開用) No.31Sukusuku Scrum
 
テストアプローチにデータ分析を使おう
テストアプローチにデータ分析を使おうテストアプローチにデータ分析を使おう
テストアプローチにデータ分析を使おうSayaka Nakano
 
Sharding with sql alchemy
Sharding with sql alchemySharding with sql alchemy
Sharding with sql alchemyAkira Matsuzaki
 
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料Recruit Technologies
 
ソフトウェア開発の現場風景
ソフトウェア開発の現場風景ソフトウェア開発の現場風景
ソフトウェア開発の現場風景Koichi ITO
 
[iOS 8] 測れる!パフォーマンス
[iOS 8] 測れる!パフォーマンス[iOS 8] 測れる!パフォーマンス
[iOS 8] 測れる!パフォーマンスTakeshi Fukasawa
 
Phpではじめるオブジェクト指向(公開用)
Phpではじめるオブジェクト指向(公開用)Phpではじめるオブジェクト指向(公開用)
Phpではじめるオブジェクト指向(公開用)VOYAGE GROUP
 
ウェブサイト運用プロデューサーによる提案型クリエイティブパートナーシップ構築
ウェブサイト運用プロデューサーによる提案型クリエイティブパートナーシップ構築ウェブサイト運用プロデューサーによる提案型クリエイティブパートナーシップ構築
ウェブサイト運用プロデューサーによる提案型クリエイティブパートナーシップ構築COPILOT Inc.
 
Ansibleで構成管理始める人のモチベーションをあげたい! (Cloudera World Tokyo 2014LT講演資料)
Ansibleで構成管理始める人のモチベーションをあげたい! (Cloudera World Tokyo 2014LT講演資料)Ansibleで構成管理始める人のモチベーションをあげたい! (Cloudera World Tokyo 2014LT講演資料)
Ansibleで構成管理始める人のモチベーションをあげたい! (Cloudera World Tokyo 2014LT講演資料)NTT DATA OSS Professional Services
 
JaSST2017_大規模業務システムにおける再利用可能なテスト自動化の取り組み
JaSST2017_大規模業務システムにおける再利用可能なテスト自動化の取り組みJaSST2017_大規模業務システムにおける再利用可能なテスト自動化の取り組み
JaSST2017_大規模業務システムにおける再利用可能なテスト自動化の取り組みHideki Sugimoto
 
大規模画像認識とその周辺
大規模画像認識とその周辺大規模画像認識とその周辺
大規模画像認識とその周辺n_hidekey
 

Similar to ソーシャルウェブ と レコメンデーション -第4回データマイニング+WEB勉強会@東京 (20)

「はじめてでもわかる RandomForest 入門-集団学習による分類・予測 -」 -第7回データマイニング+WEB勉強会@東京
「はじめてでもわかる RandomForest 入門-集団学習による分類・予測 -」 -第7回データマイニング+WEB勉強会@東京「はじめてでもわかる RandomForest 入門-集団学習による分類・予測 -」 -第7回データマイニング+WEB勉強会@東京
「はじめてでもわかる RandomForest 入門-集団学習による分類・予測 -」 -第7回データマイニング+WEB勉強会@東京
 
スクラムプロジェクト準備(公開用) No.31
スクラムプロジェクト準備(公開用) No.31スクラムプロジェクト準備(公開用) No.31
スクラムプロジェクト準備(公開用) No.31
 
Datomic&datalog紹介
Datomic&datalog紹介Datomic&datalog紹介
Datomic&datalog紹介
 
Hadoopカンファレンス2013
Hadoopカンファレンス2013Hadoopカンファレンス2013
Hadoopカンファレンス2013
 
テストアプローチにデータ分析を使おう
テストアプローチにデータ分析を使おうテストアプローチにデータ分析を使おう
テストアプローチにデータ分析を使おう
 
Sharding with sql alchemy
Sharding with sql alchemySharding with sql alchemy
Sharding with sql alchemy
 
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
 
ソフトウェア開発の現場風景
ソフトウェア開発の現場風景ソフトウェア開発の現場風景
ソフトウェア開発の現場風景
 
Nds#24 単体テスト
Nds#24 単体テストNds#24 単体テスト
Nds#24 単体テスト
 
Ldd13 present
Ldd13 presentLdd13 present
Ldd13 present
 
[iOS 8] 測れる!パフォーマンス
[iOS 8] 測れる!パフォーマンス[iOS 8] 測れる!パフォーマンス
[iOS 8] 測れる!パフォーマンス
 
Yapc::Asia_2012
Yapc::Asia_2012Yapc::Asia_2012
Yapc::Asia_2012
 
Hadoop事始め
Hadoop事始めHadoop事始め
Hadoop事始め
 
JavaOne2017参加報告 Microservices topic & approach #jjug
JavaOne2017参加報告 Microservices topic & approach #jjugJavaOne2017参加報告 Microservices topic & approach #jjug
JavaOne2017参加報告 Microservices topic & approach #jjug
 
Phpではじめるオブジェクト指向(公開用)
Phpではじめるオブジェクト指向(公開用)Phpではじめるオブジェクト指向(公開用)
Phpではじめるオブジェクト指向(公開用)
 
ウェブサイト運用プロデューサーによる提案型クリエイティブパートナーシップ構築
ウェブサイト運用プロデューサーによる提案型クリエイティブパートナーシップ構築ウェブサイト運用プロデューサーによる提案型クリエイティブパートナーシップ構築
ウェブサイト運用プロデューサーによる提案型クリエイティブパートナーシップ構築
 
Ansibleで構成管理始める人のモチベーションをあげたい! (Cloudera World Tokyo 2014LT講演資料)
Ansibleで構成管理始める人のモチベーションをあげたい! (Cloudera World Tokyo 2014LT講演資料)Ansibleで構成管理始める人のモチベーションをあげたい! (Cloudera World Tokyo 2014LT講演資料)
Ansibleで構成管理始める人のモチベーションをあげたい! (Cloudera World Tokyo 2014LT講演資料)
 
JaSST2017_大規模業務システムにおける再利用可能なテスト自動化の取り組み
JaSST2017_大規模業務システムにおける再利用可能なテスト自動化の取り組みJaSST2017_大規模業務システムにおける再利用可能なテスト自動化の取り組み
JaSST2017_大規模業務システムにおける再利用可能なテスト自動化の取り組み
 
大規模画像認識とその周辺
大規模画像認識とその周辺大規模画像認識とその周辺
大規模画像認識とその周辺
 
Synquery ja
Synquery jaSynquery ja
Synquery ja
 

More from Koichi Hamada

Anime Generation with AI
Anime Generation with AIAnime Generation with AI
Anime Generation with AIKoichi Hamada
 
Generative Adversarial Networks @ ICML 2019
Generative Adversarial Networks @ ICML 2019Generative Adversarial Networks @ ICML 2019
Generative Adversarial Networks @ ICML 2019Koichi Hamada
 
AIによるアニメ生成の挑戦
AIによるアニメ生成の挑戦AIによるアニメ生成の挑戦
AIによるアニメ生成の挑戦Koichi Hamada
 
Generative Adversarial Networks (GANs) and Disentangled Representations @ N...
Generative Adversarial Networks (GANs) and Disentangled Representations @ N...Generative Adversarial Networks (GANs) and Disentangled Representations @ N...
Generative Adversarial Networks (GANs) and Disentangled Representations @ N...Koichi Hamada
 
Generative Adversarial Networks (GAN) @ NIPS2017
Generative Adversarial Networks (GAN) @ NIPS2017Generative Adversarial Networks (GAN) @ NIPS2017
Generative Adversarial Networks (GAN) @ NIPS2017Koichi Hamada
 
DeNAのAI活用したサービス開発
DeNAのAI活用したサービス開発DeNAのAI活用したサービス開発
DeNAのAI活用したサービス開発Koichi Hamada
 
対話返答生成における個性の追加反映
対話返答生成における個性の追加反映対話返答生成における個性の追加反映
対話返答生成における個性の追加反映Koichi Hamada
 
Generative Adversarial Networks (GAN) の学習方法進展・画像生成・教師なし画像変換
Generative Adversarial Networks (GAN) の学習方法進展・画像生成・教師なし画像変換Generative Adversarial Networks (GAN) の学習方法進展・画像生成・教師なし画像変換
Generative Adversarial Networks (GAN) の学習方法進展・画像生成・教師なし画像変換Koichi Hamada
 
NIPS 2016 Overview and Deep Learning Topics
NIPS 2016 Overview and Deep Learning Topics  NIPS 2016 Overview and Deep Learning Topics
NIPS 2016 Overview and Deep Learning Topics Koichi Hamada
 
DeNAの機械学習・深層学習活用した 体験提供の挑戦
DeNAの機械学習・深層学習活用した体験提供の挑戦DeNAの機械学習・深層学習活用した体験提供の挑戦
DeNAの機械学習・深層学習活用した 体験提供の挑戦Koichi Hamada
 
Laplacian Pyramid of Generative Adversarial Networks (LAPGAN) - NIPS2015読み会 #...
Laplacian Pyramid of Generative Adversarial Networks (LAPGAN) - NIPS2015読み会 #...Laplacian Pyramid of Generative Adversarial Networks (LAPGAN) - NIPS2015読み会 #...
Laplacian Pyramid of Generative Adversarial Networks (LAPGAN) - NIPS2015読み会 #...Koichi Hamada
 
『MobageのAnalytics活用したサービス開発』 - データマイニングCROSS2014 #CROSS2014
『MobageのAnalytics活用したサービス開発』 - データマイニングCROSS2014 #CROSS2014『MobageのAnalytics活用したサービス開発』 - データマイニングCROSS2014 #CROSS2014
『MobageのAnalytics活用したサービス開発』 - データマイニングCROSS2014 #CROSS2014Koichi Hamada
 
複雑ネットワーク上の伝搬法則の数理
複雑ネットワーク上の伝搬法則の数理複雑ネットワーク上の伝搬法則の数理
複雑ネットワーク上の伝搬法則の数理Koichi Hamada
 
データマイニングCROSS 2012 Opening Talk - データマイニングの実サービス・ビジネス適用と展望
データマイニングCROSS 2012 Opening Talk - データマイニングの実サービス・ビジネス適用と展望 データマイニングCROSS 2012 Opening Talk - データマイニングの実サービス・ビジネス適用と展望
データマイニングCROSS 2012 Opening Talk - データマイニングの実サービス・ビジネス適用と展望 Koichi Hamada
 
10回開催記念 「データマイニング+WEB ~データマイニング・機械学習活用による継続進化~」ー第10回データマイニング+WEB勉強会@東京ー #Toky...
10回開催記念 「データマイニング+WEB ~データマイニング・機械学習活用による継続進化~」ー第10回データマイニング+WEB勉強会@東京ー #Toky...10回開催記念 「データマイニング+WEB ~データマイニング・機械学習活用による継続進化~」ー第10回データマイニング+WEB勉強会@東京ー #Toky...
10回開催記念 「データマイニング+WEB ~データマイニング・機械学習活用による継続進化~」ー第10回データマイニング+WEB勉強会@東京ー #Toky...Koichi Hamada
 
Apache Mahout - Random Forests - #TokyoWebmining #8
Apache Mahout - Random Forests - #TokyoWebmining #8 Apache Mahout - Random Forests - #TokyoWebmining #8
Apache Mahout - Random Forests - #TokyoWebmining #8 Koichi Hamada
 
「樹木モデルとランダムフォレスト-機械学習による分類・予測-」-データマイニングセミナー
「樹木モデルとランダムフォレスト-機械学習による分類・予測-」-データマイニングセミナー「樹木モデルとランダムフォレスト-機械学習による分類・予測-」-データマイニングセミナー
「樹木モデルとランダムフォレスト-機械学習による分類・予測-」-データマイニングセミナーKoichi Hamada
 
オープニングトーク - 創設の思い・目的・進行方針  -データマイニング+WEB勉強会@東京
オープニングトーク - 創設の思い・目的・進行方針  -データマイニング+WEB勉強会@東京オープニングトーク - 創設の思い・目的・進行方針  -データマイニング+WEB勉強会@東京
オープニングトーク - 創設の思い・目的・進行方針  -データマイニング+WEB勉強会@東京Koichi Hamada
 

More from Koichi Hamada (18)

Anime Generation with AI
Anime Generation with AIAnime Generation with AI
Anime Generation with AI
 
Generative Adversarial Networks @ ICML 2019
Generative Adversarial Networks @ ICML 2019Generative Adversarial Networks @ ICML 2019
Generative Adversarial Networks @ ICML 2019
 
AIによるアニメ生成の挑戦
AIによるアニメ生成の挑戦AIによるアニメ生成の挑戦
AIによるアニメ生成の挑戦
 
Generative Adversarial Networks (GANs) and Disentangled Representations @ N...
Generative Adversarial Networks (GANs) and Disentangled Representations @ N...Generative Adversarial Networks (GANs) and Disentangled Representations @ N...
Generative Adversarial Networks (GANs) and Disentangled Representations @ N...
 
Generative Adversarial Networks (GAN) @ NIPS2017
Generative Adversarial Networks (GAN) @ NIPS2017Generative Adversarial Networks (GAN) @ NIPS2017
Generative Adversarial Networks (GAN) @ NIPS2017
 
DeNAのAI活用したサービス開発
DeNAのAI活用したサービス開発DeNAのAI活用したサービス開発
DeNAのAI活用したサービス開発
 
対話返答生成における個性の追加反映
対話返答生成における個性の追加反映対話返答生成における個性の追加反映
対話返答生成における個性の追加反映
 
Generative Adversarial Networks (GAN) の学習方法進展・画像生成・教師なし画像変換
Generative Adversarial Networks (GAN) の学習方法進展・画像生成・教師なし画像変換Generative Adversarial Networks (GAN) の学習方法進展・画像生成・教師なし画像変換
Generative Adversarial Networks (GAN) の学習方法進展・画像生成・教師なし画像変換
 
NIPS 2016 Overview and Deep Learning Topics
NIPS 2016 Overview and Deep Learning Topics  NIPS 2016 Overview and Deep Learning Topics
NIPS 2016 Overview and Deep Learning Topics
 
DeNAの機械学習・深層学習活用した 体験提供の挑戦
DeNAの機械学習・深層学習活用した体験提供の挑戦DeNAの機械学習・深層学習活用した体験提供の挑戦
DeNAの機械学習・深層学習活用した 体験提供の挑戦
 
Laplacian Pyramid of Generative Adversarial Networks (LAPGAN) - NIPS2015読み会 #...
Laplacian Pyramid of Generative Adversarial Networks (LAPGAN) - NIPS2015読み会 #...Laplacian Pyramid of Generative Adversarial Networks (LAPGAN) - NIPS2015読み会 #...
Laplacian Pyramid of Generative Adversarial Networks (LAPGAN) - NIPS2015読み会 #...
 
『MobageのAnalytics活用したサービス開発』 - データマイニングCROSS2014 #CROSS2014
『MobageのAnalytics活用したサービス開発』 - データマイニングCROSS2014 #CROSS2014『MobageのAnalytics活用したサービス開発』 - データマイニングCROSS2014 #CROSS2014
『MobageのAnalytics活用したサービス開発』 - データマイニングCROSS2014 #CROSS2014
 
複雑ネットワーク上の伝搬法則の数理
複雑ネットワーク上の伝搬法則の数理複雑ネットワーク上の伝搬法則の数理
複雑ネットワーク上の伝搬法則の数理
 
データマイニングCROSS 2012 Opening Talk - データマイニングの実サービス・ビジネス適用と展望
データマイニングCROSS 2012 Opening Talk - データマイニングの実サービス・ビジネス適用と展望 データマイニングCROSS 2012 Opening Talk - データマイニングの実サービス・ビジネス適用と展望
データマイニングCROSS 2012 Opening Talk - データマイニングの実サービス・ビジネス適用と展望
 
10回開催記念 「データマイニング+WEB ~データマイニング・機械学習活用による継続進化~」ー第10回データマイニング+WEB勉強会@東京ー #Toky...
10回開催記念 「データマイニング+WEB ~データマイニング・機械学習活用による継続進化~」ー第10回データマイニング+WEB勉強会@東京ー #Toky...10回開催記念 「データマイニング+WEB ~データマイニング・機械学習活用による継続進化~」ー第10回データマイニング+WEB勉強会@東京ー #Toky...
10回開催記念 「データマイニング+WEB ~データマイニング・機械学習活用による継続進化~」ー第10回データマイニング+WEB勉強会@東京ー #Toky...
 
Apache Mahout - Random Forests - #TokyoWebmining #8
Apache Mahout - Random Forests - #TokyoWebmining #8 Apache Mahout - Random Forests - #TokyoWebmining #8
Apache Mahout - Random Forests - #TokyoWebmining #8
 
「樹木モデルとランダムフォレスト-機械学習による分類・予測-」-データマイニングセミナー
「樹木モデルとランダムフォレスト-機械学習による分類・予測-」-データマイニングセミナー「樹木モデルとランダムフォレスト-機械学習による分類・予測-」-データマイニングセミナー
「樹木モデルとランダムフォレスト-機械学習による分類・予測-」-データマイニングセミナー
 
オープニングトーク - 創設の思い・目的・進行方針  -データマイニング+WEB勉強会@東京
オープニングトーク - 創設の思い・目的・進行方針  -データマイニング+WEB勉強会@東京オープニングトーク - 創設の思い・目的・進行方針  -データマイニング+WEB勉強会@東京
オープニングトーク - 創設の思い・目的・進行方針  -データマイニング+WEB勉強会@東京
 

Recently uploaded

論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNetToru Tamaki
 
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A surveyToru Tamaki
 
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する       2024/04/19 の勉強会で発表されたものですSOPを理解する       2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものですiPride Co., Ltd.
 
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...Toru Tamaki
 
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略Ryo Sasaki
 
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介Yuma Ohgami
 
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By DanielPostman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Danieldanielhu54
 
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムスマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムsugiuralab
 
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdfTSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdftaisei2219
 

Recently uploaded (9)

論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
 
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
 
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する       2024/04/19 の勉強会で発表されたものですSOPを理解する       2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
 
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
 
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
 
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
 
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By DanielPostman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
 
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムスマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
 
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdfTSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
 

ソーシャルウェブ と レコメンデーション -第4回データマイニング+WEB勉強会@東京

  • 1. 第4回データマイニング+WEB勉強会@東京 2010/05/16 ソーシャルウェブ と レコメンデーション Social Web and Recommendation hamadakoichi 濱田 晃一
  • 2. AGENDA ◆自己紹介 ◆ソーシャルウェブとレコメンデーション ◆レコメンデーション ●レコメンデーションとは ●2つのレコメンド経路 ●類似度によるレコメンド手法 ○コンテンツベースフィルタリング ○協調フィルタリング ●その他のレコメンド手法 ●開発用ライブラリ (Java) ◆最後に 2
  • 3. AGENDA ◆自己紹介 ◆ソーシャルウェブとレコメンデーション ◆レコメンデーション ●レコメンデーションとは ●2つのレコメンド経路 ●類似度によるレコメンド手法 ○コンテンツベースフィルタリング ○協調フィルタリング ●その他のレコメンド手法 ●開発用ライブラリ (Java) ◆最後に 3
  • 4. hamadakoichi 濱田晃一 http://iddy.jp/profile/hamadakoichi 4
  • 7. 自己紹介:hamadakoichi 濱田晃一 理論物理 博士(2004.3取得) 量子統計場の理論 Statistical Field Theory Spontaneously Time-Reversal Symmetry Breaking Anisotropic Massless Dirac Fermions 博士論文: http://hosi.phys.s.u-tokyo.ac.jp/~koichi/PhD-thesis.pdf 7
  • 8. 自己紹介:hamadakoichi 濱田晃一 文部大臣に褒められた 元 文部大臣・法務大臣 六法全書著者・元法学政治学研究科長 森山眞弓さん 菅野和夫さん 8
  • 9. 自己紹介:hamadakoichi 濱田晃一 Los Angelesでプロダンサーに褒められた ・HIP HOP/House ダンス歴13年 ・ダンス開始後 1年半でL.A.でプロダンサーに褒められる Youtube Channel: http://www.youtube.com/hamadakoichi 9
  • 10. 自己紹介:hamadakoichi 濱田晃一 毎週末3時間ダンスコーチをしています ■過去、東京と京都でも ダンス部を創設。 コーチをしていました 駒場物理ダンス部 京都大学基礎物理学研究所ダンス部 部長兼コーチ 部長兼コーチ 現在: 毎週末 3時間ダンスコーチ Youtube Channel: http://www.youtube.com/hamadakoichi 10
  • 11. 数理解析手法の実ビジネスへの適用 2004年 博士号取得後 数理解析手法を実ビジネス適用の方法論構築 主な領域 ◆活動の数理モデル化・解析手法 ◆活動の分析手法・再構築手法 ◆活動の実行制御・実績解析システム … 内容抜粋 “Decoupling Executions in Navigating Manufacturing "Unified graph representation of processes Processes for Shortening Lead Time and Its Implementation for scheduling with flexible resource to an Unmanned Machine Shop”, assignment", 11
  • 12. 数理解析手法の実ビジネスへの適用:活動例 活動例 活動の統一グラフモデルを構築・解析 Unified graphical model of processes and resources 青字:割付モデル属性 [ ] : Optional Node ・priority(優先度) Edge ・duration(予定時間) [・earliest(再早開始日時) ] Process Edge Process [・deadline(納期) ] [・or(条件集約数) ] 前プロセスの終了後に後プロセスが プロセスを表す 開始できること表す ・attributes(属性) preemptable(中断可否), successive(引継ぎ可否) Uses Edge workload(作業負荷) Processが使用する uses uses uses uses uses uses Assign Region を表す Assign Region Assigns from Edge 同一Resourceを割付け続ける Assign Regionに assigns from assigns from 指定Resourceの子Resource集合の 範囲を表す assigns assigns 中から割付けることを示す 企業01 [process] has has [startDate(開始日時)] [endDate(終了日時)] Assigns Edge 製品01 組織A StartDateからEndDateまでの間 Resource has Assign RegionにResourceを 割付対象要素を表す has has has has has has 割付けることを表す ・capacity(容量) ・calender(カレンダー) AAA01 AAB02 … 山田さん 田中さん 鈴木さん ・attributes(属性) Has Edge 東さん Resourceの所有関係を表す 12
  • 14. AGENDA ◆自己紹介 ◆ソーシャルウェブとレコメンデーション ◆レコメンデーション ●レコメンデーションとは ●2つのレコメンド経路 ●類似度によるレコメンド手法 ○コンテンツベースフィルタリング ○協調フィルタリング ●その他のレコメンド手法 ●開発用ライブラリ (Java) ◆最後に 14
  • 15. ソーシャルウェブとレコメンデーション ソーシャルウェブサービス ソーシャルネット Facebook MySpace Mixi GREE DeNA … 15
  • 16. ソーシャルウェブとレコメンデーション ソーシャルウェブサービス ブックマーク共有 Del.icio.us はてな … ソーシャルネット 写真・動画共有 Facebook MySpace Youtube Flickr … Mixi GREE DeNA … ニュース共有 はてな Newsing Digg … 16
  • 17. ソーシャルウェブとレコメンデーション ソーシャルウェブサービス ブックマーク共有 Del.icio.us はてな … ソーシャルネット 写真・動画共有 Facebook MySpace Youtube Flickr … Mixi GREE DeNA … ニュース共有 はてな Newsing Digg … ユーザー発信型情報提供 Wikipedia はてな goo … 17
  • 18. ソーシャルウェブとレコメンデーション ソーシャルウェブサービス ツイート Twitter GoogleBuzz … ブックマーク共有 Del.icio.us はてな … ソーシャルネット 写真・動画共有 Facebook MySpace Youtube Flickr … Mixi GREE DeNA … ニュース共有 はてな Newsing Digg … ユーザー発信型情報提供 Wikipedia はてな goo … 18
  • 19. ソーシャルウェブとレコメンデーション ソーシャルウェブサービス ブログホスティング ツイート Blogger はてな Livedoor Twitter GoogleBuzz Ameba … … ブックマーク共有 Del.icio.us はてな … ソーシャルネット 写真・動画共有 Facebook MySpace Youtube Flickr … Mixi GREE DeNA … ニュース共有 はてな Newsing Digg … ユーザー発信型情報提供 Wikipedia はてな goo … 19
  • 20. ソーシャルウェブとレコメンデーション ソーシャルウェブサービス ブログホスティング ツイート Blogger はてな Livedoor Twitter GoogleBuzz Ameba … … ブックマーク共有 Del.icio.us はてな … ソーシャルネット 写真・動画共有 Facebook MySpace Youtube Flickr … Mixi GREE DeNA … ニュース共有 はてな Newsing Digg … ユーザー発信型情報提供 情報検索 Google Yahoo Bing Wikipedia はてな goo … Baidu Naver … 20
  • 21. ソーシャルウェブとレコメンデーション ソーシャルウェブサービス ブログホスティング ツイート 電話 Blogger はてな Livedoor Twitter GoogleBuzz Skype GoogleTalk … Ameba … … メール Gmail Yahoo!Mail … ブックマーク共有 Del.icio.us はてな … ソーシャルネット 写真・動画共有 Facebook MySpace Youtube Flickr … Mixi GREE DeNA … ニュース共有 はてな Newsing Digg … ユーザー発信型情報提供 情報検索 Google Yahoo Bing Wikipedia はてな goo … Baidu Naver … 21
  • 22. ソーシャルウェブとレコメンデーション ソーシャルウェブサービス ブログホスティング ツイート 電話 Blogger はてな Livedoor Twitter GoogleBuzz Skype GoogleTalk … Ameba … … メール Gmail Yahoo!Mail … ブックマーク共有 Del.icio.us はてな … ソーシャルネット ビジネスアプリケーション 写真・動画共有 Google Calendar Facebook MySpace Youtube Flickr … Google SpreadSheet Mixi GREE DeNA … ニュース共有 Google Docs Zoho … はてな Newsing Digg … プロジェクト管理 Basecamp Jotspot … ユーザー発信型情報提供 情報検索 Google Yahoo Bing Wiki作成 Wikipedia はてな goo … Mediawiki Pukiwiki … Baidu Naver … 22
  • 23. ソーシャルウェブとレコメンデーション ソーシャルウェブサービス ブログホスティング ツイート 電話 Blogger はてな Livedoor Twitter GoogleBuzz Skype GoogleTalk … Ameba … … メール Gmail Yahoo!Mail … ブックマーク共有 Del.icio.us はてな … ソーシャルネット ビジネスアプリケーション 写真・動画共有 Google Calendar Facebook MySpace Youtube Flickr … Google SpreadSheet Mixi GREE DeNA … ニュース共有 Google Docs Zoho … はてな Newsing Digg … プロジェクト管理 Basecamp Jotspot … ユーザー発信型情報提供 情報検索 Google Yahoo Bing Wiki作成 Wikipedia はてな goo … Mediawiki Pukiwiki … Baidu Naver … 23
  • 24. ソーシャルウェブとレコメンデーション Webと人の関わりが重要になってきている 24
  • 25. ソーシャルウェブとレコメンデーション Webと人の関わりが重要になってきている ・世界人口の50%以上が20代。 彼らの96%がソーシャルネットワークに加入している 25 ※引用元: Social Media Revolution 2 http://www.youtube.com/watch?v=lFZ0z5Fm-Ng
  • 26. ソーシャルウェブとレコメンデーション Webと人の関わりが重要になってきている ・世界人口の50%以上が20代。 彼らの96%がソーシャルネットワークに加入している ・Facebookへのアクセス数がGoogleへのアクセス数を超えた 26 ※引用元: Social Media Revolution 2 http://www.youtube.com/watch?v=lFZ0z5Fm-Ng
  • 27. ソーシャルウェブとレコメンデーション Webと人の関わりが重要になってきている ・世界人口の50%以上が20代。 彼らの96%がソーシャルネットワークに加入している ・Facebookへのアクセス数がGoogleへのアクセス数を超えた ・もしFacebookが国ならば世界3位の大国になっている 27 ※引用元: Social Media Revolution 2 http://www.youtube.com/watch?v=lFZ0z5Fm-Ng
  • 28. ソーシャルウェブとレコメンデーション Webと人の関わりが重要になってきている ・世界人口の50%以上が20代。 彼らの96%がソーシャルネットワークに加入している ・Facebookへのアクセス数がGoogleへのアクセス数を超えた ・もしFacebookが国ならば世界3位の大国になっている ・78%の消費者は知人からの推薦を信頼している 14%の消費者しか広告を信用していない 28 ※引用元: Social Media Revolution 2 http://www.youtube.com/watch?v=lFZ0z5Fm-Ng
  • 29. ソーシャルウェブとレコメンデーション Webと人の関わりが重要になってきている ・世界人口の50%以上が20代。 彼らの96%がソーシャルネットワークに加入している ・Facebookへのアクセス数がGoogleへのアクセス数を超えた ・もしFacebookが国ならば世界3位の大国になっている ・78%の消費者は知人からの推薦を信頼している 14%の消費者しか広告を信用していない ・我々は商品やサービスを探すことなく 彼らがソーシャルメディアにより我々を見つけるようになるだろう 29 ※引用元: Social Media Revolution 2 http://www.youtube.com/watch?v=lFZ0z5Fm-Ng
  • 30. ソーシャルウェブとレコメンデーション Webと人の関わりが重要になってきている ・世界人口の50%以上が20代。 彼らの96%がソーシャルネットワークに加入している ・Facebookへのアクセス数がGoogleへのアクセス数を超えた ・もしFacebookが国ならば世界3位の大国になっている ・78%の消費者は知人からの推薦を信頼している 14%の消費者しか広告を信用していない ・我々は商品やサービスを探すことなく 彼らがソーシャルメディアにより我々を見つけるようになるだろう 30 ※引用元: Social Media Revolution 2 http://www.youtube.com/watch?v=lFZ0z5Fm-Ng
  • 31. ソーシャルウェブとレコメンデーション 各人の活動や興味にあった 適切な情報提示が重要 活動 興味 31
  • 32. ソーシャルウェブとレコメンデーション 各人の活動や興味にあった 適切な情報提示が重要 活動 興味 各人の活動や興味に合った適切な情報提示 Recommendation (レコメンデーション) 32
  • 33. AGENDA ◆自己紹介 ◆ソーシャルウェブとレコメンデーション ◆レコメンデーション ●レコメンデーションとは ●2つのレコメンド経路 ●類似度によるレコメンド手法 ○コンテンツベースフィルタリング ○協調フィルタリング ●その他のレコメンド手法 ●開発用ライブラリ (Java) ◆最後に 33
  • 34. AGENDA ◆自己紹介 ◆ソーシャルウェブとレコメンデーション ◆レコメンデーション ●レコメンデーションとは ●2つのレコメンド経路 ●類似度によるレコメンド手法 ○コンテンツベースフィルタリング ○協調フィルタリング ●その他のレコメンド手法 ●開発用ライブラリ (Java) ◆最後に 34
  • 35. レコメンデーション 各人の活動や関心にもとづき 適した情報を提示・推薦する 例:Amazon.co.jp 検索・閲覧 35
  • 36. レコメンデーション 各人の活動や関心にもとづき 適した情報を提示・推薦する 例:Amazon.co.jp 検索・閲覧 提示・推薦 36
  • 37. レコメンデーション例 「このアイテムを○○したユーザーは これらのアイテムについても○○しています」 37
  • 38. レコメンデーション例 「このアイテムを○○したユーザーは これらのアイテムについても○○しています」 ○○ = ユーザーアクション 38
  • 39. レコメンデーション例 「このアイテムを○○したユーザーは これらのアイテムについても○○しています」 ○○ = ユーザーアクション 視聴 購入 閲覧 保存 メール送信 ブックマーク お気に入りへの追加 共有 作成 39
  • 40. レコメンデーション例 「このアイテムを○○したユーザーは これらのアイテムについても○○しています」 ○○ = ユーザーアクション 視聴 購入 閲覧 保存 メール送信 ブックマーク お気に入りへの追加 共有 作成 例 ◆この動画を「視聴」したユーザーはこちらの動画も「視聴」しています ◆この記事に関連した新しいアイテムはこちらです ◆あなたに似たユーザーはこちらです ◆こちらの商品にも関心がありませんか? 40
  • 41. レコメンデーションエンジンの入出力 レコメンデーションエンジンの 入出力 レコメンデーション レコメンドされた システム アイテム・ユーザー 41
  • 42. レコメンデーションエンジンの入出力 レコメンデーションエンジンの 入出力 アイテムの情報 アイテムのコンテンツ ユーザー レコメンデーション レコメンドされた プロファイル システム アイテム・ユーザー 年齢 性別 居住地 資産 … 42
  • 43. レコメンデーションエンジンの入出力 レコメンデーションエンジンの 入出力 アイテムの情報 アイテムのコンテンツ ユーザー レコメンデーション レコメンドされた プロファイル システム アイテム・ユーザー 年齢 性別 居住地 資産 … ユーザー インタラクション 閲覧履歴 タグ付け 購入 保存 評価 メール送信履歴 … 43
  • 44. レコメンデーションエンジンの入出力 レコメンデーションエンジンの 入出力 アイテム提示の アイテムの情報 コンテキスト アイテムのコンテンツ 検討中アイテムの カテゴリ … ユーザー レコメンデーション レコメンドされた プロファイル システム アイテム・ユーザー 年齢 性別 居住地 資産 … ユーザー インタラクション 閲覧履歴 タグ付け 購入 保存 評価 メール送信履歴 … 44
  • 45. レコメンデーションエンジンの入出力 レコメンデーションエンジンの 入出力 アイテム提示の アイテムの情報 コンテキスト アイテムのコンテンツ 検討中アイテムの カテゴリ … ユーザー レコメンデーション レコメンドされた プロファイル システム アイテム・ユーザー 年齢 性別 居住地 資産 … ユーザー インタラクション 閲覧履歴 タグ付け 購入 保存 評価 メール送信履歴 … 45
  • 46. レコメンデーションの戦略 レコメンデーションを 売り込みと様子伺いの間で行う ◆売り込み ユーザーの趣向にぴったり合った アイテムを推薦 ◆様子伺い ユーザーの新たな趣向を見つけるため ユーザーの趣向に合わないアイテムを提示 →例:いくつかのアイテムをランダムに選ぶなど 46
  • 47. AGENDA ◆自己紹介 ◆ソーシャルウェブとレコメンデーション ◆レコメンデーション ●レコメンデーションとは ●2つのレコメンド経路 ●類似度によるレコメンド手法 ○コンテンツベースフィルタリング ○協調フィルタリング ●その他のレコメンド手法 ●開発用ライブラリ (Java) ◆最後に 47
  • 48. レコメンデーションの手法 アイテムベース アイテムの類似アイテムを分析・推薦 分析手法 分析・推薦対象 類似度算出の対象 コンテンツベース コラボレーションベース (協調フィルタリング) アイテム アイテムの類似 ベース アイテム 48
  • 49. アイテムベース分析 アイテムベース アイテムの類似アイテムを分析・推薦 アイテム アイテム アイテム アイテム A B C D ユーザー 1 49
  • 50. アイテムベース分析 アイテムベース アイテムの類似アイテムを分析・推薦 アイテム アイテム アイテム アイテム A B C D 好む ユーザー 1 50
  • 51. アイテムベース分析 アイテムベース アイテムの類似アイテムを分析・推薦 類似 アイテム アイテム アイテム アイテム A B C D 好む ユーザー 1 51
  • 52. アイテムベース分析 アイテムベース アイテムの類似アイテムを分析・推薦 類似 アイテム アイテム アイテム アイテム A B C D 好む レコメンド ユーザー 1 52
  • 53. レコメンデーションの手法 ユーザーベース 類似ユーザーを分析、好むアイテムを推薦 分析手法 分析・推薦対象 類似度算出の対象 コンテンツベース コラボレーションベース (協調フィルタリング) アイテム アイテムの類似 ベース アイテム ユーザー ユーザーの類似 ベース ユーザーが好む アイテム 53
  • 54. ユーザーベース分析 ユーザーベース 類似ユーザーを分析、好むアイテムを推薦 アイテム アイテム アイテム アイテム A B C D ユーザー ユーザー ユーザー 1 2 3 54
  • 55. ユーザーベース分析 ユーザーベース 類似ユーザーを分析、好むアイテムを推薦 アイテム アイテム アイテム アイテム A B C D ユーザー ユーザー ユーザー 1 2 3 類似 55
  • 56. ユーザーベース分析 ユーザーベース 類似ユーザーを分析、好むアイテムを推薦 アイテム アイテム アイテム アイテム A B C D 好む ユーザー ユーザー ユーザー 1 2 3 類似 56
  • 57. ユーザーベース分析 ユーザーベース 類似ユーザーを分析、好むアイテムを推薦 アイテム アイテム アイテム アイテム A B C D レコメンド 好む ユーザー ユーザー ユーザー 1 2 3 類似 57
  • 58. AGENDA ◆自己紹介 ◆ソーシャルウェブとレコメンデーション ◆レコメンデーション ●レコメンデーションとは ●2つのレコメンド経路 ●類似度によるレコメンド手法 ○コンテンツベースフィルタリング ○協調フィルタリング ●その他のレコメンド手法 ●開発用ライブラリ ◆最後に 58
  • 59. 類似度算出法の種類 類似度算出法の種類 コンテンツベース と 協調フィルタリング 分析手法 分析・推薦対象 類似度算出の対象 コンテンツベース 協調フィルタリング アイテム アイテムの類似 アイテムの ユーザー行動 ベース アイテム タームベクトル (購入、閲覧、保存、評価、 ブックマークなど) ユーザー ユーザーの類似 ユーザープロファイルの ベース ユーザーが好む タームベクトル アイテム (年齢、ユーザー、居住地、 資産) 59
  • 60. 類似度算出法の種類 類似度算出法の種類 コンテンツベース と コラボレーションベース 類似度算出法 分析対象 算出概要 コンテンツ コンテンツ内容 ベクトル空間モデル ベース アイテム コンテンツを「ターム(用語)ベクトル」で表 ユーザープロファイル 現。タームベクトル距離を算出・レコメン ド 協調フィルタリング ユーザー行動 メモリベース 購入、閲覧、保存、評価、 類似ユーザー群を見つけ好みを合成し、 ブックマークなど アイテムの予測評価を算出・レコメンド。 (ユーザー・アイテム データセット) モデルベース 過去の行動からユーザーモデル化し、ア イテムの予測評価を算出・レコメンド。 60
  • 61. 類似度算出法の種類 コンテンツベース コンテンツのターム(用語)ベクトルの類似度を算出する 類似度算出法 分析対象 算出概要 コンテンツ コンテンツ内容 ベクトル空間モデル ベース アイテム コンテンツを「ターム(用語)ベクトル」で表 ユーザープロファイル 現。タームベクトル距離を算出・レコメン ド 協調フィルタリング ユーザー行動 メモリベース 購入、閲覧、保存、評価、 類似ユーザー群を見つけ好みを合成し、 ブックマークなど アイテムの予測評価を算出・レコメンド。 (ユーザー・アイテム データセット) モデルベース 過去の行動からユーザーモデル化し、ア イテムの予測評価を算出・レコメンド。 61
  • 62. AGENDA ◆自己紹介 ◆ソーシャルウェブとレコメンデーション ◆レコメンデーション ●レコメンデーションとは ●2つのレコメンド経路 ●類似度によるレコメンド手法 ○コンテンツベースフィルタリング ○協調フィルタリング ●その他のレコメンド手法 ●開発用ライブラリ (Java) ◆最後に 62
  • 63. 類似度算出法の種類 コンテンツベース アイテムの情報 や ユーザープロファイル のコンテンツを分析 アイテム提示の アイテムの情報 コンテキスト アイテムのコンテンツ 検討中アイテムの カテゴリ … ユーザー レコメンデーション レコメンドされた プロファイル システム アイテム・ユーザー 年齢 性別 居住地 資産 … ユーザー インタラクション 閲覧履歴 タグ付け 購入 保存 評価 メール送信履歴 … 63
  • 64. ベクトル空間モデル コンテンツをTerm(用語)の N次元のベクトルで表現 Term3 Term1 Term2 64
  • 65. ベクトル空間モデル 文書集合中に現れる 用語 wi を第 i 次元に設定 第 i 次元の値は、文書中に用語 wi が現れた頻度 文書例 [文書1] 私/は/茨城/県/に/ある/茨城/大学/の/学生/です/。 [文書2] 私/は/茨城/県/の/日立/市/に/住ん/で/い/ます/。 [文書3] 日立/市/には/日立/の/工場/が/たくさん/あり/ます/。 単語 (1) 私, (2)茨城, (3)県, (4)大学, (5)学生, (6)日立, (7)市, (8)工場 ベクトル表現 [文書1] (1,2,1,1,1,0,0,0) [文書2] (1,1,1,0,0,1,1,0) [文書3] (0,0,0,0,0,2,1,1) 65
  • 66. ベクトル空間モデル 単語の重みを考慮してベクトルを作成する 重み 一般的な用語 文書の分野を推定できる単語 ⇒ 軽くする ⇒重くする TF*IDF法 66
  • 67. 重み付け:TF*IDF法 文章中の特徴的な単語を抽出するためのアルゴリズム TFとIDFの2つの指標で計算 TFIDF =TF*IDF ◆TF (Term Frequency) 単語の出現頻度 ◆IDF (Inverse Document Frequency) 文書の逆出現頻度 一般語フィルタとして働く。 多くの文書に出現する語は重要度が下がる 文書総数 単語 iを含む文書数 67
  • 68. コンテンツの類似度:タームベクトル距離近さ 距離の近さから 類似コンテンツを抽出する ■単純な計算 ユークリッド距離から求める ■ 類似度を測る手法 ・余弦尺度(cos) ベクトル空間での方向の類似度を表す 長さが1に正規化されている場合、ユークリッド距離と等価 θ ・Jaccard係数 カテゴリカルなデータに対しても適用できる 68
  • 69. AGENDA ◆自己紹介 ◆ソーシャルウェブとレコメンデーション ◆レコメンデーション ●レコメンデーションとは ●2つのレコメンド経路 ●類似度によるレコメンド手法 ○コンテンツベースフィルタリング ○協調フィルタリング ●その他のレコメンド手法 ●開発用ライブラリ (Java) ◆最後に 69
  • 70. 類似度算出法の種類 類似度算出法の種類 コンテンツベース と コラボレーションベース 類似度算出法 分析対象 算出概要 コンテンツ コンテンツ内容 ベクトル空間モデル ベース アイテム コンテンツを「ターム(用語)ベクトル」で表 ユーザープロファイル 現。タームベクトル距離を算出・レコメン ド 協調フィルタリング ユーザー行動 メモリベース 購入、閲覧、保存、評価、 類似ユーザー群を見つけ好みを合成し、 ブックマークなど アイテムの予測評価を算出・レコメンド。 (ユーザー・アイテム データセット) モデルベース 過去の行動からユーザーモデル化し、ア イテムの予測評価を算出・レコメンド。 70
  • 71. 協調フィルタリング 協調フィルタリング ユーザー行動 (ユーザー・アイテム データ)を分析 類似度算出法 分析対象 算出概要 コンテンツ コンテンツ内容 ベクトル空間モデル ベース アイテム コンテンツを「ターム(用語)ベクトル」で表 ユーザープロファイル 現。タームベクトル距離を算出・レコメン ド 協調フィルタリング ユーザー行動 メモリベース 購入、閲覧、保存、評価、 類似ユーザー群を見つけ好みを合成し、 ブックマークなど アイテムの予測評価を算出・レコメンド。 (ユーザー・アイテム データセット) モデルベース 過去の行動からユーザーモデル化し、ア イテムの予測評価を算出・レコメンド。 71
  • 72. 協調フィルタリング 協調フィルタリング ユーザー行動 (ユーザー・アイテム データ)を分析 アイテム提示の アイテムの情報 コンテキスト アイテムのコンテンツ 検討中アイテムの カテゴリ … ユーザー レコメンデーション レコメンドされた プロファイル システム アイテム・ユーザー 年齢 性別 居住地 資産 … ユーザー インタラクション 閲覧履歴 タグ付け 購入 保存 評価 メール送信履歴 … 72
  • 73. 協調フィルタリング: アルゴリズム アルゴリズム 1. 類似アイテム(またはユーザー)を見つける 2. 類似アイテム(またはユーザー)を利用し、予測する 73
  • 74. 協調フィルタリング: アルゴリズム アルゴリズム 1. 類似アイテム(またはユーザー)を見つける 2. 類似アイテム(またはユーザー)を利用し、予測する 74
  • 75. 協調フィルタリング: データ表現 アイテムを N次元のユーザー行動ベクトルで表現 User3 User1 User2 75
  • 76. 協調フィルタリング: データ表現 ユーザー-アイテム行列を扱う 例:アイテムのユーザー評価 User1 User2 User3 … Item1 3 2 1 … Item2 4 2 3 … Item3 2 4 5 … …. … … … … 76
  • 77. 協調フィルタリング: 類似度計算 ユーザー-アイテム行列から 3つの類似度計算の手法 ◆コサインベース (Cosine-based similarity computation) ◆相関ベース (Correlation-based similarity computation) ◆調整コサインベース (Adjusted cosine-based similarity computation) 77
  • 78. 協調フィルタリング: 類似度計算 ユーザー-アイテム行列から 3つの類似度計算の手法 ◆コサインベース (Cosine-based similarity computation) ◆相関ベース (Correlation-based similarity computation) ◆調整コサインベース (Adjusted cosine-based similarity computation) 78
  • 79. 類似度の算出:コサインベース コサインベースの類似度計算 (Cosine-based similarity computation) Item間類似度 ①Item Vectorの正規化 User1 User2 User3 Item1 0.818 0.5345 0.2673 正規化 Item2 0.7428 0.3714 0.557 Item3 0.2981 0.5963 0.7454 79
  • 80. 類似度の算出:コサインベース コサインベースの類似度計算 (Cosine-based similarity computation) Item間類似度 ①Item Vectorの正規化 User1 User2 User3 Item1 0.818 0.5345 0.2673 正規化 Item2 0.7428 0.3714 0.557 Item3 0.2981 0.5963 0.7454 Item間類似度 ②Item Vectorの内積 Item1 Item2 Item3 Item1 1 0.943 0.757 Item2 0.7428 1 0.858 Item3 0.2981 0.5963 1 80
  • 81. 類似度の算出:コサインベース コサインベースの類似度計算 (Cosine-based similarity computation) User間類似度 ①User Vectorの正規化 正規化 User1 User2 User3 Item1 0.5571 0.4082 0.1690 Item2 0.7428 0.4082 0.5071 Item3 0.3714 0.5071 0.8452 81
  • 82. 類似度の算出:コサインベース コサインベースの類似度計算 (Cosine-based similarity computation) User間類似度 ①User Vectorの正規化 正規化 User1 User2 User3 Item1 0.5571 0.4082 0.1690 Item2 0.7428 0.4082 0.5071 Item3 0.3714 0.5071 0.8452 User間類似度 ②User Vectorの内積 User1 User2 User3 User1 1 0.83 0.78 User2 0.83 1 0.97 User3 0.78 0.97 82
  • 83. 協調フィルタリング: 類似度計算 ユーザー-アイテム行列から 3つの類似度計算の手法 ◆コサインベース (Cosine-based similarity computation) ◆相関ベース (Correlation-based similarity computation) ◆調整コサインベース (Adjusted cosine-based similarity computation) 83
  • 84. 類似度の算出:相関ベース 相関ベースの類似度計算 (Correlation-based similarity computation) Itemの相関行列 Item間の相関を見る (分散共分散行列) R: ItemのUser評価行列 成分 : Item i に対する User uの評価 User1 User2 User3 … Item1 R11 R12 R13 … Item2 R21 R22 R23 … … … … … … : Item i のUser評価平均 : User数 84
  • 85. 類似度の算出:相関ベース 相関ベースの類似度計算 (Correlation-based similarity computation) ①Itemの評価平均からの差分 行列 User1 User2 User3 評価平均 Item1 1 0 -1 からのずれ値 Item2 1 -1 0 Item3 -5/3 1/3 4/3 85
  • 86. 類似度の算出:相関ベース 相関ベースの類似度計算 (Correlation-based similarity computation) ①Itemの評価平均からの差分 行列 User1 User2 User3 評価平均 Item1 1 0 -1 からのずれ値 Item2 1 -1 0 Item3 -5/3 1/3 4/3 Item間 相関行列 ②Item Vectorの規格化・内積 Item1 Item2 Item3 Item1 1 0.5 -0.982 Item2 0.5 1 -0.655 Item3 -0.982 -0.655 1 86
  • 87. 類似度の算出:相関ベース 相関ベースの類似度計算 (Correlation-based similarity computation) 評価平均 ①Userの評価平均からの差分 行列 からのずれ値 User1 User2 User3 Item1 0 -0.4083 -0.7071 Item2 0.7071 -0.4083 0 Item3 -0.7071 0.8166 0.7071 87
  • 88. 類似度の算出:相関ベース 相関ベースの類似度計算 (Correlation-based similarity computation) 評価平均 ①Userの評価平均からの差分 行列 からのずれ値 User1 User2 User3 Item1 0 -0.4083 -0.7071 Item2 0.7071 -0.4083 0 Item3 -0.7071 0.8166 0.7071 User間 相関行列 ②User Vectorの規格化・内積 User1 User2 User3 User1 1 -0.866 -0.5 User2 -0.866 1 0.87 User3 -0.5 0.87 1 88
  • 89. 協調フィルタリング: 類似度計算 ユーザー-アイテム行列から 3つの類似度計算の手法 ◆コサインベース (Cosine-based similarity computation) ◆相関ベース (Correlation-based similarity computation) ◆調整コサインベース (Adjusted cosine-based similarity computation) 89
  • 90. 類似度の算出:調整コサインベース 調整コサインベースの類似度計算 (Adjusted cosine-based similarity computation) Userごとの評価の振れ幅の補正 (Item i のUser評価平均)ではなく : User uの評価平均 を使用 調整コサイン行列 R: ItemのUser評価行列 成分 : Item i に対する User uの評価 : User数 90
  • 91. 類似度の算出:調整コサインベース 調整コサインベースの類似度計算 (Adjusted cosine-based similarity computation) User評価平均 ①Userの評価平均からの差分 行列 からのずれ値 User1 User2 User3 Item1 0 -2/3 -2 Item2 1 -2/3 0 Item3 -1 4/3 2 91
  • 92. 類似度の算出:調整コサインベース 調整コサインベースの類似度計算 (Adjusted cosine-based similarity computation) User評価平均 ①Userの評価平均からの差分 行列 からのずれ値 User1 User2 User3 Item1 0 -2/3 -2 Item2 1 -2/3 0 Item3 -1 4/3 2 Item間 相関行列 ②Item Vectorの規格化・内積 Item1 Item2 Item3 Item1 1 0.1754 -0.891 Item2 0.1754 1 0.604 Item3 -0.981 0.604 1 92
  • 93. 類似度の算出:調整コサインベース 調整コサインベースの類似度計算 (Adjusted cosine-based similarity computation) ①Itemの評価平均からの差分 行列 User1 User2 User3 Item評価平均 Item1 1 1 -1 からのずれ値 Item2 1 -1 0 Item3 -5/2 0 4/3 93
  • 94. 類似度の算出:調整コサインベース 調整コサインベースの類似度計算 (Adjusted cosine-based similarity computation) ①Itemの評価平均からの差分 行列 User1 User2 User3 Item評価平均 Item1 1 1 -1 からのずれ値 Item2 1 -1 0 Item3 -5/2 0 4/3 User間 相関行列 ②User Vectorの規格化・内積 User1 User2 User3 User1 1 -0.675 -0.884 User2 -0.675 1 -0.253 User3 -0.884 -0.253 1 94
  • 95. 協調フィルタリング: アルゴリズム アルゴリズム 1. 類似アイテム(またはユーザー)を見つける 2. 類似アイテム(またはユーザー)を利用し、予測する 95
  • 96. 協調フィルタリング: 評価予測 類似アイテム・ユーザーを利用し予測する 96
  • 97. 協調フィルタリング: 評価予測 類似アイテム・ユーザーを利用し予測する K近傍法 K個の近いアイテム・ユーザーの評価を 偏差を重み付けして和を取る 97
  • 98. 協調フィルタリング: 評価予測 類似アイテム・ユーザーを利用し予測する K近傍法 K個の近いアイテム・ユーザーの評価を 偏差を重み付けして和を取る ItemのUser評価行列 Riu User1 User2 User3 平均 Item1 3 2 1 2 Item2 4 2 3 3 Item3 2 4 5 11/3 平均 3 8/3 3 26/3 98
  • 99. 協調フィルタリング: 評価予測 類似アイテム・ユーザーを利用し予測する K近傍法 K個の近いアイテム・ユーザーの評価を 偏差を重み付けして和を取る ItemのUser評価行列 Riu User1 User2 User3 平均 Item1 3 2 1 2 Item2 4 2 3 3 Item3 2 4 5 11/3 平均 3 8/3 3 26/3 相関ベース類似度計算 User間 相関行列 Cuv User1 User2 User3 User1 1 -0.866 -0.5 User2 -0.866 1 0.87 User3 -0.5 0.87 1 99
  • 100. 協調フィルタリング: 評価予測 類似アイテム・ユーザーを利用し予測する K近傍法 K個の近いアイテム・ユーザーの評価を 偏差を重み付けして和を取る ItemのUser評価行列 Riu User1のItem1への評価期待値 User1 User2 User3 平均 =User1の平均評価 Item1 3 2 1 2 Item2 4 2 3 3 +User2の重みづき偏差 Item3 2 4 5 11/3 +User3の重みづき偏差 平均 3 8/3 3 26/3 =R1 相関ベース類似度計算 +C12/(C12+C13)*(R12 –R2) User間 相関行列 Cuv +C13/(C12+C13)*(R13 –R3) User1 User2 User3 User1 1 -0.866 -0.5 =4.2 User2 -0.866 1 0.87 User3 -0.5 0.87 1 100
  • 102. Amazon協調フィルタリング 世界で最も知られている協調フィルタリング Amazon.co.jp 検索・閲覧 レコメンデーション 102
  • 103. Amazon協調フィルタリング 世界で最も知られている協調フィルタリング ◆アイテム-アイテム協調フィルタリング アイテムベース 同じアイテムを見たユーザーには、同じアイテムを推薦 ユーザー数に依存せずスケールする 処理 ①アイテム-推薦アイテムのテーブルをオフラインで作る ②ユーザーアクセス時にはテーブルを参照するだけ 103
  • 104. Amazon-アイテム-アイテム協調フィルタリング アイテム-アイテム協調フィルタリング アルゴリズム User1 User2 User3 User4 Item1 1 1 Item2 1 1 Item3 1 1 1 Item4 1 1 104
  • 105. Amazon-アイテム-アイテム協調フィルタリング アイテム-アイテム協調フィルタリング アルゴリズム 1. 空のアイテム-アイテム の行列を作る User1 User2 User3 User4 Item1 Item2 Item3 Item4 Item1 1 1 Item1 Item2 1 1 Item2 Item3 1 1 1 Item3 Item4 1 1 Item4 105
  • 106. Amazon-アイテム-アイテム協調フィルタリング アイテム-アイテム協調フィルタリング アルゴリズム 1. 空のアイテム-アイテム の行列を作る 2. 全アイテムに関し次の処理を行う 2-1. あるアイテム(親アイテム)を購入した顧客全てに対し 購入アイテム(子アイテム)をカウントする。 2-2. 親アイテム列・子アイテム行にカウント数を入れる 2-3. 親アイテム列のカウント数上位を推薦アイテムとする User1 User2 User3 User4 Item1 Item2 Item3 Item4 Item1 1 1 Item1 1 2 Item2 1 1 Item2 Item3 1 1 1 Item3 Item4 1 1 Item4 106
  • 107. Amazon-アイテム-アイテム協調フィルタリング アイテム-アイテム協調フィルタリング アルゴリズム 1. 空のアイテム-アイテム の行列を作る 2. 全アイテムに関し次の処理を行う 2-1. あるアイテム(親アイテム)を購入した顧客全てに対し 購入アイテム(子アイテム)をカウントする。 2-2. 親アイテム列・子アイテム行にカウント数を入れる 2-3. 親アイテム列のカウント数上位を推薦アイテムとする User1 User2 User3 User4 Item1 Item2 Item3 Item4 Item1 1 1 Item1 1 2 Item2 1 1 Item2 1 1 1 Item3 1 1 1 Item3 2 1 1 Item4 1 1 Item4 1 107
  • 108. レコメンデーションの手法 レコメンデーションの手法 分析手法 分析・推薦対象 類似度算出の対象 コンテンツベース コラボレーションベース (協調フィルタリング) アイテム アイテムの類似 アイテムの ユーザー行動 ベース アイテム タームベクトル (購入、閲覧、保存、評価、 ブックマークなど) ユーザー ユーザーの類似 ユーザープロファイルの ベース ユーザーが好む タームベクトル アイテム (年齢、ユーザー、居住地、 資産) 108
  • 109. 類似度の計算手法 利点と難点 類似度算出法 利点 難点 コンテンツ ◆少ないデータでも動作: ◆コンテンツの質が評価不可: ベース 行動履歴が少ない新規ユーザー・ タームベクトルのみ用いる。記事が アイテムに対しても適用できる。 良し悪しはアルゴリズムには分から ない。 協調フィルタリン ◆コンテンツの質が評価可能: ◆少ないデータの予測能力が グ 例:PageRank(Google):リンク構造 低い: ◆展開が容易: 行動履歴が少ない新規ユーザー・ アイテムに対し精度が低い。 ・言語に依存しない (※通常、十分な数の評価がある ・画像、音楽、動画へも同様に適用 まで、新規ユーザー・アイテムを推 アイテムをブラックボックスとして扱 薦しない) えるため。 (コンテンツ情報を必要としない) 109
  • 110. 類似度の計算手法 利点と難点 類似度算出法 利点 難点 コンテンツ ◆少ないデータでも動作: ◆コンテンツの質が評価不可: ベース 行動履歴が少ない新規ユーザー・ タームベクトルのみ用いる。記事が アイテムに対しても適用できる。 良し悪しはアルゴリズムには分から ない。 協調フィルタリン ◆コンテンツの質が評価可能: ◆少ないデータの予測能力が グ 例:PageRank(Google):リンク構造 低い: ◆展開が容易: 行動履歴が少ない新規ユーザー・ アイテムに対し精度が低い。 ・言語に依存しない (※通常、十分な数の評価がある ・画像、音楽、動画へも同様に適用 まで、新規ユーザー・アイテムを推 アイテムをブラックボックスとして扱 薦しない) えるため。 (コンテンツ情報を必要としない) 110
  • 111. 類似度の計算手法 利点と難点 類似度算出法 利点 難点 コンテンツ ◆少ないデータでも動作: ◆コンテンツの質が評価不可: ベース 行動履歴が少ない新規ユーザー・ タームベクトルのみ用いる。記事が アイテムに対しても適用できる。 良し悪しはアルゴリズムには分から ない。 協調フィルタリン ◆コンテンツの質が評価可能: ◆少ないデータの予測能力が グ 例:PageRank(Google):リンク構造 低い: ◆展開が容易: 行動履歴が少ない新規ユーザー・ アイテムに対し精度が低い。 ・言語に依存しない (※通常、十分な数の評価がある ・画像、音楽、動画へも同様に適用 まで、新規ユーザー・アイテムを推 アイテムをブラックボックスとして扱 薦しない) えるため。 (コンテンツ情報を必要としない) 111
  • 112. 類似度の計算手法 利点と難点 類似度算出法 利点 難点 コンテンツ ◆少ないデータでも動作: ◆コンテンツの質が評価不可: ベース 行動履歴が少ない新規ユーザー・ タームベクトルのみ用いる。記事が アイテムに対しても適用できる。 良し悪しはアルゴリズムには分から ない。 協調フィルタリン ◆コンテンツの質が評価可能: ◆少ないデータの予測能力が グ 例:PageRank(Google):リンク構造 低い: ◆展開が容易: 行動履歴が少ない新規ユーザー・ アイテムに対し精度が低い。 ・言語に依存しない (※通常、十分な数の評価がある ・画像、音楽、動画へも同様に適用 まで、新規ユーザー・アイテムを推 アイテムをブラックボックスとして扱 薦しない) えるため。 (コンテンツ情報を必要としない) 112
  • 113. 類似度の計算手法 利点と難点 類似度算出法 利点 難点 コンテンツ ◆少ないデータでも動作: ◆コンテンツの質が評価不可: ベース 行動履歴が少ない新規ユーザー・ タームベクトルのみ用いる。記事が アイテムに対しても適用できる。 良し悪しはアルゴリズムには分から ない。 協調フィルタリン ◆コンテンツの質が評価可能: ◆少ないデータの予測能力が グ 例:PageRank(Google):リンク構造 低い: ◆展開が容易: 行動履歴が少ない新規ユーザー・ アイテムに対し精度が低い。 ・言語に依存しない (※通常、十分な数の評価がある ・画像、音楽、動画へも同様に適用 まで、新規ユーザー・アイテムを推 アイテムをブラックボックスとして扱 薦しない) えるため。 (コンテンツ情報を必要としない) 113
  • 114. 類似度の計算手法 利点と難点 類似度算出法 利点 難点 コンテンツ ◆少ないデータでも動作: ◆コンテンツの質が評価不可: ベース 行動履歴が少ない新規ユーザー・ タームベクトルのみ用いる。記事が アイテムに対しても適用できる。 良し悪しはアルゴリズムには分から ない。 協調フィルタリン ◆コンテンツの質が評価可能: ◆少ないデータの予測能力が グ 例:PageRank(Google):リンク構造 低い: ◆展開が容易: 行動履歴が少ない新規ユーザー・ アイテムに対し精度が低い。 ・言語に依存しない (※通常、十分な数の評価がある ・画像、音楽、動画へも同様に適用 まで、新規ユーザー・アイテムを推 アイテムをブラックボックスとして扱 薦しない) えるため。 (コンテンツ情報を必要としない) 114
  • 115. レコメンデーションエンジンの入出力 レコメンデーションエンジンの 入出力 アイテム提示の アイテムの情報 コンテキスト アイテムのコンテンツ 検討中アイテムの カテゴリ … ユーザー レコメンデーション レコメンドされた プロファイル システム アイテム・ユーザー 年齢 性別 居住地 資産 … ユーザー インタラクション 閲覧履歴 タグ付け 購入 保存 評価 メール送信履歴 … 115
  • 116. 類似度の計算手法 2手法を合成しての適用 ◆コンテンツベースとコラボレーションベースの結果を合成 ◆十分な数の評価が行われるまでは、コンテンツベース ◆時期、月、週などの情報をレコメンデーションに反映 … 116
  • 117. 分析手法の特性 分析手法の特性 アイテムリストの変化 推薦対象 低頻度 高頻度 アイテム アイテムベース分析 ユーザーベース分析 (例:ニュースサイト。ニュース 記事が頻繁に更新) ユーザー ユーザーベース分析 空間次元数(アイテム・ユーザー) 小さい次元数の対象の方法を扱うほうが容易 計算速度 アイテムベースのアルゴリズムのほうが速い(経験則) 117
  • 118. AGENDA ◆自己紹介 ◆ソーシャルウェブとレコメンデーション ◆レコメンデーション ●レコメンデーションとは ●2つのレコメンド経路 ●類似度によるレコメンド手法 ○コンテンツベースフィルタリング ○協調フィルタリング ●その他のレコメンド手法 ●開発用ライブラリ (Java) ◆最後に 118
  • 119. 類似度以外からのレコメンデーション 類似度算出以外の レコメンデーション ルールベース レコメンドのルールを決め、ルールに従いレコメンド。 例:紙おむつ買う → ビールを勧める ※ルール作成にアソシエーション分析も用いられる。 ⇒5/22のTokyo.Rで話します。「R言語によるアソシエーション分析」 119
  • 120. 類似度以外からのレコメンデーション 類似度算出以外の レコメンデーション ルールベース レコメンドのルールを決め、ルールに従いレコメンド。 例:紙おむつ買う → ビールを勧める ※ルール作成にアソシエーション分析も用いられる。 ⇒5/22のTokyo.Rで話します。「R言語によるアソシエーション分析」 ベイジアンネットワーク 過去事象から、事象発生の確率ネットワークを作成。 各事象に対し、遷移確率が高い先をレコメンド。 120
  • 121. 類似度以外からのレコメンデーション 類似度算出以外の レコメンデーション ルールベース レコメンドのルールを決め、ルールに従いレコメンド。 例:紙おむつ買う → ビールを勧める ※ルール作成にアソシエーション分析も用いられる。 ⇒5/22のTokyo.Rで話します。「R言語によるアソシエーション分析」 ベイジアンネットワーク 過去事象から、事象発生の確率ネットワークを作成。 各事象に対し、遷移確率が高い先をレコメンド。 121
  • 122. 類似度以外からのレコメンデーション 類似度算出以外の レコメンデーション ルールベース レコメンドのルールを決め、ルールに従いレコメンド。 例:紙おむつ買う → ビールを勧める ※ルール作成にアソシエーション分析も用いられる。 ⇒5/22のTokyo.Rで話します。「R言語によるアソシエーション分析」 ベイジアンネットワーク 過去事象から、事象発生の確率ネットワークを作成。 各事象に対し、遷移確率が高い先をレコメンド。 122
  • 123. AGENDA ◆自己紹介 ◆ソーシャルウェブとレコメンデーション ◆レコメンデーション ●レコメンデーションとは ●2つのレコメンド経路 ●類似度によるレコメンド手法 ○コンテンツベースフィルタリング ○協調フィルタリング ●その他のレコメンド手法 ●開発用ライブラリ (Java) ◆最後に 123
  • 124. 開発用ライブラリ (Java) Java データマイニングライブラリ Lucene Apache Lucene。オープンソースの全文検索エンジン。 サブプロジェクトに分散検索の 「Hadoop」、 Hadoop上で動く機械学習の 「Mahout」がある。 WEKA オープンソースのデータマイニングフレームワーク。 前処理、分類、回帰、クラスタリング、相関ルール、可視化 JDM(Java Data Mining) データマイニングの標準API構築を目指されている。 分類、回帰、クラスタリング、属性重要度、相関ルール、 多変量解析、時系列分析、異常検出、変換、テキストマイニング 多目標モデル。 124
  • 125. AGENDA ◆自己紹介 ◆ソーシャルウェブとレコメンデーション ◆レコメンデーション ●レコメンデーションとは ●2つのレコメンド経路 ●類似度によるレコメンド手法 ○コンテンツベースフィルタリング ○協調フィルタリング ●その他のレコメンド手法 ●開発用ライブラリ (Java) ◆最後に 125
  • 126. 最後に 蓄積されたデータを有効活用してきたい 126
  • 127. 最後に 蓄積されたデータを有効活用してきたい Google Group: http://groups.google.com/group/webmining-tokyo 127
  • 128. 最後に データマイニング+WEB勉強会 発表者を募集しています 連絡 Google Group: http://groups.google.com/group/webmining-tokyo Twitter : http://twitter.com/hamadakoichi 128
  • 130. AGENDA ◆自己紹介 ◆ソーシャルウェブとレコメンデーション ◆レコメンデーション ●レコメンデーションとは ●2つのレコメンド経路 ●類似度によるレコメンド手法 ○コンテンツベースフィルタリング ○協調フィルタリング ●その他のレコメンド手法 ●開発用ライブラリ (Java) ◆最後に 130
  • 131. 目的: データマイニング+WEB勉強会@東京 データマイニングの方法論を用い 蓄積されたデータを有効活用していく方法を学ぶ 統計解析 Web API データマイニング Amazon Web Service 楽天 Web Service 対応分析 時系列分析 Twitter API Recruit Web Service 回帰分析 Yahoo! Web Service クラスター分析 はてな Web Service 判別分析 主成分分析 因子分析 (Bookmark/Graph/Keyword,…) カーネル法 Google Data API 樹木モデル (Calendar/Maps/BookSearch/ FinancePortfolioData,…) ニューラルネットワーク サポートベクターマシン … 免疫型最適化 Particle Swam … Memetic Ant Colony 遺伝的 熱力学的 シミュレーテドアニーリング 力学モデルによる最適化 タブーサーチ グラフ … 最適解探索 アルゴリズム 131
  • 133. 推薦文献 集合知イン・アクション 集合知プログラミング 133
  • 134. 推薦文献 確率モデルによるWebデータ解析法 - データマイニング技法からe-コマースまで ソーシャル・ウェブ入門 Google, mixi, ブログ・・・新しいWeb世界の歩き方 134
  • 135. 推薦動画 Social Media Revolution 2 2010/05/05 http://www.youtube.com/watch?v=lFZ0z5Fm-Ng Social Media Revolution 2009/07/30 http://www.youtube.com/watch?v=sIFYPQjYhv8 135