Webスクレイピングした数値の活用法
•
4 likes•1,492 views
Webスクレイピングした数値の活用法について話そうと思います。ExcelやR言語の活用法も簡単に語りました。
Recommended
More Related Content
Featured
Featured (20)
Webスクレイピングした数値の活用法
- 2. 本稿の想定する読者層 1. 数学(高校2年生以上の確率、統計学)が好き な方 2. ExcelやR言語がPC上にインストールされて いる方 3. Webスクレイピングを何らかの手法で実践 した事のある方
- 5. 基本の確認(1):確率変数と確率分布 確率変数 試行の結果によって，その値をとる確率が定まる変数のこ と。例えば確率変数X=1に対応する確率をP(X=1)と書く。 確率分布 確率変数Xとその値iをとる確率P(X=i)の対応を示したもの。 慣例として、以下の表や分布で表す。 X x1 x2 xn 計 P P(X=x1) P(X=x2) P(X=xn) 1
- 7. 基本の確認(3):平均、分散、標準偏差 以下n個の確率変数x1,x2,x3,……..,xnがあり、それに対応する 確率をp1,p2,p3, ……,pnとする。このとき 平均: 分散: 標準偏差: 標準偏差の値が低い程、それだけ平均の周りに確率変数が分 布している事を示す。各確率変数のばらつき具合を読み取って いく。 ! (X) = V(X) E(X) = xk pk k=1 n ! V(X) = E(X ! E(X))2 = E(X2 )!{E(X)}2
- 8. 基本の確認(4):確率変数の平均と分散の例題 図のような立方体の展開図に1∼5の数字を書き込ん だサイコロがある。但し、各面の出方は同様に確から しいものとする。 (1):このサイコロ1回振り、出た目をXとする。この時 平均E(X)、分散V(X)を求めよ。 (1) E(X) =1! 1 6 + 2! 1 6 +3! 1 6 + 4! 1 6 + 5! 2 6 = 20 6 = 10 3 E(X2 ) =12 ! 1 6 + 22 ! 1 6 +32 ! 1 6 + 42 ! 1 6 + 52 ! 2 6 = 80 6 = 40 3 V(X) = E(X2 )!{E(X)}2 = 40 3 ! 100 9 = 20 3
- 9. 基本の確認(5):例題をExcelで解く 問題:6つの標本からなる母集団があり、各標本値は1,2,3,4,5,6 とする。このとき母集団Aの平均と分散を標本平均、標本分散と 呼ぶ。 このときプログラム等を用いて母集団Aの標本平均、標本分散、 標準偏差を求めよ。 <1>:Excelの場合(備考の関数を使って求める) 標本値(確率変数) 備考 1 2 3 4 5 6 標本平均 3.5 AVERAGE関数 標本分散 2.916666667 VARP関数 標準偏差 1.707825128 STDEVP関数
- 10. 基本の確認(6):例題をR言語で解く 問題:6つの標本からなる母集団があり、各標本値は1,2,3,4,5,6 とする。このとき母集団Aの平均と分散を標本平均、標本分散と 呼ぶ。 このときプログラム等を用いて母集団Aの標本平均、標本分散、 標準偏差を求めよ。 <2>:R言語の場合[6] var関数は不偏分散を求める関数なので、varp関数を定義 >varp <-function(x) { var(x) * (length(x)-1) / length(x) } >v<-c(1,2,3,4,5,6) > mean(v) #標本平均を計算 [1] 3.5 > varp(v) #標本分散を定義 [1] 2.916667 > sqrt(varp((v)) #標準偏差の定義を思い出す [1] 1.707825
- 11. 基本の確認(7):四分位数、中央値 第一分位数、第二分位数、第三分位数 測定値を小さい順に並べたときの小さいほうから25%、50%(中央値)、 75%の数 > x <-c(52,67,80,43,54,56,68,72,35) > quantile(x) 0% 25% 50% 75% 100% 35 52 56 68 80 Excelの場合[2] :QUARTILE(範囲,分位)を用いる。 第一分位数 第二分位数 第三分位数 入力値 52 67 80 43 54 56 68 72 35 52 56 68 R言語の場合[3] 、quantile関数を使って計算する。 例えば第一分位数を求める時は、セルJ1に「QUARTILE(B2:J2,1)」と入 力する。第二引数は、0が最小値で2が中央値、4が最大値となる。
- 13. 基本の確認(9):大数の法則 前頁でコイントスの話をしたが、nの回数を増やすとqnは経験的 に1/2に近づく。この性質を大数の法則[5]と言う。 大数の法則 n個の確率変数X1,X2,……,Xnを互いに独立で同じ確率分布に従う 確率変数とする。 その確率分布の期待値E=μとし、平均値Xn=Σ(1 k n)Xk/nと する。このとき任意の正数εについて、 が成り立つ。 lim n!" P(| X ! n !µ |!!) = 0 これは集計するデータ数nが多ければ多い程、元の値の推測がし やすい事を示している。
- 14. 基本の確認(10):大数の法則(2) 大数の法則を証明するためには、チェビシェフの不等式[4]を証明せね ばならない。以下離散型確率変数を例に説明する。 離散型確率変数Xの平均をμ、標準偏差をσとする。このとき任意の 正数λに対し、 が成立する。 P(| X !µ |< !" ) "1! 1 !2 [証明]確率変数Xの取る値をx1,x2,x3,…..,xnとし、P(X=xi)=piとする。 いま、¦xi ‒ μ¦<λσを満たす整数i全体の集合をA、その補集合をBと する。 であるが、一方、標準偏差の定義より pi =1! pi i"A # i"B # =1! P(| x !µ |< !" ) ! 2 = (xi !µ)2 pi " i#A$B % (xi !µ)2 pi " i#B % ("! )2 pi = i#B % "2 ! 2 pi i#B % ! pi " i#B $ 1 !2 P(| X !µ |< !" ) "1! 1 !2(1)(2) より、 (1) (2)
- 15. 基本の確認(11):大数の法則(3) 次はチェビシェフの不等式から、大数の法則[5]を 証明する。 [証明] にE(Xn)=μ,V(Xn)=σ2/nを代入して、 さらに とおいて、 以上より、 P(| X ! !µ |" ! " 2 n ) # 1 !2 P(| X ! !µ |! ! " 2 n ) ! 1 !2 ! = " # 2 n P(| X ! !µ |"!) # " 2 n!2 lim n!" P(| X # #µ |$!) % lim n!" " 2 n!2 = 0
- 16. 基本の確認(12):最小二乗法[7][8] 右図のようにな赤のグラフがある。このときn 個のデータ(x1,y1),(x2,y2)……(xn,yn)において、 を最小にするa,bを決定する事を指す。 a,bを決定する手順は以下の通り。 0 200 400 600 800 1 2 3 4 5 6 7 8 L = {yi !(axi + b)}2 i=1 n " dL da = !2 xi {yi !(axi + b)} = 0 " i=1 n # xi yi ! a xi 2 i=1 n # ! b xi i=1 n # = 0 i=1 n # " ( xi 2 )a +( xi )b i=1 n # = xi yi i=1 n # i=1 n # まずLをa,bで偏微分する。 Lはa,bの二次関数より、以下二式を満たすa,bがLを最小にする。 dL db = !2 {yi !(axi + b)} = 0 i=1 n " # yi ! a xi ! bn = 0 # i=1 n " ( xi i=1 n " )a + nb = yi i=1 n " i=1 n " 上記のa,bに対する連立方程式を解き、(a,b) = n xi yi ! "xi"yi# n("x2 i )!("xi )2 , ("x2 i )("yi )!("xi )("xi yi ) n("x2 i )!("xi )2 $ % & && ' ( ) ))
- 17. チュートリアルの参考文献 [1]確率変数，確率分布の定義(高校数学の基本問題) http://www.geisya.or.jp/ mwm48961/statistics/variable1.htm [2] QUARTILE関数¦初心者のエクセル(Excel)学習・入門 初心者のエク セル(EXCEL)学習・入門 http://excel.onushi.com/function/quartile.htm [3] R言語プログラミング： 基本統計量の算出(hamadakoichi blog) http://d.hatena.ne.jp/hamadakoichi/20100209/p2 [4]大学への数学II(研文書院 ISBN4-7680-1064-4) P244 [5]大数の法則の証明 村山 芳幸: http://www5f.biglobe.ne.jp/ ymlab/forme/taisuu/
- 18. チュートリアルの参考文献 [6] R - 分散¦まさるな日記 http://d.hatena.ne.jp/ykchat/20110907/1315403658 [7]最小二乗法 http://www.cg.info.hiroshima-cu.ac.jp/ miyazaki/knowledge/ tech32.html [8]最小二乗法¦物理のかぎしっぽ http://hooktail.sub.jp/computPhys/least-square/
- 20. 「ラブライブ! School idol project」について あらすじ 主役(9人)が通っている学校の廃校を阻止しようと、 アイドル活動を始めるお話 筆者注目の協賛 • サンライズ(筆頭株主:バンダイナムコホールディングス ) • 電撃G's magazine(KADOKAWA) • ブシロード(KLab同様ソーシャルゲームに深く関係) 2014©プロジェクトラブライブ!より メデイアミックス展開 • TV、ラジオ、書籍など多方面に展開 • アイドルのお話の為、CDグッズの販売が目立つ Cure Maid Café(秋葉原)にて期間限定の特設店舗 • 「ガンダムカフェ」のラブライブ!版と言うべきカフェ を設置している www.koepota.jpより
- 21. バンダイナムコ関係のアイドル作品について 2014©プロジェクトラブライブ!より 2014©バンダイナムコゲームズ 2014©??? THE IDOLM@STER ラブライブ! アイカツ! • バンダイナムコの周辺では上記3作品のアイドルを題材としたゲーム やアニメをリリースしている • アイドルと言えば音楽。作中の主題、展開、世界観、キャラクターの 個性を視聴者を伝える為に音楽を流す為、そこから「何を売りにした いか？」が読み取りやすい(3作品間の方向性の違いを掴む) • キャラクターの個性が伝わっているかを調べる為に、2ch等の書き込 みに注目し、どのワードが多いかを調べる事も有効である(自然言語 処理)
- 22. と、雑談はここまでにして…
- 23. Twitterのフォロワー数の現状 • 5/13から6/28までのラブライブ!のTwitterフォロワー数(累計) の変化をグラフ化 • この1ヶ月間で4万人から5万人の新規フォロワーを獲得 155000 160000 165000 170000 175000 180000 185000 190000 195000 200000
- 24. 仮説1:5月より6月の方が新規フォロワー獲得している？ 仮説 • 5月より6月の方が新規フォロワー獲得に成功しているか？ • 1週間毎のTwitterのフォロワー数の推移を比較して調査 検証 • 5月3週の合計が3,272人、6月2週の推移が4,331人と増加している • 近似直線(最小二乗法)を引くと、傾きが上向きより5月より6月の方が新規 規フォロワー獲得に成功している 3272 3982 4331 4027 2500 3000 3500 4000 4500 5月3週 6月1週 6月2週 6月3週 1週間合計のフォロワー数の推移 1週間合 計 1週間合計 1週間平均 中央値 標準偏差 5月3週 3272 467 449 111 6月1週 3982 664 525.5 251 6月2週 4331 619 599 93 6月3週 4027 575 555 182
- 26. 今度はアニメ放送前後に着目します
- 27. 仮説2:アニメ放送直後にフォロワー数が最も増える？ 仮説 • アニメの放送時間は「日曜22:30∼」「火曜日2:29∼」「火 曜日1:35∼」「水曜0:00」の4つの時間帯 • 特に日曜日のアニメ放送前後にTwitterのフォロワー数が最も 増えると言う仮説を立てた • この当たり前の事がどれだけ当たり前かを調べる 検証の手順 1. Twitterのフォロワー数の前日との差を調べる 2. 曜日毎の平均(代表値)を調べ、他の曜日とどれだけ違うか検 証する
- 28. 仮説2:アニメ放送直後にフォロワー数が最も増える？ • 月曜日0:00に集計した値がグラフの月曜日に当たり、日∼月までの フォロワー数の情報を取得 • 月曜日の合計と平均は、3252人と813人 • アニメ放送から時期の離れた金曜日(木∼金)と比較し、1.95(倍)新 規フォロワーを獲得 • この事からアニメ放送直後であればある程、新規フォロワーを取り 込みやすい事が分かる(仮説の裏が取れた) 0 1000 2000 3000 4000 日 月 火 水 木 金 土 2311 3252 3027 2165 1938 1662 1923 5.18 6.27の曜日別合計 合計 0 200 400 600 800 1000 日 月 火 水 木 金 土 577.75 813 756.75 541.25 484.5 415.5 480.75 5.18 6.27の曜日別平均 平均
- 29. 仮説3:アニメ放送前後が一番注目度が高い？ 仮説 • 今度はアニメ放送前後が一番注目度が高まっているかどうかを調 べる • さらに当たり前の事を、どれだけ当たり前かを調べる 検証の手順 1. 1時間毎のフォロワー数の推移に注目 2. 日曜日∼月曜日までの48時間の推移を週毎に集計し、週毎に見比 べて行く。
- 30. 仮説3:アニメ放送前後が一番注目度が高い？ -‐100 0 100 200 300 1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 5.18-‐5.19 5.25-‐5.26 6.8-‐6.9 6.22-‐6.23 結果 – 横軸は日曜日0時からの経過時間を表し、23時∼の所を見れ ば良い。 – 上記グラフより、アニメ放送時に最も注目が集まっている事 を裏付けることができる。 – 又6月の方が5月よりもグラフの山が急であることから、6月 の方が注目度が高い事が分かる。
- 32. その1:アニメグッズの売上の目処が立てやすくなる(1) • アニメの注目度が分かれば、全体の何%の人間が商品を買ってくれた か？に注目し、売上の目処が立てやすくなる。 例):ソーシャルゲームの売上の立て方 • 商品を購入した人の割合 = 継続率 課金率より、 • 「売上=初期に注目した人 商品を購入した人の割合 客単価」と言う 簡単なモデルで売上を見込んでいる
- 33. その1:アニメグッズの売上の目処が立てやすくなる(2) • 今回のTwitterフォロワー数を注目度の指標として見て、以下の 売上の見込み方を提案する。 提案手法:アニメグッズ売上の計算式 • この代替として「売上 = Twitterフォロワー数 買った人の 割合 客単価」として、 • 売上を見込む計画として、アニメの注目度を用いる事ができる。
- 34. その2:注目度の変化に応じた、作戦が立てやすい • 以下は広告費に億単位をぶっ込める会社しかできない技だが、 注目度の変化に応じた作戦を立てやすくなる。 • Twitterのフォロワー数の推移を、アニメAの注目度の推移と見 立てる事で、3ヶ月間で注目度が何倍まで伸びるかの推測が立 てやすくなる。 • 特に同じ題材のアニメ広告(施策)を打つ時に有効と考える。 • 例えば株式会社コロプラでは、未来の広告効果に よるDAU(注目度)の増加を予測し、売上向上を目 指した。 • ラブライブ!ならば、アニメ放送時間中に「限定 カードがもらえる」と言った施策を打ちInstall、 DAUの向上させる事も可能。h'p://gamebiz.jp/?p=126561より
- 36. 第1章、第2章のまとめ 第1章で分かった事 • 仮説1より放送時期に応じ、フォロワー数(注目度)が違う • 仮説2と3より、アニメを放送する曜日や時間帯に注目が集まる 第2章で気づいた事 • 早い話テレビアニメとは広告！ • 売上は、アニメに注目している人に占める割合に注目する • Twitterのフォロワー数の推移から、3ヶ月間で注目度が何倍まで伸 びるかの推測が立てやすい • ライトノベルの販売促進目的のアニメを、他の協賛元と共同出資で 放映し、どれだけ売上が向上するのかを見込みやすくなる。 (KADOKAWAの販売戦略と考える)
- 37. 個人的な私見 • 先日KADOKAWAとドワンゴとの経営統合が発表された。 • 記事: 角川ドワンゴ統合の正しい解釈、川上会長の頭の中 http://business.nikkeibp.co.jp/article/opinion/20140530/265881/ • これによりKADOKAWAのアニメにおけるニコニコ動画の曜 日毎の再生回数から、視聴率や注目度の変化を読み取る事が 可能となる • 本稿のテクニックの応用の幅が広がる事が期待できる
- 38. 最後に • コンピューターが０と1で動いているように、イ ンターネットは大量の数値情報が一瞬で集積さ れる • このため、確率統計などの活用の場にうってつけ である • 最後に本稿が、読者が数値を読み取り、物事や 物事同士の共通点や結びつきを見いだす一助に なれば嬉しい
- 39. ご清聴、ありがとうございました Thank u for hearing my talk. see u around!