Recommended
More Related Content
Viewers also liked
Similar to 京都大学鹿島研究室勉強会資料-配布用-
Similar to 京都大学鹿島研究室勉強会資料-配布用- (20)
京都大学鹿島研究室勉強会資料-配布用-
- 5. 一般的な分析の流れ データ分析の大きな流れを整理。要件定義～ビジュアライズまで60分で説明します。 今日伝えたいことは、スキルではなく、”アウトプットの出し方”です。 （※資料は公開するので、後でカタログ的に周辺領域を見直して頂くと学びも多いです） 要件定義 データ収集 クレンジング・加工 集計・分析 ビジュアライズ ・リサーチ ・課題抽出 ・前提条件確認 -時間 -金額 -データ -インフラ ・ダウンロード ・API ・スクレイピング ・データ統合 ・修正 ・RDBM化 タ ス ク 必 要 ス キ ル ・ 技 能 ・単純集計 ・クロス集計 ・統計解析 ・機械学習 ・表化 ・グラフ化 ・ダッシュボード化 ・コンサルティング ・プロジェクトマネジメ ント ・業界知見 ・ビジネス知見 （会計、その他） ・クローリング ・HTML/FTP等のサー バーインフラ系知識 ・データ加工のプログ ラミング ・データベース設計 ・SQL系のデータベー ス ・R、SAS系の予測分 析、機械学習系のプロ グラミング ・PowerPointでのプレ ゼン ・Tableau系のダッシュ ボードツール 時 間 3日～1週間 25% 1日～2日 10% 3日～1週間 25% 1日～1週間 20% 1日～1週間 20% 5
- 6. 本日のケース 今回は国立情報学研究所のダウンロードサービスにより株式会社ドワンゴから 提供を受けた「ニコニコ動画コメント等データ」を使います。 要件定義 データ収集 クレンジング・加工 集計・分析 ビジュアライズ ・リサーチ ・課題抽出 ・前提条件確認 -時間 -金額 -データ -インフラ ・ダウンロード ・API ・スクレイピング ・データ統合 ・修正 ・RDBM化 タ ス ク ・分析設計 ・単純集計 ・クロス集計 ・統計解析 ・機械学習 ・表化 ・グラフ化 ・ダッシュボード化 ・メッセージング 本 日 の 内 容 皆さんに わかりやすく 楽しいデータ ”分析例”を提供 wget一撃 json⇒SQL Python UNIXによる加工 SQLによる集計 とサンプリング Pentaho集計 Rによる解析 Tableauで可視化 ダッシュボード化 所 要 時 間 1日 30分 1時間 1日～3日 4時間 6
- 8. 1.データ収集～分析用データの作成まで 8 分析用 データ データ 収集 データ 加工 分析用 データ 分析用 データ ク レ ン ジ ン グ ・ デ ー タ 圧 縮 集計・ 単純分析 ビジュ アリ ゼーショ ン モデル化・ 解析 ダッ シュ ボード 化 下ごしらえ
- 10. データ収集：スクレイピング wgetで一撃必殺。(-rオプションで、全てのリンク先を繰り返しdownload) wget –r example.com ≪格納先≫ 参考URL:http://girigiribauer.com/archives/925 【wgetコマンドをクローラーとして使う】 wget --recursive --level inf --no-clobber --random-wait --restrict-file-names=windows --convert-links --no-parent --adjust-extension example.com 10
- 11. 11 野生の解析屋さんがいっぱい。 Deep Learningはほぼ使わないです。 Boostingの方がメジャー。 解析したい、でもデータがない・・・！ Kaggleは企業や研究者がデータを投稿し、世界中 の統計家やデータ分析家がその最適モデルを競い 合う、予測モデリング及び分析手法関連プラット フォーム及びその運営会社。 情報科学、統計学、経済学、数学などの分野から全 世界で約95,000人のデータサイエンティストが登録 しており[3]、同社はアメリカ航空宇宙局、ウィキペ ディア、デロイト トウシュ トーマツ、オールステート 保険等の組織と提携している。(wikipedia) 自習用
- 17. 17 【自習教材】 中上級者向けSQL文の勉強 ＳＱＬは、プログラミング言語として、かなり特殊。 「書き方」のお作法を間違えると、ものすごく効率の悪い（時間のかかる）クエリになる。 【知っておいた方が良い概念】 1.SELECTで列選択、WHEREで行選択 2.INDEXの張り方、容量とのトレードオフ WHEREでの条件指定にも依存。 3.場合分けはWHEREではなくCASE WHEN 4.HAVINGは、可視性以外の用途なし。 FROM内にSELECTを入れるのと同じ。 5.INNER JOINを活用しまくる。 横連結＋行フィルターの同時施行。 【中級者以上におすすめの書籍】 ・SQLパズル ・達人に学ぶSQL徹底指南書 自習用
- 18. SQLiteにてデータ構造を確認 【各カラムの説明】 video_id：ビデオのID番号 Title：ビデオのタイトル view_counter：再生数 mylist_counter：マイリスト数 Length：動画の長さ（秒） comment_counter：コメント数 upload_time：アップロードした時間 Tags：タグ（複数の場合、”_”で接続。 データ構造の確認 .schema 実際のデータ select * from table limit 10 18 .schemaで流し込んだデータのデータ構造を確認します。
- 19. SQL_Liteにて単純集計 動画数&再生数＆コメント数＆マイリスト数を集計。 約830万動画の平均、最大値を下記に集約。 単純集計で肌感を掴んでおくのは意外と大事。（異常値に対する感性が出てくる） 再生数 コメント数 マイリスト数 コメント率 マイリスト率 平均 4174.7 297.7 67.76 7.1% 1.6% 最大 15,454,295 517,528 65,535 （※） （※） Select avg(view_count),avg(xxxx),・・・ from yyyy; 19
- 20. 分析設計と分析用データ再作成 20 分析用 データ データ 収集 データ 加工 分析用 データ 分析用 データ ク レ ン ジ ン グ ・ デ ー タ 圧 縮 集計・ 単純分析 ビジュ アリ ゼーショ ン モデル化・ 解析 ダッ シュ ボード 化 献立立案・料理
- 22. 分析の切り口＝アイディア 22 分析の基本は「まとめる/分ける」「新指標を作る」「比較する」。 この3つをヒントに、意思決定につながりやすいアウトプットの切り口を練る。 ①まとめる/分ける -ＭＥＣＥ、ペア思考、フレームワーク -ターゲットと「それ以外」 A = B + B’ ②新指標を作る -因数分解をしてみる（率の開発） -四則演算をしてみる C = B/A ③比較する -時系列での比較(変化) -属性毎での対比 A > B
- 23. 【自習】アイディアを出しやすい分析フレームを盗む コンサルタント等の書籍から「自分が使いやすい」分析フレームをくみ上げる。 参考書籍：意思決定のための「分析の技術」 後正武著 分析の体系 23 自習用
- 29. 簡易データビジュアリゼーション 29 分析用 データ データ 収集 データ 加工 分析用 データ 分析用 データ ク レ ン ジ ン グ ・ デ ー タ 圧 縮 集計・ 単純分析 ビジュ アリ ゼーショ ン モデル化・ 解析 ダッ シュ ボード 化 盛り付け・飾り付け
- 37. ダッシュボードデザイン 37 分析用 データ データ 収集 データ 加工 分析用 データ 分析用 データ ク レ ン ジ ン グ ・ デ ー タ 圧 縮 集計・ 単純分析 ビジュ アリ ゼーショ ン モデル化・ 解析 ダッ シュ ボード 化
- 43. 【自習用】ダッシュボードの作り方を学ぶ際の教材 書籍による学習 普段の情報収集 Occam’s Razor by Avinash Kaushik http://www.kaushik.net/avinash/ The information Lab http://www.theinformationlab.co.uk/ The Datographer http://datographer.blogspot.jp/ サイエンスメディアな日々、インフォグラフィックな日々 http://scivis.hateblo.jp/ ノウハウ例：Stephen Few on Data Visualization: 8 Core Principles 1. シンプルなダッシュボードを作ろう。19個以上の要素はいらない。 2. センセーショナルな”比較”を入れよう。詳細なんて覚えられない。 3. よりデータにアクセスしやすい環境を提供しよう 4. ただ、見ること、それだけで何かが発見出来るようにしよう 5. 多様性が確認出来るような包括的なものを作ろう 6. 何が起きたかよりも何故起きたかを考えよう 7. 懐疑的になって、色んな質問を繰り返そう 8. データを様々な場所にシェアしよう 43 自習用
- 45. モデル化・解析・機械学習 45 分析用 データ データ 収集 データ 加工 分析用 データ 分析用 データ ク レ ン ジ ン グ ・ デ ー タ 圧 縮 集計・ 単純分析 ビジュ アリ ゼーショ ン モデル化・ 解析 ダッ シュ ボード 化
- 47. 【参考】ニーズに「ぴったり」のデータが存在しない時 本来、摩耗分析を行うには、日別の各動画の再生数、コメント数等のデータが欲しい。 だが、今回のように「ぴったり」のデータはなかなか存在しない。 その際は「厳密には異なる」ことを意識しつつ、代わりに使えるデータがないか検証する。 47 動画タイトル 日付 再生数 ＡＡＡＡＡＡＡ 2014/9/20 8,241 ＡＡＡＡＡＡＡ 2014/9/21 6,125 ＡＡＡＡＡＡＡ 2014/9/22 5,391 ＡＡＡＡＡＡＡ 2014/9/23 531 ＡＡＡＡＡＡＡ 2014/9/24 4,399 ＡＡＡＡＡＡＡ 2014/9/25 3,123 ＡＡＡＡＡＡＡ 2014/9/26 4,574 ＢＢＢＢＢＢＢ 2014/9/14 3,715 ＢＢＢＢＢＢＢ 2014/9/15 2,717 ＢＢＢＢＢＢＢ 2014/9/16 8,460 ＢＢＢＢＢＢＢ 2014/9/17 2,454 ＢＢＢＢＢＢＢ 2014/9/18 1,982 ＢＢＢＢＢＢＢ 2014/9/19 2,092 ＢＢＢＢＢＢＢ 2014/9/20 7,444 ＢＢＢＢＢＢＢ 2014/9/21 3,663 ＢＢＢＢＢＢＢ 2014/9/22 4,246 ＢＢＢＢＢＢＢ 2014/9/23 5,155 ＢＢＢＢＢＢＢ 2014/9/24 9,400 ＢＢＢＢＢＢＢ 2014/9/25 9,163 ＢＢＢＢＢＢＢ 2014/9/26 1,855 本当に欲しいデータ 実際にあるデータ 動画タイトル アップロード日付 再生数 経過期間 ＡＡＡＡＡＡＡ 2014/8/20 9,642 42 BBBBBBBB 2014/7/11 1,252 82 CCCCCCCC 2014/6/1 3,532 122 DDDDDDDD 2014/5/22 1,576 132 EEEEEEEEEE 2014/5/12 7,681 142 DF 2014/2/1 9,555 242 asdjhgtagaqg 2013/10/24 3,804 342 sgajghjahgah 2013/11/13 5,270 322 gdahdjkgahlgal 2013/12/3 3,669 302 ajsghjasdhgaklg 2013/8/25 1,437 402 sghajhjehahg 2013/7/16 7,166 442 aghajhgahjkerga 2013/6/6 8,006 482 egahjghaehgajkl 2013/7/27 8,983 431 gajseghjahjlghaj 2013/9/16 557 380 gnasjgjhdfakh@ 2013/11/6 9,941 329 nlghakjhiarh; 2013/12/27 1,282 278 algjoiwheghal 2012/11/18 4,090 682 gnalkgh;aoeugp 2011/10/11 2,327 1,086 gnklanhgheoha 2012/8/30 1,341 762 gnklao;ho;gweh 2013/7/20 5,367 438 アップロードからの経過日数を疑似的に摩耗期間と捉 えられないだろうか？
- 48. Excelの回帰で単純なモデル化を行ってみる モデル式は415.55×経過日数^*-0.666、R^2=0.9161 Ｒで分析する場合に更に精度の高いモデルを作れるのか。 y = 415.55x-0.666 R² = 0.9161 0 100 200 300 400 500 600 700 800 0 200 400 600 800 1000 1200 1400 1600 view_count Power (view_count) 48
- 51. Levernberg-Marquardt法による非線形回帰(1) Nls.lm関数を使って減衰系のモデルを求めてみる。モデル式は下記の通り。 nls（非線形回帰）の関数は初期値を求めてくるので、局所解等から初期値を設定。 コードはGithubにあげておきます。 モデル式：view_count=a+b*date^c⇒パラメータa,b,cを推定 参考：「でたぁっ 感動と失敗の備忘録」 佐藤さんのブログhttp://deta.hateblo.jp/entry/2014/05/08/052916 > source('~/Desktop/R/decrease_model.R') It. 0, RSS = 44314.9, Par. = 4.2 819.469 -0.800566 It. 1, RSS = 15135.2, Par. = -3.27199 689.324 -0.719096 It. 2, RSS = 15049.2, Par. = -4.06311 692.061 -0.713378 It. 3, RSS = 15049.2, Par. = -4.05919 692.114 -0.713528 It. 4, RSS = 15049.2, Par. = -4.05942 692.113 -0.713525 51 R^2=0.9849772> 0.9161 (Excel)
- 52. 0.0% 20.0% 40.0% 60.0% 80.0% 100.0% 120.0% 0 5 10 15 20 25 30 35 view_count predictionR prediction_xls Levernberg-Marquardt法による非線形回帰(1) エクセル回帰よりもRの方が精緻に最初の10日間の動きを表現出来ている。 モデルでは、2日目で初速再生数の6割、1週間で25%、1ヵ月で8.5%に摩耗する。 アップロードからの経過日数 初 速 に 対 す る 摩 耗 率 １日あたりの再生数摩耗状況 52
- 53. パラメーター数を一つ増やしたことによるペナルティ 当てはまりはよくなるものの、パラメーター数も2つから3つへと増えている。 モデルを精緻に評価するために、モデルの複雑さと当てはまりの両方を考慮した AIC(赤池情報規準：大きくなるほど悪いモデル）でモデルを選択する。 53 Y = a + b*x^cモデル AIC：2401.326 Y = b*x^cモデル AIC：2431.819 当てはまりの良さ パラメーター数によるペナルティ
- 55. 55 機械学習によるアウトプット SVM Random Forest Decision Tree Bagging Clustering Deep Learning Linear Regression ERM algorithm Multi Dimensional Scaling Neural Networks Association Analysis Bayesian Network Boosting 手法の名前は山ほど聞くけれど、どうやって正しくそれを使うのか？
- 57. 機械学習が普及した背景 57 Input/ Storage Modeling/S peed Execution データの拡充 マシン性能の向上 施策出口の拡充 IoT、センサーデータの増加 ストレージ単価の減少 データ処理の高速化 ライブラリ/オープン化 One to Oneマーケティング Operating Automation
- 58. コモディティ化する機械学習 58 計算量でこれまでの匠の技を 全てカバーしていく世界観 超高単価&難解な「専門家の趣味」から、「汎用技術」へと進化している 破壊的アルゴリズム パッケージング化 決定木→Random Forestのパラダイム クラウドサービス、ストレージなど 他サービスへの統合、合わせ売り Amazon Machine Learning 【引用】AWSブログhttp://aws.typepad.com/aws_japan/2015/04/amazon-machine-learning.html
- 65. 広告界の「呪い」の解消 65
- 66. 成長に事欠かない環境 66 ・線形代数学や微積分の基礎知識があり、論文も一通り読める ・AWS等のクラウドサービスをコントロールできる ・SQL, UNIX等でデータのクレンジングや整形ができる ・Python, R, SAS, SPSSなどで統計解析、機械学習を回せる ・Tableau等のＢＩツールでダッシュボードの構築が出来る ・メッセージが明確なプレゼンテーションが可能である ・解析、広告配信ツールのエグゼキューションが出来る ・制作チームに対し、クリエーティブ開発/指示が出来る ・様々なベンダーに対し、リーダーシップを取れる ・アドテクノロジーに精通し、適切なロードマップが描ける 私が会社に入って身に着けたスキル
- 69. APPENDIX 69
- 70. 【参考】JSON形式について[JavaScript Object Notation] JSON（ジェイソン、JavaScript Object Notation）は軽量なデータ記述言語の1つである。 様々なソフトウェアやプログラミング言語間におけるデータの受け渡しに使えるよう設計されている。(wikipedia) ⇒今やWEB上でデータベース化されている情報の多くがjson形式を取っている ⇒ネスト構造も可能 ⇒そのままではRDBMSに入らない http://thinkit.co.jp/article/70/1/ 70
- 73. ダッシュボードって？ 【ダッシュボードの定義】 1.A dashboard is a visual display(ディスプレイ上のビジュアル) of 2.the most important information needed to achieve one or more objectives （目標を達成するための最も大切な情報を集約している） that has been 3.consolidated on a single computer screen（一つのスクリーンで見ることが出来る） so it can be 4.monitored at a glance(一目で確認が出来る) 73
Editor's Notes
- 特に注目しているのは、匠の技的な話や事業ドメイン知見の強みがなくなってきたこと。 Deep learningもパラメーターチューニングによって、重要な特徴量を抽出してしまう世界観。 破壊的なアルゴリズムだと思っている。
- ちなみに、データサイエンティストは前処理で一度死にます。 実は、機械学習がメインなのではなく、インプットデータを作るまでが極めて重要。