Recommended
Recommended
More Related Content
Viewers also liked
Viewers also liked (17)
Similar to 野良ビッグデータへのお誘い
Similar to 野良ビッグデータへのお誘い (15)
More from Masanori Takano
More from Masanori Takano (20)
Recently uploaded
Recently uploaded (9)
野良ビッグデータへのお誘い
- 2. ⾃⼰紹介 • 名前: takano • Twitter: @mtknnktm • 仕事: Web系企業のデータ関連あれこれ • 興味: 計算社会科学・複雑系科学 • もろもろ – Publications: https://sites.google.com/site/mtkn35699/ – Slide: http://www.slideshare.net/MasanoriTakano1 – Blog: http://mtkn.hatenablog.com/ 2
- 3. • ふと回帰分析したくなった時 • ふとMCMCしたくなった時 • ふと前処理したくなった時 • ふと機械学習したくなった時 • ふと集計したくなった時 • ふと社会科学したくなった時 でも iris はもう飽きた → そんなときのために、 誰でも使えるデータをご紹介 3
- 5. おもしろいと思ったデータの取り⽅と使い⽅ ⼥性の美醜ステレオタイプの⽂化差の研究 • 差別: 超重⼤な問題 – どのように、どこで、性・⼈種差別が起きているか？ の状況把握をしたい • ⽅法 – 検索エンジンの検索結果を使う – 検索結果は間接的に⼈の⾏動を表す – "beautiful woman", "ugly woman" を22ヶ国の⾔語に翻訳し、 GoogleとBingで画像検索しデータ収集 → 検索された画像の年齢・⼈種を推定（Face++を使⽤） → ⾔語（≒国・⽂化）ごとの⼥性の ⾝体的なステレオタイプの傾向を分析 • 基本的な傾向: – ⽩⼈・若い⼥性の⾼評価傾向が強い • 美醜ステレオタイプの⽂化差クラスタリングしたり Camila Souza Araújo, Wagner Meira Jr., Virgilio Almeida, "Iden;fying Stereotypes in the Online Percep;on of Physical AErac;veness", Proceedings of The 8th Interna3onal Conference on Social Informa3cs (SocInfo), pp. 419-437, 2016. preprint: hEps://arxiv.org/abs/1608.02499 5
- 6. 建前と本⾳、意識と無意識の乖離 • ⽶出会い系サイトOkキューピットの例 – アンケート結果 • 「差別主義者とデートするか？」→ No – ⾏動ログ分析の結果 • 特定の⼈種に対する好み • ⽇本における最近の乖離の例 （これは両⽅共アンケート） – ＬＧＢＴに関する意識調査 • 上司や同僚が同性愛者や両性愛者だったら「嫌だ」「どちらか といえば嫌だ」と感じる⼈が計35.0％ • 職場での差別については81.0％が「なくすべきだ」 • http://www.nikkei.com/article/DGXLASDG07H4N_X00C17A1CR8000/ 性や差別に関してはこういった不⼀致が⾒られやすい？ 実態の把握には、本⾳・無意識が表れやすい⾏動ログ分析が キーになるかも ビッグデータの残酷な現実 https://www.amazon.co.jp/dp/B01JHNBK90 6
- 7. ⽇本の傾向 – ⼈種 7 ⽇本はアジア⼈に 偏っている 韓国・マレーシアも 似た傾向 アジア⼈はアジア⼈が 対象？（ビッグデータの残酷 な現実も同様の傾向） ⼥性の美醜ステレオタイプの⽂化差の研究
- 8. 検索ヒットした⼥性の画像が美醜ともに低年齢な傾向 • 単に⽇本⼈が若く判別されただけ？ → 韓国よりも⽇本のほうが低いので、そうでも無さそう 仮説: ⽇本のアイドルなどの低年齢傾向を⽰す？ 若年層の性的搾取も⼈類の深刻な問題の⼀つ 単にライブラリが⽇本⾵の撮り⽅を若く判別してるだけかも。年齢・⼈種の判別はFace++を利⽤。 8 ⽇本の傾向 – 年齢 ⼥性の美醜ステレオタイプの⽂化差の研究
- 11. 本⽇ご紹介するデータ • BigQuery(Github) • PornHub • Dryad, figshare 11
- 12. BigQuery • 様々なビッグデータが公開されている。 – Hacker newsの記事とコメント、オンラインゲームのロ グ、サッカーデータ、Reddit、Twitterとかも – https://www.reddit.com/r/bigquery/wiki/datasets • ⽣データが多いので中⾝を理解できればかなり楽しい • BigQueryにSQLを投げればデータが取れるので とにかく⼿軽。 • BigQueryなので⼤きなデータの前処理も楽勝 • ちゃんとしたドキュメントはあまりないがスキーマが 分かるのでなんとなくわかる（こともある） 12
- 13. Githubのデータ • BigQueryに⾏動ログが毎⽇⼊れられている – 新鮮な⽣データ！ • ⾏動ログ – 公開リポジトリについての、プルリク、マージ、コミッ ト、フォーク、Issueなどなど （各APIのレスポンス？） • ドキュメント – https://www.githubarchive.org/ – https://developer.github.com/v3/activity/events/ types • これとは別にある程度まとめたものもある – リポジトリの利⽤⾔語とかがわかる – https://cloud.google.com/bigquery/public-data/ github 13
- 14. データの詳細のさわり （詳しくはドキュメント参照） • ⾏動のタイプ: かなりいろいろ取れる – CommitCommentEvent, CreateEvent, DeleteEvent, ForkEvent, GollumEvent, IssueCommentEvent, IssuesEvent, LabelEvent, MemberEvent, PublicEvent, PullRequestEvent, PullRequestReviewEvent, PullRequestReviewCommentEvent, PushEvent, WatchEvent • JSON形式でユーザやリポジトリの情報など 詳細な情報が格納されている 14
- 16. 幸せなコメントの多い プログラミング⾔語 at Stackoverflow 圧倒的 1位！ Gigazine: どのプログラミング⾔語で幸せなコメントor怒りのコメントが多いのかランキング http://gigazine.net/news/20170116-programming-language-happiest-comment/ 16
- 18. 結果… 18
- 20. ⽣データならではの味わい • 違う名前の同じデータ – forksとforks_count – watchersとwatchers_countとstargazersと stargazers_count • APIの資料には "ある"。なので、あるかと 思ってたら、データには "ない" – CommitCommentEventのrepository情報 など • なんだかよくわからない項⽬ • ノイズ（よくわからない使い⽅をしている ユーザの⾏動ログ） 20
- 21. PornHub • 海外のアダルトサイトのデータ • クロールしたデータをMITライセンスで公開 – ML, NLP⽤に作ったらしい – http://cdipaolo.github.io/hub-db/ – ドキュメントが揃ってて使いやすい • アダルトデータは、うまく使えば性差別・ LGBT差別・⼈種差別における現状把握・問 題発⾒にも使える（かもしれない） 21
- 22. PornHubのデータの⾒かた d <- fromJSON(file='porn_hub/raw_data/149_page.json') d$albums[[1]]$segment #カテゴリ d$albums[[1]]$votes #評価回数 d$albums[[1]]$upvote_percent #ポジティブ評価の⽐率 d$albums[[1]]$views #閲覧回数 d$albums[[1]]$images[[1]]$tags #タグ 他にもタイトルやコメントとかも取れる 22
- 23. 試しに検証: ⽇本⼈と低年齢 • さっきの画像検索データ研究での仮説 「⽇本の性的対象の低年齢化」をこちらの データを使って雑に検証してみる – このデータでは特にそうでは無さそう？ タグ 総頻度 共起頻度 共起率 french 33 8 24% german 35 7 20% latina 202 33 16% japanese 78 11 14% asian 327 46 14% white 110 13 12% black 307 34 11% brazilian 21 2 10% russian 35 3 9% indian 76 6 8% chinese 29 2 7% anime 93 2 2% 国・⼈種と "teen, teens" などの若年齢タグとの共起 23 ※ クローリングの対象は ランダムサンプリング ではないので参考値
- 24. 試しに検証: ⽇本⼈と低年齢 • 回帰分析 – 若年齢タグ（teensとか）と⼈種・国の交絡 – 若年齢タグとの交絡が強ければ、 その⼈種・国の若年齢は性の対象になっていると⾔える？ – ⽬的変数はポジティブ評価回数 glm(positive_eval~offset(log(view))+tag*teens, family=poisson) のL1正則化 24 ※ クローリングの対象は ランダムサンプリング ではないので参考値
- 25. 試しに検証: ⽇本⼈と低年齢 25 ※ クローリングの対象は ランダムサンプリング ではないので参考値 異様に強い アニメ:teensタグの交絡 glm(positive_eval~offset(log(view))+tag*teens, family=poisson) のL1正則化 • 回帰分析 – 若年齢タグ（teensとか）と⼈種・国の交絡 – 若年齢タグとの交絡が強ければ、 その⼈種・国の若年齢は性の対象になっていると⾔える？ – ⽬的変数はポジティブ評価回数
- 26. 動物のソーシャルネット • Dryad, figshareなどなど – 主に論⽂の実験・観測データ公開に使われる – バイオ系の実験データ、動物のフィールドデータ からTwitterのデータまでいろいろ – ⼤抵はその論⽂の実験が再現できるギリギリまで 削られたデータが多い（気がする） – たまーに掘り出し物がある。 – http://datadryad.org/ – https://figshare.com/ • その中から動物のソーシャルネットワークの データを分析 26
- 28. 動物のソーシャルネット ネットワークの統計量⽐較 ノード数 クラスタ係数 次数相関 最短経路長 バブーン 29 0.52 -0.09 1.64 鳥 83 0.61 -0.13 1.82 鹿 671 0.56 -0.20 2.09 28 • クラスタ係数 – ⼤きいほど "友達の友達" が "友達" である傾向 – 最も社会性が⾼いと思われるバブーンが意外と低い • 次数相関 – "友達の多い⼈" の友達が多いと正、そうでなければ負 – 全体的に負。⿅が最も強い傾向 • 最短経路⻑ – ノード間の距離の平均 とりあえずやってみたがよくわからない。要調査。
- 29. まとめ 野良ビッグデータを使っていろいろ調べると楽しい • BigQueryのオープンデータ – 使いやすくて最⾼ – いろいろあってうれしい • 出会い系やアダルトサイトのデータ – 普段は表に出ない差別や性的搾取に本⾳や無意識を探るの に有⽤かも – 本発表の分析はデモ⽤のかなり適当なものなので、 本当に知るにはもっとちゃんと分析する必要がある – センシティブなテーマなので慎重な妥当性の検討が必要 • Dryad、figshare – 研究者が何年も掛けて集めたデータが簡単に⼿に⼊る。 たいへん貴重。 29
- 30. 付録: データが公開されている場所 とかリンク集とか • SNAP – ネットワークのデータ。ソーシャルネットワーク、P2P、 商品レビューなど。ドキュメントがそこそこある。 – https://snap.stanford.edu/data/ • AWS – https://aws.amazon.com/jp/public-datasets/ • リンク集 – https://github.com/caesar0301/awesome-public- datasets – http://web.stanford.edu/class/cs224w/ resources.html – http://www.kdnuggets.com/datasets/index.html – https://www.quora.com/Where-can-I-find-large- datasets-open-to-the-public 30