Submit Search
Upload
ソーシャル・スクレイピング(2014年10月Webスクレイピング勉強会資料)
•
Download as PPTX, PDF
•
12 likes
•
8,854 views
Y
yuzoakakura
Follow
2014年10月、第3回Webスクレイピング勉強会の資料です。
Read less
Read more
Technology
Report
Share
Report
Share
1 of 68
Download now
Recommended
第3回Webスクレイピング勉強会@東京 happyou.info
第3回Webスクレイピング勉強会@東京 happyou.info
Shogo Okamoto
クローリングしにくいものに挑戦 公開用
クローリングしにくいものに挑戦 公開用
Lumin Hacker
20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)
20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)
Hirosuke Asano
Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス
Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス
Takuro Sasaki
実践Excelスクレイピング
実践Excelスクレイピング
宏明 塩原
Amazon Athena で実現する データ分析の広がり
Amazon Athena で実現する データ分析の広がり
Amazon Web Services Japan
オープンデータと環境未来都市
オープンデータと環境未来都市
Iwao KOBAYASHI
最近のデータ分析の潮流(仮)
最近のデータ分析の潮流(仮)
National Institute of Informatics (NII)
Recommended
第3回Webスクレイピング勉強会@東京 happyou.info
第3回Webスクレイピング勉強会@東京 happyou.info
Shogo Okamoto
クローリングしにくいものに挑戦 公開用
クローリングしにくいものに挑戦 公開用
Lumin Hacker
20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)
20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)
Hirosuke Asano
Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス
Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス
Takuro Sasaki
実践Excelスクレイピング
実践Excelスクレイピング
宏明 塩原
Amazon Athena で実現する データ分析の広がり
Amazon Athena で実現する データ分析の広がり
Amazon Web Services Japan
オープンデータと環境未来都市
オープンデータと環境未来都市
Iwao KOBAYASHI
最近のデータ分析の潮流(仮)
最近のデータ分析の潮流(仮)
National Institute of Informatics (NII)
データジャーナリズムの最新動向 (2012年7月)
データジャーナリズムの最新動向 (2012年7月)
yuzoakakura
データ活用最前線 (2013年1月)
データ活用最前線 (2013年1月)
yuzoakakura
群衆の知恵・集団的知性とWikiコラボレーション
群衆の知恵・集団的知性とWikiコラボレーション
Makio Tsukamoto
Open Data
Open Data
Tajima Itsuro
研究データの価値を再発見する:オープンサイエンスの実現に向けた基盤構築
研究データの価値を再発見する:オープンサイエンスの実現に向けた基盤構築
Yasuyuki Minamiyama
Wikipedia science ai_online_discussion
Wikipedia science ai_online_discussion
Tomoaki Watanabe
Civic Technology Trends Ovservation 2013 Summer
Civic Technology Trends Ovservation 2013 Summer
SocialCompany, Inc.
Jmrx発表資料
Jmrx発表資料
Shigeru Kishikawa
オープンサイエンスとオープンデータ
オープンサイエンスとオープンデータ
National Institute of Informatics (NII)
Data Science Summit 2012 レポート
Data Science Summit 2012 レポート
nagix
データジャーナリズム―異業種のコラボレーションがニュースを変える― (2013年12月)
データジャーナリズム―異業種のコラボレーションがニュースを変える― (2013年12月)
yuzoakakura
「使える」データをとるために
「使える」データをとるために
Rikkyo University
国内外クラウドソーシングの現状
国内外クラウドソーシングの現状
Kousaku Igawa
20090827 ku-librarians勉強会 #114 : Wikipediaをいかに使いこなすか? ---知識抽出、情報ナビゲーション、そしてトピ...
20090827 ku-librarians勉強会 #114 : Wikipediaをいかに使いこなすか? ---知識抽出、情報ナビゲーション、そしてトピ...
kulibrarians
河野ゼミ研究紹介20180702
河野ゼミ研究紹介20180702
義広 河野
メディアアートにおける知的財産の利活用の検討 山口情報芸術センター[YCAM]の事例から
メディアアートにおける知的財産の利活用の検討 山口情報芸術センター[YCAM]の事例から
Yosuke Sakai
知的財産マネジメント研究会(Smips)「ソーシャルメディアから生まれるイノベーションの新しい形」
知的財産マネジメント研究会(Smips)「ソーシャルメディアから生まれるイノベーションの新しい形」
博士のシェアハウス
130801_udct_05_04
130801_udct_05_04
CSISi
研究データ利活用に関する国内活動及び国際動向について
研究データ利活用に関する国内活動及び国際動向について
National Institute of Informatics (NII)
ビッグデータ・オープンデータ活用の現状〜ビッグデータ活用概要編〜
ビッグデータ・オープンデータ活用の現状〜ビッグデータ活用概要編〜
Takafumi Nakanishi
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
osamut
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
More Related Content
Similar to ソーシャル・スクレイピング(2014年10月Webスクレイピング勉強会資料)
データジャーナリズムの最新動向 (2012年7月)
データジャーナリズムの最新動向 (2012年7月)
yuzoakakura
データ活用最前線 (2013年1月)
データ活用最前線 (2013年1月)
yuzoakakura
群衆の知恵・集団的知性とWikiコラボレーション
群衆の知恵・集団的知性とWikiコラボレーション
Makio Tsukamoto
Open Data
Open Data
Tajima Itsuro
研究データの価値を再発見する:オープンサイエンスの実現に向けた基盤構築
研究データの価値を再発見する:オープンサイエンスの実現に向けた基盤構築
Yasuyuki Minamiyama
Wikipedia science ai_online_discussion
Wikipedia science ai_online_discussion
Tomoaki Watanabe
Civic Technology Trends Ovservation 2013 Summer
Civic Technology Trends Ovservation 2013 Summer
SocialCompany, Inc.
Jmrx発表資料
Jmrx発表資料
Shigeru Kishikawa
オープンサイエンスとオープンデータ
オープンサイエンスとオープンデータ
National Institute of Informatics (NII)
Data Science Summit 2012 レポート
Data Science Summit 2012 レポート
nagix
データジャーナリズム―異業種のコラボレーションがニュースを変える― (2013年12月)
データジャーナリズム―異業種のコラボレーションがニュースを変える― (2013年12月)
yuzoakakura
「使える」データをとるために
「使える」データをとるために
Rikkyo University
国内外クラウドソーシングの現状
国内外クラウドソーシングの現状
Kousaku Igawa
20090827 ku-librarians勉強会 #114 : Wikipediaをいかに使いこなすか? ---知識抽出、情報ナビゲーション、そしてトピ...
20090827 ku-librarians勉強会 #114 : Wikipediaをいかに使いこなすか? ---知識抽出、情報ナビゲーション、そしてトピ...
kulibrarians
河野ゼミ研究紹介20180702
河野ゼミ研究紹介20180702
義広 河野
メディアアートにおける知的財産の利活用の検討 山口情報芸術センター[YCAM]の事例から
メディアアートにおける知的財産の利活用の検討 山口情報芸術センター[YCAM]の事例から
Yosuke Sakai
知的財産マネジメント研究会(Smips)「ソーシャルメディアから生まれるイノベーションの新しい形」
知的財産マネジメント研究会(Smips)「ソーシャルメディアから生まれるイノベーションの新しい形」
博士のシェアハウス
130801_udct_05_04
130801_udct_05_04
CSISi
研究データ利活用に関する国内活動及び国際動向について
研究データ利活用に関する国内活動及び国際動向について
National Institute of Informatics (NII)
ビッグデータ・オープンデータ活用の現状〜ビッグデータ活用概要編〜
ビッグデータ・オープンデータ活用の現状〜ビッグデータ活用概要編〜
Takafumi Nakanishi
Similar to ソーシャル・スクレイピング(2014年10月Webスクレイピング勉強会資料)
(20)
データジャーナリズムの最新動向 (2012年7月)
データジャーナリズムの最新動向 (2012年7月)
データ活用最前線 (2013年1月)
データ活用最前線 (2013年1月)
群衆の知恵・集団的知性とWikiコラボレーション
群衆の知恵・集団的知性とWikiコラボレーション
Open Data
Open Data
研究データの価値を再発見する:オープンサイエンスの実現に向けた基盤構築
研究データの価値を再発見する:オープンサイエンスの実現に向けた基盤構築
Wikipedia science ai_online_discussion
Wikipedia science ai_online_discussion
Civic Technology Trends Ovservation 2013 Summer
Civic Technology Trends Ovservation 2013 Summer
Jmrx発表資料
Jmrx発表資料
オープンサイエンスとオープンデータ
オープンサイエンスとオープンデータ
Data Science Summit 2012 レポート
Data Science Summit 2012 レポート
データジャーナリズム―異業種のコラボレーションがニュースを変える― (2013年12月)
データジャーナリズム―異業種のコラボレーションがニュースを変える― (2013年12月)
「使える」データをとるために
「使える」データをとるために
国内外クラウドソーシングの現状
国内外クラウドソーシングの現状
20090827 ku-librarians勉強会 #114 : Wikipediaをいかに使いこなすか? ---知識抽出、情報ナビゲーション、そしてトピ...
20090827 ku-librarians勉強会 #114 : Wikipediaをいかに使いこなすか? ---知識抽出、情報ナビゲーション、そしてトピ...
河野ゼミ研究紹介20180702
河野ゼミ研究紹介20180702
メディアアートにおける知的財産の利活用の検討 山口情報芸術センター[YCAM]の事例から
メディアアートにおける知的財産の利活用の検討 山口情報芸術センター[YCAM]の事例から
知的財産マネジメント研究会(Smips)「ソーシャルメディアから生まれるイノベーションの新しい形」
知的財産マネジメント研究会(Smips)「ソーシャルメディアから生まれるイノベーションの新しい形」
130801_udct_05_04
130801_udct_05_04
研究データ利活用に関する国内活動及び国際動向について
研究データ利活用に関する国内活動及び国際動向について
ビッグデータ・オープンデータ活用の現状〜ビッグデータ活用概要編〜
ビッグデータ・オープンデータ活用の現状〜ビッグデータ活用概要編〜
Recently uploaded
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
osamut
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
iPride Co., Ltd.
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
iPride Co., Ltd.
UPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdf
furutsuka
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
Shota Ito
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
Atomu Hidaka
Recently uploaded
(9)
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
UPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdf
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
ソーシャル・スクレイピング(2014年10月Webスクレイピング勉強会資料)
1.
ソーシャル・スクレイピング(仮) @YuzoAkakura
2.
Today’s Topics 1.
データジャーナリズム 2. ソーシャル・スクレイピング(仮) 3. Journalism Innovation Award 2014/10/26 ソーシャル・スクレイピング2
3.
第1部 データジャーナリズム 2014/10/26
ソーシャル・スクレイピング3
4.
データジャーナリズムとは? • 「データからニュースを発見し、わかりやすく
伝える手段」 • 取材、編集、ニュース配信など、報道の各プ ロセスで、主に公開されているデータを活用 する報道手法 • 過去2〜3年で急速に浸透、既に報道の現場 にとって「なくてはならないもの」となる • 世界各国のメディアが実践し、実績を積み重 ねている 2014/10/26 ソーシャル・スクレイピング4
5.
2014/10/26 ソーシャル・スクレイピング5
6.
データに基づくファクトが 時に社会を動かす 2014/10/22
データジャーナリズムがもたらすニュースの革新6
7.
2014/10/26 ソーシャル・スクレイピング7
8.
“Toxic Waters” (汚染水域)
• NYTによる、全米の水質に関する2009年の調 査報道 • 政府に対する500回を超える情報開示請求に より取得したデータと、実際の水質データを 比較、政府が水質を把握していなかったこと をスクープ • 水質データを地図にマッピングすることで、汚 染水を垂れ流していた企業・施設を特定 2014/10/26 ソーシャル・スクレイピング8
9.
10 Articles +
ソーシャル・スクレイピング 2014/10/26 9
10.
反響 • [読者]
2,000を超えるコメント • [社会] 規制強化につながる • [報道] IRE Medalを受賞 2014/10/26 ソーシャル・スクレイピング10
11.
浸透するデータジャーナリズム 2014/10/26 ソーシャル・スクレイピング11
12.
2014/10/26 ソーシャル・スクレイピング12
13.
2014/10/26 ソーシャル・スクレイピング13
14.
2014/10/26 ソーシャル・スクレイピング14
15.
浸透する背景 多種多様かつ膨大な量のデータが 日々生み出され続けている現実
• ソーシャルメディアの浸透 • 多様なネットアプリの出現 • 政府、自治体、企業などによるデータ公開の推進 • センサー技術の発達 ソーシャル・スクレイピング 2014/10/26 15
16.
OSS & Free
Tools 2014/10/26 ソーシャル・スクレイピング16
17.
データジャーナリズムは ニュースに革新を起こしている 2014/10/22
データジャーナリズムがもたらすニュースの革新17
18.
いま起きている“3つの革新” 1. ニュース表現方法の革新
2. ニュース発見方法の革新 3. ニュース制作プロセスの革新 2014/10/26 ソーシャル・スクレイピング18
19.
1.ニュース表現方法の革新 • これまではテキストが中心だったが、多様な
表現技法が組み合わされるようになった – 地図 – 動画・音声 – アニメーション – スライド – アプリ 2014/10/26 ソーシャル・スクレイピング19
20.
2014/10/26 ソーシャル・スクレイピング20
21.
2014/10/26 ソーシャル・スクレイピング21
22.
2014/10/26 ソーシャル・スクレイピング22
23.
2014/10/26 ソーシャル・スクレイピング23
24.
2014/10/26 ソーシャル・スクレイピング24
25.
「ニュースを体験する」する時代 2014/10/26 ソーシャル・スクレイピング25
26.
2.ニュース発見方法の革新 • 取材対象として「データ」がより重視されるよう
になった – オープンデータ – ソーシャルメディアデータ – 企業データ – センサーデータ 2014/10/26 ソーシャル・スクレイピング26
27.
2014/10/26 ソーシャル・スクレイピング27
28.
2014/10/26 ソーシャル・スクレイピング28
29.
2014/10/26 ソーシャル・スクレイピング29
30.
2014/10/26 ソーシャル・スクレイピング30
31.
「ファクト重視」の時代 2014/10/26 ソーシャル・スクレイピング31
32.
3.ニュース制作プロセスの革新 • ニュースの制作過程で分業が浸透してきた
– 異業種専門家同士の分業 – 報道機関同士の分業 – 報道機関と読者の分業 2014/10/26 ソーシャル・スクレイピング32
33.
2014/10/26 ソーシャル・スクレイピング33
34.
2014/10/26 ソーシャル・スクレイピング34
35.
2014/10/26 ソーシャル・スクレイピング35
36.
「コラボレーション」の時代 2014/10/26 ソーシャル・スクレイピング36
37.
進むデータ活用 • 記事の自動生成
• 行動履歴の活用 • 指数の作成 2014/10/26 ソーシャル・スクレイピング37
38.
データジャーナリズム 実践のポイント •
データを探す • 技術を盗む • チームを作る 2014/10/26 ソーシャル・スクレイピング38
39.
データジャーナリズム 実践のポイント •
データを探す • 技術を盗む • チームを作る 2014/10/26 ソーシャル・スクレイピング39
40.
データを探す 2014/10/26 ソーシャル・スクレイピング40
41.
なければつくる • オンライン分析ツールの活用
• オンラインアンケートツールの活用 • Webスクレイピング 2014/10/26 ソーシャル・スクレイピング41
42.
第2部 ソーシャルス・クレイピング(仮) 2014/10/26
ソーシャル・スクレイピング42
43.
報道現場のWebスクレイピング 自主規制 2014/10/26
ソーシャル・スクレイピング43
44.
“ソーシャル” • 社会の。社会的な。
• ソーシャルエンジニアリングの略。 • 集合知を利用した、の意。(例:ソーシャルブッ クマーク) • ソーシャルネットワーキングの略。 2014/10/26 ソーシャル・スクレイピング44
45.
社会との関わりを持った Webスクレイピング 2014/10/26
ソーシャル・スクレイピング45
46.
第3部 Journalism Innovation
Award 2014/10/26 ソーシャル・スクレイピング46
47.
あなたの問題意識は何ですか? 2014/10/26 ソーシャル・スクレイピング47
48.
悪徳商法,いじめ,医療問題,環境問題,技 術問題,虐待,教育問題,経済問題,健康 問題,差別,ジェンダー平等,事件,事故,自
殺,失業,宗教問題,銃社会と規制,食の安 全,人権問題,人種差別,社会政策,政治 問題,セキュリティ,治安問題,知的財産権, 都市問題,ドメスティックバイオレンス,年 問題,犯罪,反ユダヤ的虚報,表現規制問 題,貧困,不平等,プロレタリア文学,平和,メ ディア問題, 倫理問題, 労働問題 2014/10/26 ソーシャル・スクレイピング48
49.
切り口のヒント • 社会性の高い新事実を発見する
• レッテルや社会常識を覆す • 嘘を暴く(ファクトチェック) 2014/10/26 ソーシャル・スクレイピング49
50.
2014/10/26 ソーシャル・スクレイピング50
51.
2014/10/26 ソーシャル・スクレイピング51
52.
2014/10/26 ソーシャル・スクレイピング52
53.
2014/10/26 ソーシャル・スクレイピング53
54.
2014/10/26 ソーシャル・スクレイピング54
55.
2014/10/26 ソーシャル・スクレイピング55
56.
2014/10/26 ソーシャル・スクレイピング56
57.
データジャーナリズムは 誰もが挑戦できる 2014/10/26
ソーシャル・スクレイピング57
58.
誰もが挑戦できる? • データ
• ツール • 発表媒体 ⇒公開データを利用 ⇒オープンソースを活用 ⇒ウェブ ソーシャル・スクレイピング 2014/10/26 58
59.
誰もが挑戦できる。 • データジャーナリズムアワード
• 2012年、北米やヨーロッパ各国のほか、アジ ア・オセアニア、アフリカや南米など51カ国か ら、メディア、企業、NPO団体、個人が286の 作品を出品 • 2013年も300以上の作品が出品 • 2014年… ソーシャル・スクレイピング 2014/10/26 59
60.
2014/10/26 ソーシャル・スクレイピング60
61.
80/10/10 2014/10/26 ソーシャル・スクレイピング61
62.
必要なのは問題意識とスキル、 そして熱意 2014/10/26
ソーシャル・スクレイピング62
63.
Journalism Innovation Award
• イベント概要 – ソーシャルメディア時代の質の高いジャーナリズムを 応援するため、企業、団体や個人を問わず、社会性 の高い、革新的な情報発信に取り組むジャーナリズ ム活動を表彰するイベント – ポスターセッション方式で、多くの事例を紹介 – 受賞作品は来場者による投票で決定 • 開催概要 – [日程] 2015年1月24日(土) – [場所] 法政大学市谷キャンパス薩埵ホール 2014/10/26 ソーシャル・スクレイピング63
64.
募集要項 • 2014年中にネット上へアップされた、社会性
のあるニュースコンテンツ • コンテンツの形式は問わず 2014/10/26 ソーシャル・スクレイピング64
65.
あなたのスキルで 社会は動かせる。 2014/10/26
ソーシャル・スクレイピング65
66.
http://jcej.info/ 2014/10/26 ソーシャル・スクレイピング66
67.
挑戦をお待ちしています 2014/10/26 ソーシャル・スクレイピング67
68.
References • http://www.npr.org/blogs/health/2014/10/02/352983774/no-seriously-how-contagious-is-ebola
• http://jp.wsj.com/articles/SB10001424052702303844704580001373311080954 • http://mainichi.jp/feature/afterwar70/pacificwar/data2.html • http://projects.nytimes.com/toxic-waters • http://www.nytimes.com/projects/2012/snow-fall/ • http://www.theguardian.com/world/interactive/2013/may/26/firestorm-bushfire-dunalley-holmes-family • http://www.asahi.com/olympics/sochi2014/lastdance/ • http://www.okinawatimes.co.jp/feature/01/ • http://seattletimes.com/flatpages/specialreports/methadone/methadoneandthepoliticsofpain.html • http://senkyo.mainichi.jp/2013san/analyze/20130731.html • http://www.nikkei.com/edit/interactive/population2014/map.html • http://projects.propublica.org/schools/ • http://www.icij.org/offshore • http://www.theguardian.com/politics/mps-expenses • http://lstout.github.io/westgate/html/ • http://jcej.info/djc2013/ • http://jcej.info/ 2014/10/26 ソーシャル・スクレイピング68
Download now