第３回東京Webスクラッパーのライトニングトークで発表した資料。 スクレイピングの実演した時のサイトとJavascriptコードは下記を参照 https://www.facebook.com/note.php?note_id=767355399997255

1. リサーチ向け ブラウザだけでスクレイピング
第３回Webスクレイピング勉強会@東京
2014.10.26
浅野弘輔 (あさの ひろすけ)
http://twitter.com/hirosuke_asano

2. 自己紹介

3. 浅野 弘輔とは（自己紹介）
•株式会社ホットリンク所属。
•ネット上のクチコミを大量に集めて分析するシステ ムの開発や、ソーシャルデータの活用の企画・研究 をしています。
http://twitter.com/hirosuke_asano
http://www.hottolink.co.jp/
趣味：イラスト描き
自作のアイコン→

4. リサーチでよくある風景

5. 「AKB総選挙ってやっているけど、 ちょっとメンバーの口コミ調べてみてくれる？」
「了解っス」

6. 「まずはメンバーのリスト作らないと・・・」

7. 「多いな・・・」
公式サイトから

8. 「せっせ、せっせ・・・」
カチ
カチ
コピペ

9. そんな作業を救うのが
Webスクレイピング

10. そんな作業を救うのが
Webスクレイピング
なのだが・・・

11. 開発環境のインストールしなきゃ・・・
モジュールの依存性が・・・
サイト構造解析が・・・
文字コードが・・・

12. 開発環境のインストールしなきゃ・・・
モジュールの依存性が・・・
サイト構造解析が・・・
文字コードが・・・
日常的にプログラミングしてない
人にはかなり敷居が高い・・・

13. ブラウザがあれば
なんとかなる

14. 用意するもの
FireQuery
テキストエディタ
Add-ons

15. 実演

16. 一回やればいい アドホックなリスト作成に 最適

17. その他の利点

18. Ajaxで要素が
読み込まれるページ
HTMLをwgetしてテキスト解析・・・ができない

19. 認証があるページ
APIでも用意されてないと自動するのが難しい

20. 実演

21. Webスクレイピングの
民主化を

22. 勉強する必要のある知識
•Javascriptの基本的なプログラミング
•CSSのセレクタでのHTML要素指定
•みんな大好きjQuery

23. 勉強する必要のある知識
•Javascriptの基本的なプログラミング
•CSSのセレクタでのHTML要素指定
•みんな大好きjQuery
おせじにも簡単とは言えないけど、
アプリやシステム作るのに比べたら楽
「Excelでマクロ組めますよ」くらいのノリで

24. Webスクレイピングを 一番必要としている人に 届けたい

25. ありがとうございました