シス創勉強会資料

1. クローラを作る技術と設計 PHP でやるお（＾ω＾）

2. 目次 スクレイピングの技術 XPath 正規表現 サーバーの設計

3. XPath XML や HTML の任意の位置を取得するための式 XPathエンジンがあれば、 XPathを指定して HTML 上の値を簡単に持ってこれる

4. XPath <?php $url = 'http://www.nicovideo.jp/'; libxml_use_internal_errors(true); $doc = new DOMDocument(); $doc->loadHTML(file_get_contents($url)); libxml_clear_errors(); $xpath = new DOMXPath($doc); foreach ($xpath->query('//a') as $node) { echo $node->textContent . ""; }

5. XPath 練習 ニコニコ動画の動画再生数とコメント数をスクレイピングしてみよう

6. 正規表現 任意の文字列に対して、指定したパターンにマッチしているかを試す パーサーではないので、構造を持ったデータには弱い 構造を持たないフラットなデータに良い。 トークナイザ バリデータ オートマトンを描くと理解しやすい

7. 正規表現 $reg = '/s?https?:[-_.!~*'()a-zA-Z0-9;?:@&=+$,%#]+/u'; if (!preg_match($reg, $str)) { throw new Exception('URL is invalid!'); } 1 s -_.!~*'()a-zA-Z0-9;?:@&=+$,%# s 1 1 :// http 2 2 2 ← これは優先順位 X

8. 正規表現 練習 Apache のログファイルから、 IP アドレス別アクセス数を出してみよう

9. クローラの設計 リクエスト時にクロールする 定期的にクロールする ジョブキューを使う

10. リクエスト時にクロールする 2 インターネット 1 ウェブサーバ 3

11. 定期的にクロールする インターネット データベースサーバ ウェブサーバ クローラサーバ

12. ジョブキューを使う インターネット データベースサーバ データ ウェブサーバ job job job クローラサーバ

13. プロセス管理 cron daemon

15. とても簡単

17. daemon バックグラウンドで起動するプログラム 親プロセスを持たない 起動方法、終了方法を準備する必要がある daemon 用にプログラムを書かなければいけない

18. daemon require_once("System/Daemon.php"); System_Daemon::setOptions(array( 'appName' => 'crawler' )); System_Daemon::start(); while (true) { … System_Dameon::iterate(5); } System_Daemon::stop();