SlideShare a Scribd company logo

Node.jsでスクレイピングして可視化してみた

•
•
Yasunori Kirimoto
Yasunori Kirimoto

SaCSS vol.78 発表資料

Technology
1 of 33
Download to read offline
Node.jsでスクレイピングして 可視化してみた Yasunori Kirimoto 2016.07.23 SaCSS vol.78 MIERUNE, LLC.
MIERUNE, LLC
今⽇の⽬次 ① 全体の概要 ② スクレイピング ③ 可視化 ④ まとめ
全体の概要
スクレイピング？
何を可視化する？
可視化してみよう！！
使うツール
スクレイピング
cheerio-httpcli : HTMLをjQueryライクにパースしてくれる
①取得したいURLを実装
②スクレイピング処理を実装
tdタグがあやしい。。。
③CSVに保存する処理を実装
demo
可視化
C3.jsで可視化してみる
demo
まとめ
・データがあれば可視化できる ・何を可視化したいか ・Node.js / C3.js

Recommended

React VR ことはじめ
React VR ことはじめReact VR ことはじめ
React VR ことはじめKazuhiro Hara
 
Grunt.jsを使った Expressの開発環境構築
Grunt.jsを使った Expressの開発環境構築Grunt.jsを使った Expressの開発環境構築
Grunt.jsを使った Expressの開発環境構築kamiyam .
 
づや会 Vol4 Node.jsとphpのパフォーマンスを比較してみる
づや会 Vol4 Node.jsとphpのパフォーマンスを比較してみるづや会 Vol4 Node.jsとphpのパフォーマンスを比較してみる
づや会 Vol4 Node.jsとphpのパフォーマンスを比較してみるzuya
 
Re-frame and A-Frame
Re-frame and A-FrameRe-frame and A-Frame
Re-frame and A-FrameKazuhiro Hara
 
Node.js で Web アプリ開発
Node.js で Web アプリ開発Node.js で Web アプリ開発
Node.js で Web アプリ開発Tatsumi Naganuma
 
Node.js Tutorial at Hiroshima
Node.js Tutorial at HiroshimaNode.js Tutorial at Hiroshima
Node.js Tutorial at HiroshimaYoshihiro Iwanaga
 
Node js 入門
Node js 入門Node js 入門
Node js 入門Satoshi Takami
 
Getting started with node.js
Getting started with node.jsGetting started with node.js
Getting started with node.jskouzouman
 

Recommended

React VR ことはじめ
React VR ことはじめReact VR ことはじめ
React VR ことはじめKazuhiro Hara
 
Grunt.jsを使った Expressの開発環境構築
Grunt.jsを使った Expressの開発環境構築Grunt.jsを使った Expressの開発環境構築
Grunt.jsを使った Expressの開発環境構築kamiyam .
 
づや会 Vol4 Node.jsとphpのパフォーマンスを比較してみる
づや会 Vol4 Node.jsとphpのパフォーマンスを比較してみるづや会 Vol4 Node.jsとphpのパフォーマンスを比較してみる
づや会 Vol4 Node.jsとphpのパフォーマンスを比較してみるzuya
 
Re-frame and A-Frame
Re-frame and A-FrameRe-frame and A-Frame
Re-frame and A-FrameKazuhiro Hara
 
Node.js で Web アプリ開発
Node.js で Web アプリ開発Node.js で Web アプリ開発
Node.js で Web アプリ開発Tatsumi Naganuma
 
Node.js Tutorial at Hiroshima
Node.js Tutorial at HiroshimaNode.js Tutorial at Hiroshima
Node.js Tutorial at HiroshimaYoshihiro Iwanaga
 
Node js 入門
Node js 入門Node js 入門
Node js 入門Satoshi Takami
 
Getting started with node.js
Getting started with node.jsGetting started with node.js
Getting started with node.jskouzouman
 
大阪Node学園 七時限目 「ゼロからはじめるnode.js」
大阪Node学園 七時限目 「ゼロからはじめるnode.js」大阪Node学園 七時限目 「ゼロからはじめるnode.js」
大阪Node学園 七時限目 「ゼロからはじめるnode.js」Shunsuke Watanabe
 
【東京Node学園祭2016】Node.js × Babel で AWS Lambda アプリケーションを開発する
【東京Node学園祭2016】Node.js × Babel で AWS Lambda アプリケーションを開発する【東京Node学園祭2016】Node.js × Babel で AWS Lambda アプリケーションを開発する
【東京Node学園祭2016】Node.js × Babel で AWS Lambda アプリケーションを開発するHiroyuki Kusu
 
Hello, Node.js
Hello, Node.jsHello, Node.js
Hello, Node.jsShin Sekaryo
 
[2019 01-19] AzureDevOps LT
[2019 01-19] AzureDevOps LT[2019 01-19] AzureDevOps LT
[2019 01-19] AzureDevOps LTIgarashi Toru
 
Node.jsでブラウザメッセンジャー
Node.jsでブラウザメッセンジャーNode.jsでブラウザメッセンジャー
Node.jsでブラウザメッセンジャーYahoo!デベロッパーネットワーク
 
Saitowotsukutsutemita
SaitowotsukutsutemitaSaitowotsukutsutemita
Saitowotsukutsutemitahmatumoto
 
jQuery+TypeScriptやってみた
jQuery+TypeScriptやってみたjQuery+TypeScriptやってみた
jQuery+TypeScriptやってみたMitsuo Kawashima
 
Bp study39 nodejs
Bp study39 nodejsBp study39 nodejs
Bp study39 nodejsYohei Sasaki
 
Nodeについて
NodeについてNodeについて
NodeについてNatsuki Yamanaka
 
Fpgax7 aom
Fpgax7 aomFpgax7 aom
Fpgax7 aomaomtoku
 
JS開発環境を晒す。
JS開発環境を晒す。JS開発環境を晒す。
JS開発環境を晒す。Eiji Kuroda
 
Jaws大分
Jaws大分Jaws大分
Jaws大分Yuki Nakatake
 
Node.js を選ぶとき 選ばないとき
Node.js を選ぶとき 選ばないときNode.js を選ぶとき 選ばないとき
Node.js を選ぶとき 選ばないときRyunosuke SATO
 
10回目nodejs
10回目nodejs10回目nodejs
10回目nodejsTakuya Shishido
 
WebXR TechTokyo #3 in Cluster発表資料
WebXR TechTokyo #3 in Cluster発表資料WebXR TechTokyo #3 in Cluster発表資料
WebXR TechTokyo #3 in Cluster発表資料WheetTweet
 
Nodeとフロントエンド − 知っておかなければならない、今と未来の話 −
Nodeとフロントエンド − 知っておかなければならない、今と未来の話 −Nodeとフロントエンド − 知っておかなければならない、今と未来の話 −
Nodeとフロントエンド − 知っておかなければならない、今と未来の話 −Kohei Asai
 
JavaScript祭in ForPro nuxt.jsとSSRことはじめ
JavaScript祭in ForPro nuxt.jsとSSRことはじめJavaScript祭in ForPro nuxt.jsとSSRことはじめ
JavaScript祭in ForPro nuxt.jsとSSRことはじめ松田 千尋
 
Try micronaut
Try micronautTry micronaut
Try micronaut賢太郎 前多
 
Hokuriku.net 2013 01-26 node.js
Hokuriku.net 2013 01-26 node.jsHokuriku.net 2013 01-26 node.js
Hokuriku.net 2013 01-26 node.jsTadahiro Ishisaka
 
0511 lt
0511 lt0511 lt
0511 ltkataware
 
みんなの公園マップ札幌版
みんなの公園マップ札幌版みんなの公園マップ札幌版
みんなの公園マップ札幌版Yasunori Kirimoto
 
WebGISをはじめてみる
WebGISをはじめてみるWebGISをはじめてみる
WebGISをはじめてみるYasunori Kirimoto
 

More Related Content

What's hot

大阪Node学園 七時限目 「ゼロからはじめるnode.js」
大阪Node学園 七時限目 「ゼロからはじめるnode.js」大阪Node学園 七時限目 「ゼロからはじめるnode.js」
大阪Node学園 七時限目 「ゼロからはじめるnode.js」Shunsuke Watanabe
 
【東京Node学園祭2016】Node.js × Babel で AWS Lambda アプリケーションを開発する
【東京Node学園祭2016】Node.js × Babel で AWS Lambda アプリケーションを開発する【東京Node学園祭2016】Node.js × Babel で AWS Lambda アプリケーションを開発する
【東京Node学園祭2016】Node.js × Babel で AWS Lambda アプリケーションを開発するHiroyuki Kusu
 
[2019 01-19] AzureDevOps LT
[2019 01-19] AzureDevOps LT[2019 01-19] AzureDevOps LT
[2019 01-19] AzureDevOps LTIgarashi Toru
 
Saitowotsukutsutemita
SaitowotsukutsutemitaSaitowotsukutsutemita
Saitowotsukutsutemitahmatumoto
 
jQuery+TypeScriptやってみた
jQuery+TypeScriptやってみたjQuery+TypeScriptやってみた
jQuery+TypeScriptやってみたMitsuo Kawashima
 
Fpgax7 aom
Fpgax7 aomFpgax7 aom
Fpgax7 aomaomtoku
 
JS開発環境を晒す。
JS開発環境を晒す。JS開発環境を晒す。
JS開発環境を晒す。Eiji Kuroda
 
Node.js を選ぶとき 選ばないとき
Node.js を選ぶとき 選ばないときNode.js を選ぶとき 選ばないとき
Node.js を選ぶとき 選ばないときRyunosuke SATO
 
WebXR TechTokyo #3 in Cluster発表資料
WebXR TechTokyo #3 in Cluster発表資料WebXR TechTokyo #3 in Cluster発表資料
WebXR TechTokyo #3 in Cluster発表資料WheetTweet
 
Nodeとフロントエンド − 知っておかなければならない、今と未来の話 −
Nodeとフロントエンド − 知っておかなければならない、今と未来の話 −Nodeとフロントエンド − 知っておかなければならない、今と未来の話 −
Nodeとフロントエンド − 知っておかなければならない、今と未来の話 −Kohei Asai
 
JavaScript祭in ForPro nuxt.jsとSSRことはじめ
JavaScript祭in ForPro nuxt.jsとSSRことはじめJavaScript祭in ForPro nuxt.jsとSSRことはじめ
JavaScript祭in ForPro nuxt.jsとSSRことはじめ松田 千尋
 
Hokuriku.net 2013 01-26 node.js
Hokuriku.net 2013 01-26 node.jsHokuriku.net 2013 01-26 node.js
Hokuriku.net 2013 01-26 node.jsTadahiro Ishisaka
 

What's hot (20)

大阪Node学園 七時限目 「ゼロからはじめるnode.js」
大阪Node学園 七時限目 「ゼロからはじめるnode.js」大阪Node学園 七時限目 「ゼロからはじめるnode.js」
大阪Node学園 七時限目 「ゼロからはじめるnode.js」
 
【東京Node学園祭2016】Node.js × Babel で AWS Lambda アプリケーションを開発する
【東京Node学園祭2016】Node.js × Babel で AWS Lambda アプリケーションを開発する【東京Node学園祭2016】Node.js × Babel で AWS Lambda アプリケーションを開発する
【東京Node学園祭2016】Node.js × Babel で AWS Lambda アプリケーションを開発する
 
Hello, Node.js
Hello, Node.jsHello, Node.js
Hello, Node.js
 
[2019 01-19] AzureDevOps LT
[2019 01-19] AzureDevOps LT[2019 01-19] AzureDevOps LT
[2019 01-19] AzureDevOps LT
 
Node.jsでブラウザメッセンジャー
Node.jsでブラウザメッセンジャーNode.jsでブラウザメッセンジャー
Node.jsでブラウザメッセンジャー
 
Saitowotsukutsutemita
SaitowotsukutsutemitaSaitowotsukutsutemita
Saitowotsukutsutemita
 
jQuery+TypeScriptやってみた
jQuery+TypeScriptやってみたjQuery+TypeScriptやってみた
jQuery+TypeScriptやってみた
 
Bp study39 nodejs
Bp study39 nodejsBp study39 nodejs
Bp study39 nodejs
 
Nodeについて
NodeについてNodeについて
Nodeについて
 
Fpgax7 aom
Fpgax7 aomFpgax7 aom
Fpgax7 aom
 
JS開発環境を晒す。
JS開発環境を晒す。JS開発環境を晒す。
JS開発環境を晒す。
 
Jaws大分
Jaws大分Jaws大分
Jaws大分
 
Node.js を選ぶとき 選ばないとき
Node.js を選ぶとき 選ばないときNode.js を選ぶとき 選ばないとき
Node.js を選ぶとき 選ばないとき
 
10回目nodejs
10回目nodejs10回目nodejs
10回目nodejs
 
WebXR TechTokyo #3 in Cluster発表資料
WebXR TechTokyo #3 in Cluster発表資料WebXR TechTokyo #3 in Cluster発表資料
WebXR TechTokyo #3 in Cluster発表資料
 
Nodeとフロントエンド − 知っておかなければならない、今と未来の話 −
Nodeとフロントエンド − 知っておかなければならない、今と未来の話 −Nodeとフロントエンド − 知っておかなければならない、今と未来の話 −
Nodeとフロントエンド − 知っておかなければならない、今と未来の話 −
 
JavaScript祭in ForPro nuxt.jsとSSRことはじめ
JavaScript祭in ForPro nuxt.jsとSSRことはじめJavaScript祭in ForPro nuxt.jsとSSRことはじめ
JavaScript祭in ForPro nuxt.jsとSSRことはじめ
 
Try micronaut
Try micronautTry micronaut
Try micronaut
 
Hokuriku.net 2013 01-26 node.js
Hokuriku.net 2013 01-26 node.jsHokuriku.net 2013 01-26 node.js
Hokuriku.net 2013 01-26 node.js
 
0511 lt
0511 lt0511 lt
0511 lt
 

Viewers also liked

みんなの公園マップ札幌版
みんなの公園マップ札幌版みんなの公園マップ札幌版
みんなの公園マップ札幌版Yasunori Kirimoto
 
Twilio + OpenWeatherMap APIで天気モーニングコール
Twilio + OpenWeatherMap APIで天気モーニングコールTwilio + OpenWeatherMap APIで天気モーニングコール
Twilio + OpenWeatherMap APIで天気モーニングコールMitsuhiro Yamashita
 
自動売買プログラムの作り方
自動売買プログラムの作り方自動売買プログラムの作り方
自動売買プログラムの作り方Shinya Furusake
 
FOSS4G で構築した登山地図＆計画マネージャー「ヤマタイム」～地理院地図PN会議
FOSS4G で構築した登山地図＆計画マネージャー「ヤマタイム」～地理院地図PN会議FOSS4G で構築した登山地図＆計画マネージャー「ヤマタイム」～地理院地図PN会議
FOSS4G で構築した登山地図＆計画マネージャー「ヤマタイム」～地理院地図PN会議Keiichi KATSUBE
 
Leaflet初級編 - Web地図サイトを構築してみよう-
Leaflet初級編 - Web地図サイトを構築してみよう-Leaflet初級編 - Web地図サイトを構築してみよう-
Leaflet初級編 - Web地図サイトを構築してみよう-Yasunori Kirimoto
 
OpenFlow OAM ツール - OKINAWA Open Days 2014 Day1
OpenFlow OAM ツール - OKINAWA Open Days 2014 Day1OpenFlow OAM ツール - OKINAWA Open Days 2014 Day1
OpenFlow OAM ツール - OKINAWA Open Days 2014 Day1Satoshi KOBAYASHI
 
アルゴリズム取引のシステムを開発・運用してみて分かったこと
アルゴリズム取引のシステムを開発・運用してみて分かったことアルゴリズム取引のシステムを開発・運用してみて分かったこと
アルゴリズム取引のシステムを開発・運用してみて分かったことSatoshi KOBAYASHI
 
はじめてみよう地図を使ったデータビジュアライゼーション入門 ～ FOSS4Gとオープンデータで可視化した地図を公開 ～
はじめてみよう地図を使ったデータビジュアライゼーション入門 ～ FOSS4Gとオープンデータで可視化した地図を公開 ～はじめてみよう地図を使ったデータビジュアライゼーション入門 ～ FOSS4Gとオープンデータで可視化した地図を公開 ～
はじめてみよう地図を使ったデータビジュアライゼーション入門 ～ FOSS4Gとオープンデータで可視化した地図を公開 ～Yasunori Kirimoto
 

Viewers also liked (11)

みんなの公園マップ札幌版
みんなの公園マップ札幌版みんなの公園マップ札幌版
みんなの公園マップ札幌版
 
WebGISをはじめてみる
WebGISをはじめてみるWebGISをはじめてみる
WebGISをはじめてみる
 
LeafletでWebGIS入門
LeafletでWebGIS入門LeafletでWebGIS入門
LeafletでWebGIS入門
 
Twilio + OpenWeatherMap APIで天気モーニングコール
Twilio + OpenWeatherMap APIで天気モーニングコールTwilio + OpenWeatherMap APIで天気モーニングコール
Twilio + OpenWeatherMap APIで天気モーニングコール
 
自動売買プログラムの作り方
自動売買プログラムの作り方自動売買プログラムの作り方
自動売買プログラムの作り方
 
FOSS4G で構築した登山地図＆計画マネージャー「ヤマタイム」～地理院地図PN会議
FOSS4G で構築した登山地図＆計画マネージャー「ヤマタイム」～地理院地図PN会議FOSS4G で構築した登山地図＆計画マネージャー「ヤマタイム」～地理院地図PN会議
FOSS4G で構築した登山地図＆計画マネージャー「ヤマタイム」～地理院地図PN会議
 
Leaflet.js超入門
Leaflet.js超入門Leaflet.js超入門
Leaflet.js超入門
 
Leaflet初級編 - Web地図サイトを構築してみよう-
Leaflet初級編 - Web地図サイトを構築してみよう-Leaflet初級編 - Web地図サイトを構築してみよう-
Leaflet初級編 - Web地図サイトを構築してみよう-
 
OpenFlow OAM ツール - OKINAWA Open Days 2014 Day1
OpenFlow OAM ツール - OKINAWA Open Days 2014 Day1OpenFlow OAM ツール - OKINAWA Open Days 2014 Day1
OpenFlow OAM ツール - OKINAWA Open Days 2014 Day1
 
アルゴリズム取引のシステムを開発・運用してみて分かったこと
アルゴリズム取引のシステムを開発・運用してみて分かったことアルゴリズム取引のシステムを開発・運用してみて分かったこと
アルゴリズム取引のシステムを開発・運用してみて分かったこと
 
はじめてみよう地図を使ったデータビジュアライゼーション入門 ～ FOSS4Gとオープンデータで可視化した地図を公開 ～
はじめてみよう地図を使ったデータビジュアライゼーション入門 ～ FOSS4Gとオープンデータで可視化した地図を公開 ～はじめてみよう地図を使ったデータビジュアライゼーション入門 ～ FOSS4Gとオープンデータで可視化した地図を公開 ～
はじめてみよう地図を使ったデータビジュアライゼーション入門 ～ FOSS4Gとオープンデータで可視化した地図を公開 ～
 

Recently uploaded

IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxIoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxAtomu Hidaka
 
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略Ryo Sasaki
 
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムスマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムsugiuralab
 
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。iPride Co., Ltd.
 
UPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdfUPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdffurutsuka
 
Amazon SES を勉強してみる その１2024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その１2024/04/12の勉強会で発表されたものです。Amazon SES を勉強してみる その１2024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その１2024/04/12の勉強会で発表されたものです。iPride Co., Ltd.
 
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By DanielPostman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Danieldanielhu54
 
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000Shota Ito
 
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directoryosamut
 

Recently uploaded (9)

IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxIoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
 
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
 
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムスマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
 
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
 
UPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdfUPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdf
 
Amazon SES を勉強してみる その１2024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その１2024/04/12の勉強会で発表されたものです。Amazon SES を勉強してみる その１2024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その１2024/04/12の勉強会で発表されたものです。
 
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By DanielPostman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
 
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
 
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
 

Node.jsでスクレイピングして可視化してみた