Learn how to scrap web pages in Ruby, Javascript (and more, soon).

1. Scraping
by examples
Alexandre Gomes

2. http://creativecommons.org/licenses/by-nc/3.0/br/

3. Primeiros resultados definitivos do Censo 2010:
população do Brasil é de 190.755.799 pessoas
O Brasil tem 190.755.799 habitantes. É o que
constata a Sinopse do Censo Demográfico 2010, que
contém os primeiros resultados definitivos do XII
Recenseamento Geral do Brasil... 29/04/2011
http://www.ibge.gov.br

4. Resumo do Censo 2010

5. Resumo do Censo 2010

8. Qual a relação entre os índices de
alfabetização e a proporção feminina?

9. Exemplo
mulheres da região 7.859.539
= = 0.49
total de pessoas da região 7.859.539 + 8.004.915
alfabetizados* da região 11.326.492
= = 0.89
total de pessoas* da região 12.670.041
* acima de 10 anos de idade

10. E nas
demais
regiões?

11. Scraping by
Examples

12. Nokogiri

13. #1 Acessar a página que
contém o dado
desejado

14. teste

15. teste
codigo

16. $ rspec spec/ibge_censo2010_spec.rb:8
Run filtered using {:line_number=>8}
IBGECenso2010
should open page with "Razão de sexo, população
de homens e mulheres"
Finished in 44.4 seconds
1 example, 0 failures
$

17. #2 Recuperar o
dado desejado

18. Antes, entenda a
estrutura da página

19. <table>
<thead>...</thead>
<tfoot>
<tr>
<td>...</td>
<td>...</td>
<td>...</td>
<td>...</td>
<td>...</td>
</tr>
</tfoot>
<tbody>...</tbody> Estude o caminho
do dado na árvore
</table>
DOM

20. Observe IDs e
classes CSS que
podem ser úteis.

22. class="td_numeros"

25. ".td_numeros"
[

26. ".td_numeros"
[ 0 1 2
3 4 5
6 7 8
9 10 11
12 13 14
15 16 17

27. 1º dado de que
precisamos.
(numerador da fórmula)
[ 0 1 2
3 4 5
6 7 8
9 10 11
12 13 14
15 16 17

28. 2º dado de que
precisamos.
(para o cálculo do
denominador da fórmula)
[ 0 1 2
3 4 5
6 7 8
9 10 11
12 13 14
15 16 17

29. mulheres da região N dados[5]
=
total de pessoas da região N dados[4] + dados[5]
[ 0 1 2
3 4 5
6 7 8
9 10 11
12 13 14
15 16 17

30. teste

31. code

32. $ rspec spec
IBGECenso2010
razao de sexo
should open page with "Razão de sexo,
população de homens e mulheres"
should get number of women
Finished in 1.78 seconds
2 examples, 0 failures

33. teste

34. code

35. #3 Recuperar o
restante de dados
desejados

37. ...

38. #4 Apresentação
Web do scrapping

39. application.rb
(...)

40. application.rb
(...)

41. index.erb
(...)

42. http://datavisualization.ch/tools/13-javascript-libraries-for-visualizations

43. rme dos
o cha á na
ups est
m ash ção
visu aliza
diferenciada
de dados
http://datavisualization.ch/tools/13-javascript-libraries-for-visualizations

44. #5 Visualização
(ainda tosca) do
scrapping

46. #6 Visualização
diferenciada da
informação

47. ?

48. Agora, a
mesma
coisa,
apenas
com
Javascript

49. #1 Acessar a página que
contém o dado
desejado

50. test

51. code

53. #2 Recuperar o
dado desejado

54. test

55. code

56. #3 Recuperar o
restante de dados
desejados

57. ...

58. #4 Apresentação
Web do scrapping

59. index.html

60. index.html

61. index.html

62. index.html

63. index.html
(...)

64. index.html
(...)

65. index.html
(...)

66. index.html
(...)

67. http://chart.apis.google.com/chart?
chxt=y&chbh=a&chs=500x300&cht=bvg&chco=A2C180,3D7930
&chd=t:49,51,51,50,50|89,82,94,95,93
&chdl=Women|Literates&chp=0.033

68. código disponível em...

69. P&R

70. http://tinyurl.com/AvaliacaoSOO14