Shut up and give me the data
•
10 likes•1,317 views
Hoje em dia é possível extrair informações importantes a partir dos dados que as pessoas compartilham na internet. De posse dessas informações as possibilidades são infinitas: podemos saber onde as pessoas costumam ir, sua personalidade ou qual propaganda é mais adequada para ela. A coleta de dados é um passo importante para a extração de informações e possui diversas técnicas. Nesta palestra serão exibidas algumas técnicas para coleta de dados com o Python em sites como Marvel, Twitter e Foursquare.
Recommended
More Related Content
Viewers also liked
Viewers also liked (9)
Similar to Shut up and give me the data
Similar to Shut up and give me the data (20)
More from Ana Paula Gomes
More from Ana Paula Gomes (8)
Shut up and give me the data
- 1. shut up and give me the data!
- 2. quem tá falando?! Ana Paula Gomes Baiana, mestranda em Ciência da Computação, apaixonada por tecnologia, boas conversas e viagens (não necessariamente nessa ordem). Organizadora do GDG e WTM Belo Horizonte
- 3. dados
- 5. conte-me mais sobre isso
- 6. APIs facilitando a sua vida
- 7. APIs uma interface para acessar dados
- 8. APIs e o python nisso? • requests
- 9. APIs requests pip install requests >>> r = requests.get('https://api.github.com/user', auth=('user', 'pass')) >>> r.status_code 200 >>> r.headers['content-type'] 'application/json; charset=utf8' >>> r.text u'{"type":"User"...'
- 10. APIs Marvel API • oferece informações sobre seu universo: quadrinhos, personagens, autores • REST e JSON
- 11. APIs demonstração com requests acessando a API da marvel
- 12. APIs Twitter API passos: • cadastrar-se no Twitter (com número de telefone) • criar uma aplicação • solicitar token JSON
- 13. APIs Twitter API modalidades: • Streaming API • REST API (search)
- 14. APIs demonstração de uso da API do Twitter
- 15. Crawler tudo o que você pode ver, você pode pegar
- 16. Crawler programas que analisam páginas web em busca de dados relevantes
- 17. Crawler estratégias: • busca em Largura • snowball
- 18. Crawler Busca em Largura • busca todos os nós até terminar a árvore de dados • exemplo: coleta todos os links de uma página e explora estes links até todo o site ter sido coletado
- 19. Crawler Snowball • inicia com um conjunto de sementes (seeds) e coleta até um determinado critério de parada • critérios de parada: tempo de execução, componente conectado, fim das sementes
- 20. Crawler algumas bibliotecas: • pyquery, scrapy, beautiful soap
- 21. Crawler pyquery pip install pyquery >>>from pyquery import PyQuery as pq >>>doc = pq('<html><body><p>Hello World</p></body></html>') >>>print doc('p').text() 'Hello World'
- 22. Crawler demonstração do pyquery crawleando o foursquare
- 23. Apps você dá algo que os usuários querem em troca dos dados
- 24. Apps e dados criação de aplicativos em plataformas já consolidas em troca das informações dos usuários
- 25. Apps e dados
- 28. fácil assim?
- 29. só mais uma coisa!
- 30. códigos ou ideias { “email”: “apgomes88@gmail.com”, “twitter”: “anapaulagomess” “github”: “anapaulagomes/shutupandgivemethedata” }
- 31. obrigada!