"Laboratorio di design di sistemi" dell'Università degli Studi di San Marino
Breve overview delle soluzioni per l'estrazione di dati da Twitter con particolare attenzione a Twint (soluzione osint) da usare via colab - http://bit.ly/downloadtwitterdata
OpenStreetmap an Opportunity for the Citizen Science
Estrarre dati da Twitter via API e soluzioni OSINT
1. @napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
Estrarre dati da
Twitter
Maurizio Napolitano
<napo@fbk.eu>
2. @napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
Obiettivi della lezione
Estrarre dati da Twitter al fine di individuare:
● Quante volte un hashtag ricorre
● Quante persone condividono un hashtag
3. @napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
Agenda
Overview su online di estrazione e analisi dati da Twitter
Le API di Twitter
Estrazione dati da API
Twint: soluzione OSINT
Un esempio in python con colab
18. @napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
Per utilizzare le API occorre registrarsi
come developers
19. @napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
I diversi piani di accesso alle API
30. @napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
https://mixedanalytics.com/knowledge-base/import-tw
itter-data-to-google-sheets/
da twitter a google sheets
31. @napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
CLI per la ricerca avanzata
32. @napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
Vari approcci per scaricare i dati
33. @napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
La Open Source INTelligence, acronimo
OSINT (in italiano: "Intelligence delle fonti
libere"), è l'attività di raccolta d'informazioni
mediante la consultazione di fonti di
pubblico accesso.
34. @napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
TWINT Project
Open-source Twitter Intelligence
https://github.com/twintproject
tl;dr Benefits
Some of the benefits of using Twint vs Twitter API:
● Can fetch almost all Tweets (Twitter API limits to last 3200 Tweets only);
● Fast initial setup;
● Can be used anonymously and without Twitter sign up;
● No rate limitations.
Limits imposed by Twitter
Twitter limits scrolls while browsing the user timeline. This means that with .Profile or with .Favorites you will be able to get
~3200 tweets.
36. @napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
http://bit.ly/downloadtwitterdata
Sporchiamoci le mani :)
37. @napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
Twitter
termini di riuso - https://developer.twitter.com/en/developer-terms/policy
sviluppatori - https://developer.twitter.com
getting data from twitter - https://medium.com/@mpuig/twitter-101-ae045999c7fe
import twitter data in google sheet -
https://mixedanalytics.com/knowledge-base/import-twitter-data-to-google-sheets/
python twitter search api premium - https://twitterdev.github.io/search-tweets-python/
twint - https://github.com/twintproject/twint
Esempio su colab - http://bit.ly/downloadtwitterdata
SocioViz
http://socioviz.net
Netlytic
https://netlytic.org/
Introduzione all'analisi delle reti sociali
https://www.slideshare.net/napo/introduzione-allanalisi-delle-reti-sociali-datajournalism
investigare i dati del MIUR con pandas/python
https://github.com/napo/opendatamiur
riscrivere query SQL usando Pandas
https://de.straba.us/2018/03/19/come-riscrivere-le-query-sql-in-pandas-ed-altro-ancora/
Risorse utili
38. @napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
Maurizio Napolitano
http://slideshare.net/napo
napolitano@fbk.eu
@napo
Contatti