SlideShare a Scribd company logo
1 of 38
Download to read offline
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
Estrarre dati da
Twitter
Maurizio Napolitano
<napo@fbk.eu>
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
Obiettivi della lezione
Estrarre dati da Twitter al fine di individuare:
● Quante volte un hashtag ricorre
● Quante persone condividono un hashtag
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
Agenda
Overview su online di estrazione e analisi dati da Twitter
Le API di Twitter
Estrazione dati da API
Twint: soluzione OSINT
Un esempio in python con colab
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
Strumenti di analisi
ed estrazione dati
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
Le API di
Twitter
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
JSON
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
Per utilizzare le API occorre registrarsi
come developers
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
I diversi piani di accesso alle API
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
Costi
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
Ricerca su tutto l'archivio
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
Step 1 Accesso come developer
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
Step 2 Accesso come developer
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
Step 3 Accesso come developer
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
Step 4 Accesso come developer
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
Step 5 Accesso come developer
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
… ma il COVID-19 ...
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
Creazione applicazione
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
Chiave di accesso
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
https://mixedanalytics.com/knowledge-base/import-tw
itter-data-to-google-sheets/
da twitter a google sheets
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
CLI per la ricerca avanzata
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
Vari approcci per scaricare i dati
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
La Open Source INTelligence, acronimo
OSINT (in italiano: "Intelligence delle fonti
libere"), è l'attività di raccolta d'informazioni
mediante la consultazione di fonti di
pubblico accesso.
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
TWINT Project
Open-source Twitter Intelligence
https://github.com/twintproject
tl;dr Benefits
Some of the benefits of using Twint vs Twitter API:
● Can fetch almost all Tweets (Twitter API limits to last 3200 Tweets only);
● Fast initial setup;
● Can be used anonymously and without Twitter sign up;
● No rate limitations.
Limits imposed by Twitter
Twitter limits scrolls while browsing the user timeline. This means that with .Profile or with .Favorites you will be able to get
~3200 tweets.
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
Twint via CLI
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
http://bit.ly/downloadtwitterdata
Sporchiamoci le mani :)
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
Twitter
termini di riuso - https://developer.twitter.com/en/developer-terms/policy
sviluppatori - https://developer.twitter.com
getting data from twitter - https://medium.com/@mpuig/twitter-101-ae045999c7fe
import twitter data in google sheet -
https://mixedanalytics.com/knowledge-base/import-twitter-data-to-google-sheets/
python twitter search api premium - https://twitterdev.github.io/search-tweets-python/
twint - https://github.com/twintproject/twint
Esempio su colab - http://bit.ly/downloadtwitterdata
SocioViz
http://socioviz.net
Netlytic
https://netlytic.org/
Introduzione all'analisi delle reti sociali
https://www.slideshare.net/napo/introduzione-allanalisi-delle-reti-sociali-datajournalism
investigare i dati del MIUR con pandas/python
https://github.com/napo/opendatamiur
riscrivere query SQL usando Pandas
https://de.straba.us/2018/03/19/come-riscrivere-le-query-sql-in-pandas-ed-altro-ancora/
Risorse utili
@napo
Laboratorio di design di sistemi - aprile 2020
Università degli Studi di San Marino
Maurizio Napolitano
http://slideshare.net/napo
napolitano@fbk.eu
@napo
Contatti

More Related Content

What's hot

creare cruscotti per investigare i dati
creare cruscotti per investigare i daticreare cruscotti per investigare i dati
creare cruscotti per investigare i datiMaurizio Napolitano
 
Soluzioni open source per la mobilità
Soluzioni open source per la mobilitàSoluzioni open source per la mobilità
Soluzioni open source per la mobilitàMaurizio Napolitano
 
I dati geografici per una strategia open data
I dati geografici per una strategia open dataI dati geografici per una strategia open data
I dati geografici per una strategia open dataMaurizio Napolitano
 
la comunicazione attraverso i social media
la comunicazione attraverso i social mediala comunicazione attraverso i social media
la comunicazione attraverso i social mediaMaurizio Napolitano
 
Strumenti e suggerimenti per creare grafici
Strumenti e suggerimenti per creare graficiStrumenti e suggerimenti per creare grafici
Strumenti e suggerimenti per creare graficiMaurizio Napolitano
 
Casi d'uso dei dati aperti nella Pubblica Amministrazione
Casi d'uso dei dati aperti nella Pubblica AmministrazioneCasi d'uso dei dati aperti nella Pubblica Amministrazione
Casi d'uso dei dati aperti nella Pubblica AmministrazioneSergio Agostinelli
 
Civic hacking: un'introduzione
Civic hacking: un'introduzioneCivic hacking: un'introduzione
Civic hacking: un'introduzioneErika Marconato
 
#AdUmbria2015 - workshop openness: gli open data
#AdUmbria2015 - workshop openness: gli open data#AdUmbria2015 - workshop openness: gli open data
#AdUmbria2015 - workshop openness: gli open dataAgenda digitale Umbria
 
L'importanza degli Open Data per il monitoraggio della spesa pubblica
L'importanza degli Open Data per il monitoraggio della spesa pubblicaL'importanza degli Open Data per il monitoraggio della spesa pubblica
L'importanza degli Open Data per il monitoraggio della spesa pubblicaVincenzo Patruno
 
Trasformare numeri in Data Visualization
Trasformare numeri in Data VisualizationTrasformare numeri in Data Visualization
Trasformare numeri in Data VisualizationLaura Pippinato
 
StatLomb: Un sistema web che riusa i dati statistici open per l’analisi geo s...
StatLomb: Un sistema web che riusa i dati statistici open per l’analisi geo s...StatLomb: Un sistema web che riusa i dati statistici open per l’analisi geo s...
StatLomb: Un sistema web che riusa i dati statistici open per l’analisi geo s...giovannibiallo
 

What's hot (12)

creare cruscotti per investigare i dati
creare cruscotti per investigare i daticreare cruscotti per investigare i dati
creare cruscotti per investigare i dati
 
Strumenti per il Fact Checking
Strumenti per il Fact CheckingStrumenti per il Fact Checking
Strumenti per il Fact Checking
 
Soluzioni open source per la mobilità
Soluzioni open source per la mobilitàSoluzioni open source per la mobilità
Soluzioni open source per la mobilità
 
I dati geografici per una strategia open data
I dati geografici per una strategia open dataI dati geografici per una strategia open data
I dati geografici per una strategia open data
 
la comunicazione attraverso i social media
la comunicazione attraverso i social mediala comunicazione attraverso i social media
la comunicazione attraverso i social media
 
Strumenti e suggerimenti per creare grafici
Strumenti e suggerimenti per creare graficiStrumenti e suggerimenti per creare grafici
Strumenti e suggerimenti per creare grafici
 
Casi d'uso dei dati aperti nella Pubblica Amministrazione
Casi d'uso dei dati aperti nella Pubblica AmministrazioneCasi d'uso dei dati aperti nella Pubblica Amministrazione
Casi d'uso dei dati aperti nella Pubblica Amministrazione
 
Civic hacking: un'introduzione
Civic hacking: un'introduzioneCivic hacking: un'introduzione
Civic hacking: un'introduzione
 
#AdUmbria2015 - workshop openness: gli open data
#AdUmbria2015 - workshop openness: gli open data#AdUmbria2015 - workshop openness: gli open data
#AdUmbria2015 - workshop openness: gli open data
 
L'importanza degli Open Data per il monitoraggio della spesa pubblica
L'importanza degli Open Data per il monitoraggio della spesa pubblicaL'importanza degli Open Data per il monitoraggio della spesa pubblica
L'importanza degli Open Data per il monitoraggio della spesa pubblica
 
Trasformare numeri in Data Visualization
Trasformare numeri in Data VisualizationTrasformare numeri in Data Visualization
Trasformare numeri in Data Visualization
 
StatLomb: Un sistema web che riusa i dati statistici open per l’analisi geo s...
StatLomb: Un sistema web che riusa i dati statistici open per l’analisi geo s...StatLomb: Un sistema web che riusa i dati statistici open per l’analisi geo s...
StatLomb: Un sistema web che riusa i dati statistici open per l’analisi geo s...
 

Similar to Estrarre dati da Twitter via API e soluzioni OSINT

Km4City: Accesso Semplice a Open Data e Dati Aggregati per le Pubbliche Ammi...
Km4City: Accesso Semplice a  Open Data e Dati Aggregati per le Pubbliche Ammi...Km4City: Accesso Semplice a  Open Data e Dati Aggregati per le Pubbliche Ammi...
Km4City: Accesso Semplice a Open Data e Dati Aggregati per le Pubbliche Ammi...Paolo Nesi
 
SPCData: la nuvola dei dati della Pubblica Amministrazione Italiana
SPCData: la nuvola dei dati della Pubblica Amministrazione ItalianaSPCData: la nuvola dei dati della Pubblica Amministrazione Italiana
SPCData: la nuvola dei dati della Pubblica Amministrazione ItalianaAntonio Maccioni
 
Premiazione intranet italia champions 2020 alcune tendenze - webinar - [int...
Premiazione intranet italia champions 2020   alcune tendenze - webinar - [int...Premiazione intranet italia champions 2020   alcune tendenze - webinar - [int...
Premiazione intranet italia champions 2020 alcune tendenze - webinar - [int...Giacomo Mason
 
Km4City: Knowledge Model 4 the City: molti dati + km4city = +conoscenza e se...
Km4City: Knowledge Model 4 the City:  molti dati + km4city = +conoscenza e se...Km4City: Knowledge Model 4 the City:  molti dati + km4city = +conoscenza e se...
Km4City: Knowledge Model 4 the City: molti dati + km4city = +conoscenza e se...Paolo Nesi
 
Introduzione all'Internet of Things
Introduzione all'Internet of ThingsIntroduzione all'Internet of Things
Introduzione all'Internet of ThingsAntonio Pintus
 
Internet: sistemi autonomi e governance
Internet: sistemi autonomi e governanceInternet: sistemi autonomi e governance
Internet: sistemi autonomi e governanceAntonio Prado
 
Workshop MIMAP Roma Capitale - Intervento dott. Dellutri 24.3.2015
Workshop MIMAP Roma Capitale - Intervento dott. Dellutri 24.3.2015Workshop MIMAP Roma Capitale - Intervento dott. Dellutri 24.3.2015
Workshop MIMAP Roma Capitale - Intervento dott. Dellutri 24.3.2015bonomisavignon
 
Le licenze per dati: capirle una volta per tutte (FOSS4G-IT 2020, Torino)
Le licenze per dati: capirle una volta per tutte (FOSS4G-IT 2020, Torino)Le licenze per dati: capirle una volta per tutte (FOSS4G-IT 2020, Torino)
Le licenze per dati: capirle una volta per tutte (FOSS4G-IT 2020, Torino)Simone Aliprandi
 
La proprietà intellettuale sui modelli di previsione e di profilazione (Bicoc...
La proprietà intellettuale sui modelli di previsione e di profilazione (Bicoc...La proprietà intellettuale sui modelli di previsione e di profilazione (Bicoc...
La proprietà intellettuale sui modelli di previsione e di profilazione (Bicoc...Simone Aliprandi
 
Fodd Florence Open Data Day. Api per Service Map
Fodd Florence Open Data Day. Api per Service MapFodd Florence Open Data Day. Api per Service Map
Fodd Florence Open Data Day. Api per Service MapMarco Serena
 
Service Map API, Smart City API, Open Data API
Service Map API, Smart City API, Open Data APIService Map API, Smart City API, Open Data API
Service Map API, Smart City API, Open Data APIPaolo Nesi
 
Della Valle Enterprise 2.0- Potenzialità di combinare SOA e Web 2.0
Della Valle Enterprise 2.0- Potenzialità di combinare SOA e Web 2.0Della Valle Enterprise 2.0- Potenzialità di combinare SOA e Web 2.0
Della Valle Enterprise 2.0- Potenzialità di combinare SOA e Web 2.0Emanuele Della Valle
 
Gastaldi 13 07_2015
Gastaldi 13 07_2015Gastaldi 13 07_2015
Gastaldi 13 07_2015CSI Piemonte
 
Data &amp; analytics framework malerba
Data &amp; analytics framework   malerbaData &amp; analytics framework   malerba
Data &amp; analytics framework malerbaRedazione InnovaPuglia
 
Open by default e licenze libere per il patrimonio culturale digitale (Roma, ...
Open by default e licenze libere per il patrimonio culturale digitale (Roma, ...Open by default e licenze libere per il patrimonio culturale digitale (Roma, ...
Open by default e licenze libere per il patrimonio culturale digitale (Roma, ...Simone Aliprandi
 
Slides delle lezioni del corso di Strumenti e applicazioni del Web per il cor...
Slides delle lezioni del corso di Strumenti e applicazioni del Web per il cor...Slides delle lezioni del corso di Strumenti e applicazioni del Web per il cor...
Slides delle lezioni del corso di Strumenti e applicazioni del Web per il cor...Roberto Polillo
 

Similar to Estrarre dati da Twitter via API e soluzioni OSINT (20)

Km4City: Accesso Semplice a Open Data e Dati Aggregati per le Pubbliche Ammi...
Km4City: Accesso Semplice a  Open Data e Dati Aggregati per le Pubbliche Ammi...Km4City: Accesso Semplice a  Open Data e Dati Aggregati per le Pubbliche Ammi...
Km4City: Accesso Semplice a Open Data e Dati Aggregati per le Pubbliche Ammi...
 
SPCData: la nuvola dei dati della Pubblica Amministrazione Italiana
SPCData: la nuvola dei dati della Pubblica Amministrazione ItalianaSPCData: la nuvola dei dati della Pubblica Amministrazione Italiana
SPCData: la nuvola dei dati della Pubblica Amministrazione Italiana
 
Premiazione intranet italia champions 2020 alcune tendenze - webinar - [int...
Premiazione intranet italia champions 2020   alcune tendenze - webinar - [int...Premiazione intranet italia champions 2020   alcune tendenze - webinar - [int...
Premiazione intranet italia champions 2020 alcune tendenze - webinar - [int...
 
Km4City: Knowledge Model 4 the City: molti dati + km4city = +conoscenza e se...
Km4City: Knowledge Model 4 the City:  molti dati + km4city = +conoscenza e se...Km4City: Knowledge Model 4 the City:  molti dati + km4city = +conoscenza e se...
Km4City: Knowledge Model 4 the City: molti dati + km4city = +conoscenza e se...
 
Introduzione all'Internet of Things
Introduzione all'Internet of ThingsIntroduzione all'Internet of Things
Introduzione all'Internet of Things
 
Qualità del Software Libero e formati standard
Qualità del Software Libero e formati standardQualità del Software Libero e formati standard
Qualità del Software Libero e formati standard
 
Internet: sistemi autonomi e governance
Internet: sistemi autonomi e governanceInternet: sistemi autonomi e governance
Internet: sistemi autonomi e governance
 
Workshop MIMAP Roma Capitale - Intervento dott. Dellutri 24.3.2015
Workshop MIMAP Roma Capitale - Intervento dott. Dellutri 24.3.2015Workshop MIMAP Roma Capitale - Intervento dott. Dellutri 24.3.2015
Workshop MIMAP Roma Capitale - Intervento dott. Dellutri 24.3.2015
 
OpenDataTour: CO.P.E.
OpenDataTour: CO.P.E.OpenDataTour: CO.P.E.
OpenDataTour: CO.P.E.
 
Le licenze per dati: capirle una volta per tutte (FOSS4G-IT 2020, Torino)
Le licenze per dati: capirle una volta per tutte (FOSS4G-IT 2020, Torino)Le licenze per dati: capirle una volta per tutte (FOSS4G-IT 2020, Torino)
Le licenze per dati: capirle una volta per tutte (FOSS4G-IT 2020, Torino)
 
Il progetto ODINet
Il progetto ODINetIl progetto ODINet
Il progetto ODINet
 
La proprietà intellettuale sui modelli di previsione e di profilazione (Bicoc...
La proprietà intellettuale sui modelli di previsione e di profilazione (Bicoc...La proprietà intellettuale sui modelli di previsione e di profilazione (Bicoc...
La proprietà intellettuale sui modelli di previsione e di profilazione (Bicoc...
 
Conclusioni del corso
Conclusioni del corsoConclusioni del corso
Conclusioni del corso
 
Fodd Florence Open Data Day. Api per Service Map
Fodd Florence Open Data Day. Api per Service MapFodd Florence Open Data Day. Api per Service Map
Fodd Florence Open Data Day. Api per Service Map
 
Service Map API, Smart City API, Open Data API
Service Map API, Smart City API, Open Data APIService Map API, Smart City API, Open Data API
Service Map API, Smart City API, Open Data API
 
Della Valle Enterprise 2.0- Potenzialità di combinare SOA e Web 2.0
Della Valle Enterprise 2.0- Potenzialità di combinare SOA e Web 2.0Della Valle Enterprise 2.0- Potenzialità di combinare SOA e Web 2.0
Della Valle Enterprise 2.0- Potenzialità di combinare SOA e Web 2.0
 
Gastaldi 13 07_2015
Gastaldi 13 07_2015Gastaldi 13 07_2015
Gastaldi 13 07_2015
 
Data &amp; analytics framework malerba
Data &amp; analytics framework   malerbaData &amp; analytics framework   malerba
Data &amp; analytics framework malerba
 
Open by default e licenze libere per il patrimonio culturale digitale (Roma, ...
Open by default e licenze libere per il patrimonio culturale digitale (Roma, ...Open by default e licenze libere per il patrimonio culturale digitale (Roma, ...
Open by default e licenze libere per il patrimonio culturale digitale (Roma, ...
 
Slides delle lezioni del corso di Strumenti e applicazioni del Web per il cor...
Slides delle lezioni del corso di Strumenti e applicazioni del Web per il cor...Slides delle lezioni del corso di Strumenti e applicazioni del Web per il cor...
Slides delle lezioni del corso di Strumenti e applicazioni del Web per il cor...
 

More from Maurizio Napolitano

I dati AGCOM del pluralismo politico sociale in televisione
I dati AGCOM del pluralismo politico sociale in televisioneI dati AGCOM del pluralismo politico sociale in televisione
I dati AGCOM del pluralismo politico sociale in televisioneMaurizio Napolitano
 
FIPAV - allievo allenatore Il protocollo di allenamento - Modulo 2 - napolita...
FIPAV - allievo allenatore Il protocollo di allenamento - Modulo 2 - napolita...FIPAV - allievo allenatore Il protocollo di allenamento - Modulo 2 - napolita...
FIPAV - allievo allenatore Il protocollo di allenamento - Modulo 2 - napolita...Maurizio Napolitano
 
Il diritto all'oblio nell'era digitale
Il diritto all'oblio nell'era digitaleIl diritto all'oblio nell'era digitale
Il diritto all'oblio nell'era digitaleMaurizio Napolitano
 
Ten years of opendata: what has happened and what is there to do
Ten years of opendata: what has happened and what is there to doTen years of opendata: what has happened and what is there to do
Ten years of opendata: what has happened and what is there to doMaurizio Napolitano
 
Infographics & data visualization - corso base FBK
Infographics & data visualization - corso base FBKInfographics & data visualization - corso base FBK
Infographics & data visualization - corso base FBKMaurizio Napolitano
 
Percorso di specializzazione per i ruoli di ricevitore–attaccante, opposto e ...
Percorso di specializzazione per i ruoli di ricevitore–attaccante, opposto e ...Percorso di specializzazione per i ruoli di ricevitore–attaccante, opposto e ...
Percorso di specializzazione per i ruoli di ricevitore–attaccante, opposto e ...Maurizio Napolitano
 
Dati: catalizzatori di innovazione per la smarticity
Dati: catalizzatori di innovazione per la smarticityDati: catalizzatori di innovazione per la smarticity
Dati: catalizzatori di innovazione per la smarticityMaurizio Napolitano
 
Follow the white Rabbit: opportunità e trabocchetti nella nostra vita digitale
Follow the white Rabbit: opportunità e trabocchetti nella nostra vita digitaleFollow the white Rabbit: opportunità e trabocchetti nella nostra vita digitale
Follow the white Rabbit: opportunità e trabocchetti nella nostra vita digitaleMaurizio Napolitano
 
Il ruolo dei dati nella economia del XXI secolo
Il ruolo dei dati nella economia del XXI secoloIl ruolo dei dati nella economia del XXI secolo
Il ruolo dei dati nella economia del XXI secoloMaurizio Napolitano
 
OpenStreetMap - Karten und Wandern
OpenStreetMap - Karten und WandernOpenStreetMap - Karten und Wandern
OpenStreetMap - Karten und WandernMaurizio Napolitano
 
laboratorio su mappe antiche digitalizzate
laboratorio su mappe antiche digitalizzatelaboratorio su mappe antiche digitalizzate
laboratorio su mappe antiche digitalizzateMaurizio Napolitano
 
Citizen science: il contributo dei cittadini alla ricerca
Citizen science:  il contributo dei cittadini alla ricercaCitizen science:  il contributo dei cittadini alla ricerca
Citizen science: il contributo dei cittadini alla ricercaMaurizio Napolitano
 
Il contributo del civic hacking alle policy sul riuso del patrimonio informat...
Il contributo del civic hacking alle policy sul riuso del patrimonio informat...Il contributo del civic hacking alle policy sul riuso del patrimonio informat...
Il contributo del civic hacking alle policy sul riuso del patrimonio informat...Maurizio Napolitano
 
OpenStreetmap an Opportunity for the Citizen Science
OpenStreetmap an Opportunity for the Citizen ScienceOpenStreetmap an Opportunity for the Citizen Science
OpenStreetmap an Opportunity for the Citizen ScienceMaurizio Napolitano
 

More from Maurizio Napolitano (18)

I dati AGCOM del pluralismo politico sociale in televisione
I dati AGCOM del pluralismo politico sociale in televisioneI dati AGCOM del pluralismo politico sociale in televisione
I dati AGCOM del pluralismo politico sociale in televisione
 
FIPAV - allievo allenatore Il protocollo di allenamento - Modulo 2 - napolita...
FIPAV - allievo allenatore Il protocollo di allenamento - Modulo 2 - napolita...FIPAV - allievo allenatore Il protocollo di allenamento - Modulo 2 - napolita...
FIPAV - allievo allenatore Il protocollo di allenamento - Modulo 2 - napolita...
 
La gestione del gruppo
La gestione del gruppoLa gestione del gruppo
La gestione del gruppo
 
percorsi ciclabili e stress
percorsi ciclabili e stresspercorsi ciclabili e stress
percorsi ciclabili e stress
 
Il diritto all'oblio nell'era digitale
Il diritto all'oblio nell'era digitaleIl diritto all'oblio nell'era digitale
Il diritto all'oblio nell'era digitale
 
Ten years of opendata: what has happened and what is there to do
Ten years of opendata: what has happened and what is there to doTen years of opendata: what has happened and what is there to do
Ten years of opendata: what has happened and what is there to do
 
Infographics & data visualization - corso base FBK
Infographics & data visualization - corso base FBKInfographics & data visualization - corso base FBK
Infographics & data visualization - corso base FBK
 
Percorso di specializzazione per i ruoli di ricevitore–attaccante, opposto e ...
Percorso di specializzazione per i ruoli di ricevitore–attaccante, opposto e ...Percorso di specializzazione per i ruoli di ricevitore–attaccante, opposto e ...
Percorso di specializzazione per i ruoli di ricevitore–attaccante, opposto e ...
 
Dati: catalizzatori di innovazione per la smarticity
Dati: catalizzatori di innovazione per la smarticityDati: catalizzatori di innovazione per la smarticity
Dati: catalizzatori di innovazione per la smarticity
 
Follow the white Rabbit: opportunità e trabocchetti nella nostra vita digitale
Follow the white Rabbit: opportunità e trabocchetti nella nostra vita digitaleFollow the white Rabbit: opportunità e trabocchetti nella nostra vita digitale
Follow the white Rabbit: opportunità e trabocchetti nella nostra vita digitale
 
Il ruolo dei dati nella economia del XXI secolo
Il ruolo dei dati nella economia del XXI secoloIl ruolo dei dati nella economia del XXI secolo
Il ruolo dei dati nella economia del XXI secolo
 
OpenStreetMap - Karten und Wandern
OpenStreetMap - Karten und WandernOpenStreetMap - Karten und Wandern
OpenStreetMap - Karten und Wandern
 
laboratorio su mappe antiche digitalizzate
laboratorio su mappe antiche digitalizzatelaboratorio su mappe antiche digitalizzate
laboratorio su mappe antiche digitalizzate
 
M'appare Trento
M'appare TrentoM'appare Trento
M'appare Trento
 
oltre la mappa
oltre la mappa oltre la mappa
oltre la mappa
 
Citizen science: il contributo dei cittadini alla ricerca
Citizen science:  il contributo dei cittadini alla ricercaCitizen science:  il contributo dei cittadini alla ricerca
Citizen science: il contributo dei cittadini alla ricerca
 
Il contributo del civic hacking alle policy sul riuso del patrimonio informat...
Il contributo del civic hacking alle policy sul riuso del patrimonio informat...Il contributo del civic hacking alle policy sul riuso del patrimonio informat...
Il contributo del civic hacking alle policy sul riuso del patrimonio informat...
 
OpenStreetmap an Opportunity for the Citizen Science
OpenStreetmap an Opportunity for the Citizen ScienceOpenStreetmap an Opportunity for the Citizen Science
OpenStreetmap an Opportunity for the Citizen Science
 

Estrarre dati da Twitter via API e soluzioni OSINT

  • 1. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino Estrarre dati da Twitter Maurizio Napolitano <napo@fbk.eu>
  • 2. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino Obiettivi della lezione Estrarre dati da Twitter al fine di individuare: ● Quante volte un hashtag ricorre ● Quante persone condividono un hashtag
  • 3. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino Agenda Overview su online di estrazione e analisi dati da Twitter Le API di Twitter Estrazione dati da API Twint: soluzione OSINT Un esempio in python con colab
  • 4. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino
  • 5. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino
  • 6. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino Strumenti di analisi ed estrazione dati
  • 7. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino
  • 8. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino
  • 9. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino
  • 10. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino
  • 11. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino
  • 12. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino
  • 13. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino Le API di Twitter
  • 14. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino
  • 15. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino
  • 16. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino
  • 17. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino JSON
  • 18. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino Per utilizzare le API occorre registrarsi come developers
  • 19. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino I diversi piani di accesso alle API
  • 20. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino Costi
  • 21. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino Ricerca su tutto l'archivio
  • 22. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino Step 1 Accesso come developer
  • 23. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino Step 2 Accesso come developer
  • 24. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino Step 3 Accesso come developer
  • 25. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino Step 4 Accesso come developer
  • 26. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino Step 5 Accesso come developer
  • 27. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino … ma il COVID-19 ...
  • 28. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino Creazione applicazione
  • 29. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino Chiave di accesso
  • 30. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino https://mixedanalytics.com/knowledge-base/import-tw itter-data-to-google-sheets/ da twitter a google sheets
  • 31. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino CLI per la ricerca avanzata
  • 32. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino Vari approcci per scaricare i dati
  • 33. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino La Open Source INTelligence, acronimo OSINT (in italiano: "Intelligence delle fonti libere"), è l'attività di raccolta d'informazioni mediante la consultazione di fonti di pubblico accesso.
  • 34. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino TWINT Project Open-source Twitter Intelligence https://github.com/twintproject tl;dr Benefits Some of the benefits of using Twint vs Twitter API: ● Can fetch almost all Tweets (Twitter API limits to last 3200 Tweets only); ● Fast initial setup; ● Can be used anonymously and without Twitter sign up; ● No rate limitations. Limits imposed by Twitter Twitter limits scrolls while browsing the user timeline. This means that with .Profile or with .Favorites you will be able to get ~3200 tweets.
  • 35. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino Twint via CLI
  • 36. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino http://bit.ly/downloadtwitterdata Sporchiamoci le mani :)
  • 37. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino Twitter termini di riuso - https://developer.twitter.com/en/developer-terms/policy sviluppatori - https://developer.twitter.com getting data from twitter - https://medium.com/@mpuig/twitter-101-ae045999c7fe import twitter data in google sheet - https://mixedanalytics.com/knowledge-base/import-twitter-data-to-google-sheets/ python twitter search api premium - https://twitterdev.github.io/search-tweets-python/ twint - https://github.com/twintproject/twint Esempio su colab - http://bit.ly/downloadtwitterdata SocioViz http://socioviz.net Netlytic https://netlytic.org/ Introduzione all'analisi delle reti sociali https://www.slideshare.net/napo/introduzione-allanalisi-delle-reti-sociali-datajournalism investigare i dati del MIUR con pandas/python https://github.com/napo/opendatamiur riscrivere query SQL usando Pandas https://de.straba.us/2018/03/19/come-riscrivere-le-query-sql-in-pandas-ed-altro-ancora/ Risorse utili
  • 38. @napo Laboratorio di design di sistemi - aprile 2020 Università degli Studi di San Marino Maurizio Napolitano http://slideshare.net/napo napolitano@fbk.eu @napo Contatti