Worskshop al festival del giornalismo di Perugia 2015 su strumenti open source per il giornalismo: come usare gli open data

1. Sonia Montegiove, Alfredo Parisi, Italo Vignoli
Strumenti open source per il giornalismo:
come usare gli open data

2. OpenData,chi?
Open
cosa?
“Un contenuto o un dato si definisce
aperto se chiunque è libero di
usarlo, riusarlo, ridistribuirlo –
soggetto, al massimo, al requisito di
attribuzione e/o condivisione allo
stesso modo”
Open Knowledge Foundation

3. OpenDataatavola
Foto di Karen Morgan, Flickr
ovverocomerendereappetibili
ingredientichenonlosono

4. Ingredienti
Per l'impasto:
100 g di Open Data
400 g di altre Fonti di Informazione
1 Kg di Pazienza nella ricerca
LibreOffice e altri sw open source
Per la comprensione e il mash-up:
Passione q.b.Foto di The Hellos, Flickr

5. Dovetrovareingredientifreschi
Portale www.dati.gov.it
Portali Open Data delle PA
Sezione Trasparenza Siti della PA
Da motore di ricerca con parola magica open data
Data scraping
Foto di Young Sok Yun, Flickr

6. Setrovodati.CSV
SEMPLICE!
Aprire il file con
LibreOffice e importare
il testo

7. Esetrovoun.XLS?
Un formato chiuso per esporre un dato aperto? Ossimoro?

8. Esetrovoun.pdf?
1. Scarico Tabula
2. Lo installo
3. Apro Tabula.exe
4. Faccio upload del file
.pdf

9. Esetrovoun.pdf?
Aspetto che arrivino
i dati in forma
tabellare.
L'attesa dipende
dalla complessità
del file.

10. Esetrovounatabellahtml?
Questo non è il
formato adatto a
pubblicare
Il caro vecchio
copia-incolla
può aiutarci
Fonte: http://www.benisequestraticonfiscati.it/

11. UnLibreOfficein“cucina”
Foto di Young Sok Yun, Flickr

12. Decorareconigrafici
0
500000
1000000
1500000
2000000
2500000
3000000
3500000
I 5 farmaci più venduti in Italia nell'ultimo semestre
dacosì...
...acosì
Fonte: http://www.dati.salute.gov.it/

13. Decorareconigrafici
1.scaricare il dataset e aprirlo in Calc
2. selezionare i dati da rappresentare
3. Inserisci – Grafico
4. Seguire la creazione guidata
5. Rifinire modificando alcuni elementi

14. Decorareconigrafici(inmodoguidato)
Da Inserisci-Grafico...
1 2
3 4

15. Mettereinrisaltoalcunidati
Fonte: http://itacan.ispo.toscana.it/italian/itacan.htm

16. Comefare?Formattazionecondizionata
Da:
Formato
Formattazione
condizionata
Condizione

17. Selezionaretratanteinformazioni
Partiamo dal
dataset
(da notare il
solo
formato .xls)
Fonte: http://www.dati.piemonte.it/catalogodati/dato/100670-.html

18. Selezionaretratanteinformazioni
Da Dati
Filtro
Filtro standard

19. Ho così un elenco esatto delle scuole con connessione veloce
Foto di Geoff Llerena, Flickr

20. Otteneresomme,medie,conteggiperdato
Fonte: http:/dati.lombardia.it/

21. Otteneresomme,medie,conteggiperdato
Da Dati
Subtotali

22. Cheariatira?
1 2
3 Fonte: http://www.arpa.umbria.it/open-data.aspx

23. Eseidatisonotanti

24. Dacosì...

25. ...acosì

26. Lafortunadiavereletabellepivot
Da Dati
Tabella Pivot
Crea

27. RappresentareDati

28. Listadellaspesa
Elaborazione dati:
 LibreOffice
 Open Refine (ex Google Refine)
Grafici:
 Plotly
 Datawrapper
Mappe:
 Mapbox

29. OpenRefine

Software prodotto da Google

Finalizzato al data cleaning

Interfaccia intuitiva e semplice da usare

Open Source, sorgente disponibile in Github

Refine offre una serie di trasformazioni preconfezionate
(trasformazioni comuni)

Refine utilizza il linguaggio GREL (Google Refine Expression Language)
per trasformazioni avanzate

Supporta diversi formati: TSV, CSV, *SV, JSON, XML, RDF

30. OpenRefine
Luoghi di interesse, Città di Firenze (Risorsa in CSV).

31. OpenRefine
1. Importare il file CSV in Open Refine

32. OpenRefine
2. Eliminare colonne duplicate (italiano/inglese)

33. OpenRefine
3. Rinominare intestazione colonne

34. OpenRefine
4. Trasformare celle utilizzando caratteri maiuscoli

35. OpenRefine
5. Unire due colonne ed ottenere l'indirizzo completo

36. OpenRefine
5. Unire due colonne ed ottenere l'indirizzo completo

37. OpenRefine
5. Unire due colonne ed ottenere l'indirizzo completo
6. Esportare il dataset! Formati disponibili TSV, CSV, ODS, XLS.

38. DaOpenDataaGrafici

Grafici veloci in pochi secondi

Grafici interattivi

Creazione e modifica dei grafici in modalità
collaborativa

Possibilità di condividere i grafici creati (Embed e Social)

Serve solamente un browser web

39. Collaboriamo!

40. DaOpenDataaGrafici
Servizi educativi per la prima infanzia, Regione Umbria:
si evidenziano i dati anagrafici, numero totale di bambini accolti al 15
dicembre di ogni anno suddivisi per categorie, informazioni sintetiche
riguardanti i periodi di apertura, spazi e strutture presenti, meccanismi di
graduazione.

41. DaOpenDataaGrafici

42. DaOpenDataaGrafici

43. DaOpenDataaGrafici-Mappe

Grafici veloci in pochi secondi (in 4 passi)

Mappe interattive (beta)

Open Source, sorgente disponibile in Github

Serve solamente un browser web

44. DaOpenDataaGrafici-Mappe

45. DaOpenDataaGrafici-Mappe

46. DaOpenDataaMappe

Mappe veloci in pochi secondi

Personalizzare i punti e le mappe

Utilizzare diversi template

Mapbox crea mappe interattive

Mapbox crea oggetti embed che si possono importare in blog

Importa diversi formati: CSV, geojson, KML e gpx

47. DaOpenDataaMappe
Hotspot Wifi in Umbria (Risorsa in geojson):

48. DaOpenDataaMappe
Hotspot Wifi in Umbria (risorsa in geojson):

49. DaOpenDataaMappe
Hotspot Wifi in Umbria (risorsa in geojson):

50. CreativeCommons
Le licenze Creative Commons offrono […] diverse articolazioni dei
diritti d'autore per […] creatori che desiderino condividere in
maniera ampia le proprie opere secondo il modello "alcuni diritti
riservati"
I vari moduli vengono combinati (volendo, in risposta a semplici
domande), stabilendo:
Quali diritti l’autore voglia riservarsi
Quali diritti l’autore voglia condividere

51. CreativeCommons
6 combinazioni possibili:
Attribuzione - Non commerciale -
Non opere derivate
Attribuzione - Non commerciale -
Condividi allo stesso modo
Attribuzione - Non commerciale
Attribuzione - Non opere derivate
Attribuzione - Condividi allo
stesso modo
Attribuzione

52. CreativeCommons
1.0
2.0
2.5
3.0
4.0

53. CreativeCommons4.0
Internazionalizzazione: per favorire l'adozione globale delle
licenze
Interoperabilità: tra le licenze Creative Commons e le altre licenze
Durata: anticipazione dei problemi legali e di adozione, per
favorire la durata delle licenze
Governi e Istituzioni Pubbliche: gestione dei problemi di adozione
delle licenze nelle aree dei dati, della scuola e della ricerca
Modelli di Adozione: compatibilità con le versioni precedenti alla
4.0

54. ConsiderevoleSforzoComunicativo
Commons Deed
Versione "comprensibile agli umani"
Traduzioni
Adattamento ai sistemi giuridici nazionali
Gestione dei Metadati
Filtro per licenza tramite Google, Yahoo, etc.
Add-on per Office, LibreOffice, Firefox, etc.
Siti web comprensibili e FAQ
http://www.creativecommons.org
http://www.creativecommons.it

55. LiberiTutti:CC0
Rinuncia a tutti i diritti d'autore e connessi (inclusi quelli
sulle banche di dati) su un'opera
allenta il più possibile i legami giuridici con quell'opera
Waiver of rigths: rinuncia a ogni diritto
in subordine, licenza gratuita e irrevocabile
in subordine, impegno a non esercitare i diritti rimasti
in capo al detentore

56. Standard?

57. Standard?
Standard: PDF, HTML, JPG
Non Standard: DOC, XLS, PPT, AI, MDF, SWF, WMF

58. AdozionedegliStandard
1
1970 1980 1990 1995 2000 2005
Standard Proprietari
Standard Nazionali
Standard Globali

59. InnovazioneChiusaeAperta

60. ChiusaversoAperta

61. BillGates[1]
One thing we have got to change in our strategy - allowing Office
documents to be rendered very well by other peoples browsers is
one of the most destructive things we could do to the company. We
have to stop putting any effort into this and make sure that Office
documents very well depends on PROPRIETARY IE capabilities
Dobbiamo cambiare la nostra strategia: consentire che i
documenti di Office vengano visualizzati bene da altri software è
una delle cose peggiori che possiamo fare. Dobbiamo smetterla di
fare sforzi in questa direzione, e assicurarci che i documenti di
Office dipendano da funzionalità proprietarie di IE

62. BillGates[2]
3 million computers get sold every year in China, but people don't
pay for the software. Someday they will, though. As long as they
are going to steal it, we want them to steal ours. They'll get sort of
addicted, and then we'll somehow figure out how to collect
sometime in the next decade
Ogni anno, in Cina vengono venduti circa 3 milioni di PC, ma
nessuno paga il software. Però, un giorno pagheranno. Fino a
quando lo rubano, vogliamo che rubino il nostro perché diventino
- in un certo senso - dipendenti. A quel punto, faremo in modo di
raccogliere qualcosa, anche se sarà nel prossimo decennio

63. FormatoStandard
Sviluppato da un Ente Neutrale
Consenso tra Software Vendor e Utenti Finali
Costruito come Standard Aperto
Nessun Componente Proprietario o Incapsulato
Implementazione Nativa Libera
Verifica del Formato Indipendente dal Vendor
Agnostico verso l'Utente
Apertura/Salvataggio senza Condizioni

64. FormatoAperto
E' indipendente da un unico software (e vendor)
E' interoperabile, perché permette una
condivisione trasparente dei dati tra più sistemi
eterogenei
E' perenne, perché tutela il patrimonio di
informazioni
nel tempo di fronte all'evoluzione della tecnologia
E' neutrale, perché non costringe l'utente a usare
uno specifico software, ma lascia un'ampia scelta

65. Open ContentClosed Content
Open FormatClosed Format

66. Documento=???

67. Documento=Contenitore

68. CONTENT.XML

69. Open Document Format
la scelta che permette di scegliere

70. ODFallaBasedell'Interoperabilità
SW
Contenuto
Vecchio Stile
Contenuto strettamente legato
all'applicazione che lo genera
Controllo in mano a chi sviluppa
l'applicazione e non all'utente
SW SW SW
Contenuto
Nuovo Stile
Contenuto rappresentato attraverso uno standard aperto
che non viene controllato da un unico vendor, per cui più
applicazioni possono crearlo e modificarlo
Controllo in mano all'utente e non al software vendor

71. Interoperabilità
Formato Standard
Open Document Format
Componenti Standard e Multipiattaforma
Font Libere e Multipiattaforma
Elementi Grafici: JPEG e TIFF, PNG
Multimedia: MP3 e OGG, MP4 e H.256
Costruzione "Neutrale" del Documento
Nessun Elemento Proprietario

72. ProcessodiStandardizzazione
ODF
Basato sul formato XML di OOo
12 dic 2002: sottoposto a OASIS
1 mag 2005: rilascio dello
standard ODF da parte di OASIS
16 nov 2005: sottoposto a ISO/IEC
JTC1 con le regole della Publicly
Available Specification (PAS)
3 mag 2006: approvazione dello
standard ISO/IEC IS 26300
720 pagine in 1239 giorni
OOXML
Basato sul formato XML di Office
2003
15 dic 2005: sottoposto a ECMA
31 dic 2006: standard ECMA
approvato dalla Ecma General
Assembly
31 gen 2007: sottoposto a ISO/IEC
JTC1 con le regole della FastTrack
31 mar 2008: approvazione dello
pseudo-standard ISO/IEC
7200 pagine in 838 giorni

73. RiusodegliStandard:unConfronto
ODF
Dublin Core
XLS:FO
SVG
MathML
XLink
SMIL
XForms
OOXML
Dublin Core

74. ODFeOOXML

75. FalsoStandardAperto
OOXML
Microsoft
Office 2013
ODF
LibreOffice
4.3

76. ProblemiconAltriCalendari
OOXML non prende in considerazione gli utenti di religione
ebraica e musulmana, che utilizzano un altro calendario
Indipendentemente dalla configurazione locale, la
funzione Networkdays() restituisce sempre sabato e
domenica come weekend
Errore per Algeria, Bahrain, Bangladesh, Iraq, Israel,
Jordan, Libya, Pakistan, Qatar, Sudan, Syria e United Arab
Emirates
ODF gestisce il problema correttamente

77. FontProprietarieBrevettati

78. BrevettiClearType

79. FontLibere

80. FormatiDisponibili
Documento di Testo ODF (ODT)
Modello di Documento di Testo ODF (OTT)
Microsoft Word 2007/2010/2013 XML (DOCX)
Microsoft Word 97/2000/XP/2003 (DOC)
Modello di Documento DOC (DOT)
Rich Text Format (RTF)
Testo (TXT)
Testo – Scegli la Codifica (TXT)

81. Formatiperl'Interoperabilità
Documento di Testo ODF (ODT) CONSIGLIATO
Microsoft Word 2007/2010/2013 XML (DOCX)
Microsoft Word 97/2000/XP/2003 (DOC) ACCETTATO
Rich Text Format (RTF) SCONSIGLIATO

82. NessunaInteroperabilità

83. NonStandard:Circa2000AC

84. FalsaInteroperabilità

85. NonStandard:Circa2000DC

86. VeraInteroperabilità

87. Standard:Circa2000DC

88. #opendatachevorrei
Nell'open data che vorrei non ci sono
formato chiusi né dati precotti

89. Grazie!
info@libreitalia.it @libreitalia
sonia@libreitalia.it @suxsonica
alfredo@libreitalia.it @alfparisi
italo@libreitalia.it @italovignoli