Open Data, introduction, état des lieux et débats (université d'été 2012 EIVP)

Open Data
PARIS
Université d’été 2012 de l’EIVP
« Numérique et Génie urbain »

Partage des données numériques,
Open Data Paris

29 août 2012 / JEAN-PHILIPPE CLEMENT / Secrétariat Général @AgentNuM

Introduction « Qu’est ce que l’Open Data »

Etat des lieux des projets

Etapes et méthodologie d’une démarche : comment se lancer?

Les petits, grands et faux débats de l’Open Data en France


Qu’est ce que l’Open Data?
…Qu’est ce qu’une donnée ouverte…

Dans le cadre de ses missions, le
service de l’arbre de la Ville de Paris a
recensé les arbres remarquables
(anciens ou essences rares) sur le
territoire.

Il a produit un fichier
comptabilisant et détaillant tous ces
arbres et celui-ci a été publié sur Paris
Data.

Des réutilisateurs ont téléchargé et
utilisé ces données pour produire des
applications mobiles d’information.
Tout organisme d'une certaine taille collecte, génère ou maintient un important volume de données électroniques (bases de données, systèmes
d'information cartographiques, registres électroniques, etc.).
Les données que possède la Ville de Paris sont exploitées au mieux par les services municipaux dans le cadre de leurs missions, mais constituent
également un patrimoine immatériel qui peut être mis en valeur pour et par l'ensemble des acteurs du territoire.


…Genèse, contexte international (les pionniers)…

Depuis 2005 : Petites initiatives locales de
recensement et publication de données (ex : carte
de la criminalité de Chicago everyblock.com)

Octobre 2007 : Séminaire de l’ Open
Government Working Group à l’initiative de Tim
O'Reilly and Carl Malamud pour définir les
principes de l’Open Government Data en vue des
élections US de 2008.

Janvier 2009 : Lancement par Barack Obama le
jour de son investiture de l’Open Government
Initiative, qui vise à associer les citoyens de
manière transparente, participative et
collaborative à la définition et la mise en œuvre
des politiques publiques et dont l’Open Data est
l’un des piliers.


Philosophie, …

Philosophie et concepts
Comme tout mouvement
d’ouverture souvent issu de la
culture Internet (comme l’Open
Source pour les logiciels), l’open
data est une philosophie et une
pratique qui considère que si
certaines données sont librement
exploitables par le plus grand
nombre sans restriction liée à un
droit d’auteur ou un droit
d’utilisation, cette exploitation
collaborative engendrera une
meilleure compréhension, de
nouvelles visions, de nouveaux
services, … des innovations.


…Pilier de l’Open Government ou Démocratie Ouverte …

Les données
publiques

Cette philosophie est
valable pour la sphère
privée et la sphère
publique. Cependant le
mouvement est très
attaché à l’ouverture
des données publiques
considérées comme un
bien commun et
partagé par et pour les
citoyens.


…Les concepts et vocabulaires voisins…

Les philosophies et
concepts voisins
Le web2.0, la co-
conception, le
collaboratif, le
participatif,
l’innovation ouverte, la
co-production avec la
foule (crowdsourcing)
sont autant de
concepts dont se
nourrit l’Open Data et
auxquels l’Open Data
participe.


…Les 8 critères qui définissent une donnée ouverte (selon l’Open Government working group)…

Complète : Toutes les données sont rendues disponibles sauf restrictions (sécurité et anonymat)

Primaire / Brute : Publiée telle que disponible à la source

Opportune : Publiée aussi rapidement que possible pour préserver leur valeur

Accessible : Mise à disposition du plus grand nombre sans restriction

Exploitable : Suffisamment structurée pour être facilement lisible par les machines

Non discriminatoire : Accessible sans processus d’authentification

Non propriétaire : Le format de la donnée n’est pas propriétaire ou restrictif

Libre de droits : La donnée n'est pas soumise au droit d'auteur, des brevets, des marques ou du
secret commercial. Il peut être admis des restrictions raisonnables au titre de la confidentialité et de la
sécurité.


…Les objectifs et les enjeux de l’Open Data…

Transparence [ (Open Government) Data ]
VS Les promesses politiques de l'Open Data
transparence vs participation
Participation [ Open (Government Data) ]

Collaboration / Co-conception

Modernisation des pratiques administratives

Interopérabilité / standardisation

Innovations

Open innovation


Quelques finalités potentielles d’une démarche Open Data par acteur

Pour une collectivité ou une organisation publique qui libère ses données
• Accompagner, compléter ou devancer l’obligation réglementaire (licence, mieux connaitre les attentes et les destinataires, expliquer les jeux
de données)
• Faire converger la démarche Open Data avec les missions et les objectifs des services (ex : Plan vélo)
• Développer la vision et les pratiques d’ouverture de l’organisation. Apprendre aux agents à collaborer avec des acteurs externes.
Pour une organisation privée qui libère ses données
• Accroitre la transparence de ses actions vis-à-vis de ses publics (partenaires, clients, investisseurs, actionnaires…)
• Démultiplier la valeur de ses données en les enrichissant et ouvrir sa démarche d’innovation vers l’extérieur
• Découvrir de nouveaux partenaires potentiels et élargir sa chaine de valeur
• Mieux Echanger avec ses publics et notamment ses clients sur leurs attentes
Pour les scientifiques
• Enrichir les éléments statistiques de leur recherche, élargir leurs travaux, développer de nouveaux modèles, obtenir des résultats plus
complets et plus fins
Pour les citoyens
• Accroitre leur connaissance et améliorer leurs perceptions du service public et des missions réalisées par la collectivité.
• Pouvoir plus facilement s’associer à la création des politiques publiques et mieux participer aux processus démocratiques du territoire (Conseil
de quartier, conseil municipal, élection).
Pour les journalistes (data journalism)
• Donner à voir et à comprendre des faits complexes (data visulaization)
• Mener des enquêtes de fond qui recoupent différents jeux de données et mettent en perspective la parole des d’experts
Pour les entreprises (grandes ou start up)
• Enrichir leurs services existants ou en cours de définition
• Ajouter de la valeur aux données mises à disposition
• Créer de nouveaux services
Pour la communauté des développeurs amateurs, bénévoles ou passionnés
• Créer de nouveaux services pour la collectivité
• Tester de nouveaux services à l’origine de futures entreprises
Pour le territoire
• Créer une nouvelle valeur et de l’innovation


Quelques exemples de réutilisations

Typologie des réuitilisations de SChignard : Consultation, Application, Médiation, Réutilisation spécialisée
Typologie croisée par mode de restitution (analyse rédigée, illustration, animation interactive, services web,
applications mobiles) et par finalités (expression artistique, accompagnement illustratif, transmission d’information,
mise en œuvre d’un service, alimentation d’un débat…)

Dataviz Mapize Naissance Etat Civil



Dataviz interactive du vote par bureau de vote à la Présidentielle Etude sur la corrélation entre vote par procuration et participation
2012 par Le Monde



Mashup Transparent School, lieux universitaires et activités 4square par Mapize



App mobile des hotspots Paris Wi-Fi App mobile Les envies parisiennes

Toutes les réutilisations publiques à partir de Open Data Paris :
http://opendata.paris.fr/opendata/jsp/site/Portal.jsp?page_id=16


Une petite vidéo vaut mieux qu’…


Carte détaillée des démarches Open Data dans le monde

• Dans le monde
plus de 15 Etats
engagés avec une
cinquante
d’agglomération (
San Francisco,
Seattle, NYC,
Edmonton…)
• En Europe, UK
(Londres et 90
agglomérations) et
la Catalogne, Le
Piemont…)
• 215 initiatives
Source : Open Data 2012 : où en est-on en France ? (mai 2012)
recensées par
http://www.slideshare.net/slidesharefing/open-data-week-ouverture-o-en-eston-en-france PublicData.eu

Carte détaillée des démarches Open Data en France

• Pionniers : Brest,
Keolis Rennes,
Rennes, Paris
• EtaLab avec
data.gouv.fr
• 5 régions sur 22 (ou
26) dont 3 actives
[cible 7 dans 18 mois]
• 7 départements sur
101 dont 6 actifs [+10]
• 27 villes (et/ou
agglomérations) sur
36000 communes
• Privé : Suez, SNCF,
Sources : Open Data 2012 : où en est-on en France ? (mai 2012)
CDT 13, RATP…
http://www.opendata-map.org/

Autres éléments de situation

800+ jeux de données ouverts (hors data.gouv.fr) ...

… qui ont permis de produire environ 200 applications

Forte implication d’au moins 8 mouvements citoyens locaux

Initiatives citoyennes nationales très visibles
Regards Citoyens : NosDeputes.fr et NosSenateurs.fr
WikiMedia France : notamment partenariats avec des musées
OpenStreetMap : Carto Party

Des acteurs très spécialisés (geek/développeurs)

Paradoxalement encore peu de ponts avec les actions de démocratie
participative ou celles de l’économie sociale et solidaire



Les modalités d’animation et leurs résultats

Constat partagé : La libération des données ne suffit pas, il faut produire de
l’animation autour du projet pour créer de la valeur :
Ateliers OpenData School
Conférences et séminaires
Forum d’échanges sur la démarche, appel à idées de libération de données
Hackathons
DevCamps
Concours / Appels à projets
Le grand public est encore absent. Même si des initiatives d’inclusion
voient le jour comme ExpoViz (La Fonderie / Région IDF)
Le manque de jeux de données diversifiées, de modèle économique et
de créativité apporte le constat d’une certaine pauvreté des réutilisations
publiques (200 applications environ).
Qualité disparate des jeux de données publiés (format, saucissonnage,
erreurs…)
+ : Transformation de la vision des services gestionnaires des données


Les phases d’une démarche Open Data : l’exemple parisien
…Questions et éléments à traiter

• Juridique • Objectifs : rassurer, • Mode d’acceptation de • Animation du
- Choix de la licence convaincre, converger la licence ? site via les
• Technique et valider • Formats et visualisation échanges avec
- Etude d’extraction et qualification • Supports : des données les utilisateurs
des jeux de données - Présentation projet • Modes d’interactions
- Mode et processus de publication - Liste des jeux de avec les utilisateurs • Animation de
- Réflexion API données pré-recensés la démarche via
• Phase de mise en ligne rencontres avec
• Pré-exploration des données :
• Rencontres des restreinte aux services et les dev et
Facilité d’extraction, pas de données
experts externes pour aux experts concours
nominatives, pas de questions de
sécurité, pas de questions juridiques ouvrir l’élaboration de
liées aux données la démarche • Ouverture du site

• Préparation • Echanges avec les • Préparation du site • Animation
• Juridique services gestionnaires • Mise en ligne • du site
• Technique • de la démarche
• Pré-exploration des données
• Rencontres des
experts Open Data

Feed back utilisateurs


Un exemple de méthodologie
Le cadre opérationnel de la Mairie de Paris

Exploration
• Exploration avec les services de l’organisation des applications et des bases de données contenant
des données sur 6 thèmes sélectionnés : citoyenneté, culture, déplacement, environnement,
urbanisme, services aux usagers
• Règles générales d’exploration : pas de données nominatives, pas de données sensibles de sécurité
• Règles spécifiques Phase 1 d’exploration : pas de questions juridiques et facilité d’extraction des
données (« low hanging fruits »)

Travaux juridiques
• Direction des Affaires Juridiques (DAJ) de la Ville et communauté (juristes spécialistes des licences
libres « Veni, Vidi, Libri ») sur la traduction de l’anglais et l’adaptation au droit français de la licence
Open Data Base Licence (ODBL)

Création d’un site dédié (OpenData.paris.fr)
• Répertoire des jeux de données
• Mise en forme des fichiers après extraction : csv (tableur), shape (cartographique), …
• Constitution des notices des jeux de données

Après la mise en ligne
• Organisation d’un événement dédié à la réflexion et au développement de nouveaux services à partir
des premiers jeux de données.
• Participation à des événements de développement d’applications et de services, notamment orienté
applications pour téléphone mobile.
• Après le « quick win » structuration du réseau des correspondants Open Data dans chaque direction
de la Ville et travaux sur la culture « Ville Ouverte ».


Le choix d’une licence
…cadre réglementaire français des données publiques

La loi du 17 juillet 1978 reconnaît à toute personne un droit d'accès aux
documents administratifs et un droit à la réutilisation des informations publiques.
Pour assurer la bonne application de ces droits, les articles 20 à 23 de la loi
prévoient la mise en place d'une autorité administrative indépendante : la
Commission d'accès aux documents administratifs (CADA).
La directive européenne du 17 novembre 2003 concernant la réutilisation des
informations du secteur public transposée en France via
L’ordonnance du 6 juin 2005 et le décret du 30 décembre 2005 qui créent un
droit de réutilisation des données publiques (sauf données personnelles, infos
d’organismes culturels ou données faisant l’objet de droits de propriété
intellectuelle). Le réutilisateur a certaines obligations.
L’ordonnance du 21 octobre 2010 a transposé la directive européenne Inspire
qui impose aux autorités publiques, d’une part de publier sur Internet leurs données
environnementales géographiques, d’autre part de les partager entre elles.
En 2011 le décret de la mission EtaLab établit la gratuité comme cadre général
et la redevance comme une exception.
Il est possible d’accompagner clairement et précisément ce droit et ces
obligations via l’établissement de licence de réutilisation des données.

Le choix d’une licence
l’exemple de la licence ODBL à Paris

Afin de déterminer les droits et les devoirs des réutilisateurs, l’organisation doit adopter une licence type, que l’utilisateur valide
avant le téléchargement des données mises à disposition sur ce site.
A Paris, cette licence a été adaptée de la licence ODbL (Open Database Licence) de l' Open Knowledge Foundation, avec l'aide
de la communauté de l'Open Data (remerciements à l'association Veni, Vidi, Libri, au collectif Regards Citoyens et au Chapitre
France de Creative Commons).
Vous êtes libres :

De partager : copier, distribuer et utiliser la base de données.

De créer : produire des créations à partir de cette base de données.

D'adapter : modifier, transformer et construire à partir de cette base de données.

Aussi longtemps que :

Vous mentionnez la paternité : Vous devez mentionnez la source de la base de données pour toute
utilisation publique de la base de données, ou pour toute création produite à partir de la base de
données, de la manière indiquée dans l'ODbL. Pour toute utilisation ou redistribution de la base de
données, ou création produite à partir de cette base de données, vous devez clairement mentionner aux
tiers la licence de la base de données et garder intacte toute mention légale sur la base de données
originaire.

Vous partagez aux conditions identiques : si vous utilisez publiquement une version adaptée de cette base
de données, ou que vous produisiez une création à partir d'une base de données adaptée, vous devez aussi offrir
cette base de données adaptée selon les termes de la licence ODbL.

Gardez ouvert : si vous redistribuez la base de données, ou une version modifiée de celle-ci, alors vous
ne pouvez utiliser de mesure technique restreignant la création que si vous distribuez aussi une
version sans ces restrictions.


Les guides d’une démarche d’ouverture des données
Le guide pratique coordonné par la FING et les 72 critères Opquast

Guide pratique de l’ouverture des données publiques coordonné
par la Fondation Internet Nouvelle Génération (FING)
http://fing.org/?Guide-pratique-de-l-ouverture-des

Grille d’auto-évaluation d’une démarche Open Data en 72 critères
sur Opquast (référentiel de bonnes pratiques dans le domaine du web)
13 catégories analysées : Animation, API, Applications, Catalogage, Format,
Historique, Identification, Licence, Linked Data, Nommage, Transparence,
Utilisabilité, Vie privée
Aucun projet atteint les 100% sur les 72 critères. C’est une cible idéale. Un
guide dans la démarche d’ouverture.
http://checklists.opquast.com/fr/opendata


Les guides d’une démarche d’ouverture des données
S’inscrire dans une perspective Linked Data (web 3.0) avec les critères de Tim Berners-Lee

Classement issu des travaux du W3C sur l’eGouvernment
http://www.w3.org/egov/

Orienté Web sémantique

Typologie de démarche et note de 1 à 5 étoiles
* make your stuff available on the web (whatever format)
** make it available as structured data (e.g. excel instead of image scan of a
table)
*** non-proprietary format (e.g. csv instead of excel)
**** use URLs to identify things, so that people can point at your stuff
***** link your data to other people’s data to provide context

Ressource complémentaire : Livre « Open Data , Comprendre l'ouverture des
données publiques » Ed Fyp de S Chignard et JF Marchandise

Open Data et (idéologies) orientations politiques

La démarche Open Data est-elle politique ?

A priori non, elle fait largement consensus. Il n’y a même pas vraiment
débat dans le choix entre transparence et participation. Les 2 objectifs
doivent être menés de front.

Pour autant, on aperçoit différents positionnements des acteurs vis-à-vis
de l’Open Data publique :
La donnée doit être libérée, elle a déjà été payée par le contribuable VS la donnée est
un patrimoine collectif (actif « appartenant » aux contribuables) qu’il faut valoriser.
Différentes familles de positionnement vis-à-vis des acteurs publics
Libérale : Défiance > la transparence pour dénoncer (IFRAP)
Libérale-libertaire : Méfiance > la transparence pour surveiller (Sunlight Foundation)
Participative : Bienveillance > la participation pour reconstruire de la confiance (FING)

Source : Les promesses politiques de l'Open Data transparence vs participation


Comment, combien et quand l’Open Data créera de la valeur?

2006 : 1ère grande étude des potentialités économiques de la réutilisation
des informations publiques en Europe (MEPSIR) commandé par la
commission européenne
> 26 à 47 milliards d’euros

Fin 2011 : Nouvelle étude commandé à l’OCDE par la commissaire
européenne Neelie Kroes (« Data is the new oil »)
> 40 à 140 milliards d’euros

La réflexion retient le chiffre de 140 milliards d’euros sans préciser
Qu’il s’agit d’une agrégation d’études et de chiffrage aux méthodologies différentes
Que le champs des données publiques étudiées est très large et ne se soucie pas des protections actuelles de
certaines d’entre elles : Géographic information, meteorological and environmental information, economic et business
information, social information, traffic and transport information, tourist and leisure information, agricultural, farming,
forestry and fisheries information, natural ressource information, legal system information, scientific information and
research data, educational content, political content, cultural content.

Le champs des compétences des collectivités locales est loin de couvrir tous ces domaines.
La promesse n’était-elle pas irréaliste dès le départ, l’Europe aurait-elle dû plus appuyer sur
l’argument de la transparence comme les USA? (Le Figaro, CR du MOMO du 12/06/2012)


Comment, combien et quand l’Open Data créera de la valeur?

Où est la valeur de l’Open Data?

Pas dans les modèles économiques balbutiants et irréguliers autour des
applications (Les échos 01/06/2012)

Certainement plus dans
L’usage par les collectivités elles-mêmes et les transformations culturelles induites
Les grandes entreprises basées sur la business intelligence (banque, assurance,
grands services territoriaux comme La Poste)
La Big Data (networked and complex data) de la futur Smart City, même si les villes
maitrisent mal leurs données souvent confiées à des gestionnaires des services publics.
Dans la création d’un écosystème innovant qui va pousser
la standardisation,
l’interopérabilité
la création de solutions techniques plus dynamiques (web services, API, mash up)
la multiplication des échanges entre gestionnaires de la donnée et réutilisateurs directs ou
indirects


Le cadre législatif et règlementaire doit-il évoluer?

De nombreuses questions sensibles et très complexes se posent (B Jean).

L’ « information publique » est assez bien définie juridiquement mais ce
n’est pas aussi précis pour la « donnée publique ouverte ». Doit-on
institutionnaliser les 8 critères d’une donnée ouverte (LiberTIC, 17/06/2012)
> Vrai ou faux débat ?

Elargissement sous certaines conditions des domaines relevant de la
donnée publique ouverte (CNN 06/2012)
Ouverture des données des Services publics industriels et commerciaux (SPIC)
Ouverture des données et contenus culturels (régime d’exception)
Ouvertures de certaines des données des acteurs privés gérant des services publics
(commencer par le prévoir dans les marchés publics)

Imposer un cadre de licence unique en choisissant définitivement
entre ODbL et Licence ouverte? OU travailler sur les métadonnées
juridiques de chaque jeu de données (patrimoine-immateriel.fr)

Le cadre législatif et règlementaire doit-il évoluer?

Adaptation du code des marchés publics
Pour faciliter la liaison avec Open Data dans les cahiers de charges
Pour faciliter les expérimentations et les aides à la création de services et
d’applications

Faire évoluer le droit d’auteur des agents publics?

Passer d’un logique de la demande à une logique de l’offre (CNN
06/2012) FAUSSE BONNE IDEE
Contre-productif de vouloir mettre toutes les ouvertures au même niveau
La logique de demande légitime l’échange et la création de liens entre les
gestionnaires et les réutilisateurs
La logique de la demande est plus économe en moyen et évite de créer une
nouvelle bureaucratie technique interne aux administrations
Eventuellement porter l’effort sur les répertoires des informations publiques
pour mieux orienter la demande


Quelles évolutions organisationnelles et opérationnelles au niveau de l’Etat, de la mission EtaLab et de data.gouv.fr

Au niveau national,

Faut-il simplement muscler la CADA (LiberTIC, 17/06/2012) ou la transformer
en Haute Autorité des données publiques (CNN 06/2012) ou encore travailler à
des fusions plus globales avec la CNIL ou d’autres administrations ?

Pour un « Open Gov France program » : La création de nouveaux moyens
n’est pas vraiment à l’agenda budgétaire national, même si cela amènerait la
démarche plus loin. Par contre, à coût quasi constant, en utilisant certains des
moyens et des logiques d’EtaLab, il devrait être possible de créer des
coordinations nationales et un plan d’action global entre les services (DGME,
DILA, DISI) et les agences ou autorités (APIE, CNIL, CADA) pour mettre en
œuvre les politiques de l’Open Government France.

Les USA viennent de publier (mai 2012) un rapport sur le digital government
du 21ème siècle qui met la logique de plate-forme de services au centre de la
démarche. La France a de l’avance sur certains domaines (RGI, RGS, RGA).


Quelles évolutions organisationnelles et opérationnelles au niveau de l’Etat, de la mission EtaLab et de data.gouv.fr

Evolutions d’EtaLab et data.gouv.fr
Les formidables travaux effectués par l’équipe d’EtaLab pour sortir
data.gouv.fr en moins d’une année doivent être salués.
Pourtant les orientations actuelles d’EtaLab et de data.gouv.fr peuvent
évoluer.
Stratégie : tout est déjà dans le rapport, accompagné par EtaLab, « Pour une
politique ambitieuse des données publiques » (juillet 2011) POURTANT
Aucune formalisation nationale des bonnes pratiques (interopérabilité)
Efforts limités sur la ré-exploitation des formats (Data Factory de D Berthault
03/2012 / 01net-entreprise.fr)
Manque de formation spécifique des gestionnaires de données qui peuvent
entrainer parfois des soucis de qualité (coordination avec ENA, IRA, CNFPT..).
Réflexions conjointes avec l’APIE sur les contrats et marchés publics
Un réseau et un écosystem quasi exclusivement tourné vers les grands groupes
(Big Data – Cloud) et les startups
Piloter et encourager l’innovation vers de grandes thématiques fortes (CNN
06/2012) comme Smart City ou Smart Grid.
Fournir un vrai accompagnement et un moyen d’import automatisé sur
data.gouv.fr ou un kit de publication aux collectivités.

Comment passer du mode expérimental à des projets industrialisés

Priorité à l’animation et à l’inclusion du grand public
Expositions, DataSchools, InfoLabs
Surtout pousser l’éditorialisation des données dans les actus, les services
proposés aux usagers, les débats proches de la vie courante des habitants.

Faire (très vite) émerger les acteurs techniques français et
européens et pas forcément que des grands groupes
Plate-formes de gestion des données US (Socrata) et canadienne (Junar)
très en avance.
Favoriser les projets mutualisés en Open Source et les start up comme
Open Data Soft ou Data Publica.


Connexions

OpenData.paris.fr
Twitter.com/OpenDataParis

http://fr.slideshare.net/AgentNumerique/presentations


Open Data, introduction, état des lieux et débats (université d'été 2012 EIVP)

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (20)

Similar to Open Data, introduction, état des lieux et débats (université d'été 2012 EIVP)

Similar to Open Data, introduction, état des lieux et débats (université d'été 2012 EIVP) (20)

More from Mairie de Paris

More from Mairie de Paris (18)

Open Data, introduction, état des lieux et débats (université d'été 2012 EIVP)