Big Data Governance

Big Data Governance in der Praxis
München, 26.06.2017, Rüdiger Eberlein

2Copyright © Capgemini 2017. All Rights Reserved
Big Data Governance in der Praxis | 26.06.2017
Capgemini’s Bereich Insights&Data hat weltweit 13.000 Berater,
davon 600+ in Projekten in Deutschland und Österreich
Nearshore
Wroclaw
Offshore
Mumbai
Bangalore
Hamburg
Düsseldorf
Köln/Bonn
Stuttgart
München
Frankfurt
Nürnberg
Hannover
Berlin
Wien
Kolkata
45%
10%
45%
Mitarbeiter
Onshore Nearshore Offshore
Public
Sector
Manufacturing,
Retail&
Distribution
Telecom,Media
&
Entertainment
Automotive
Energy,
Utilities &
Chemicals
Financial
Services
Auswahl an ReferenzkundenfürInformationManagement,Business
Intelligence,Data Warehouse,Big Data Analytics

Agenda
 Übersicht
 Agilität
 Datenkatalog
 Datensicherheit
 Werkzeuge
 Zusammenfassung

Die Funktionen eines Information Governance Frameworks
Industry standards,
Reference Data Mgmt
(internal& external
reference data)
Legal&
regulatory
data compliance
practices,
e-Discovery
Information
lifecycle:
Data Retention,
Disposition
Data Quality
rules,policies &
scorecards
Masterdata
policies &
workflows
Data Architecture,
Data Modelling,
Metadata Management,
Lineage &
Traceability
Data
classifications
&hierarchies,
Naming &coding
conventions
IG organization,
decision-making &
accountability
IG culture,
awareness
Business glossary,
data attributes roadmap,
socialdata,open data,
IoT data,M2M data
Information
exploitation
(internal,
external)
IGprogram
reach:Data
domains,systems,
Programs in
scope
Data Privacy,
Data Protection,
Information
Security,Data
Masking

Motivation für eine Big Data spezifische Governance
Data
Governance
Neue
Datenquellen
Externe Daten
Unstrukturierte
Daten
Echtzeit-
Verarbeitung
Neue
Analytics-
Ansätze
Agiles
Vorgehen

Prinzipien
 Daten sind ein wertvollerRohstoff
Wichtige Prinzipien der Datenarchitektur*
 Daten werden geteilt(Datendemokratie)
 Daten werden nutzbarbereitgestellt
 Die Qualität der Daten wird gesichert
 Unternehmensweites Business Glossar
 Die Daten sind gesichert vorMißbrauch
*TOGAF Data Principles

Architektur für Big Data:
Schwerpunkt auf Big Data Lake und NoSQL
Manage
Process
Analyze
Information
Source
data
Data ExplorationReporting
Ad-hoc
Querying
Search,
Retrieval
Structured data
 tables
Unstructured Data
 Text, speech, …
Semistructured data
 JSON, XML, …
Data Warehouse Data Asset
Catalog
 Index
 Tags
 Metadata
Data Lake
NoSQL databases
Key value
store
Document
store
Column
store
Graph
store
SQL databases
Row
based
Column
based
Streaming,
Event
Processing
File
system
Adv. Analytics,
Machine Learning
Next Best
Action
Data ingestionETL/ELT
Adv. Visualization
Data virtualization
Data preparation
 Data
governance
and security
 Data privacy
 Compliance
 Collaboration
 Value
generation
 Program
delivery
 Data-driven
culture
 Information
strategy
 Skill
development
 Master data
mgmt
 Metadata
mgmt
 Data quality
mgmt
 Operations,
SLA’s
 Orchestration

Die wesentlichen Prozesse für Big Data Governance
Lieferung,
Ingestion
Sicherheit
Katalogisierung Aufbereitung
Nutzung
Qualitäts-
management
Stammdaten-
management
Lifecycle-
Management

Stakeholder in der Big Data Governance
Governance Rollen
• Chief Data Officer
• Data GovernanceAusschuss
• Data Steward
• Dateneigentümer
• Datenlieferant
• Data Risk Officer
• Rechtsabteilung
Nutzerrollen
• Data Scientist
• Data Engineer
• Entwickler
• Power User
• Informationskonsument

Agenda
 Übersicht
 Agilität
 Datenkatalog
 Datensicherheit
 Werkzeuge
 Zusammenfassung

Governance aufBig Data
Agilität gegen Governance –
Sie müssen die richtige Balance finden !
 Agilitätist ein hauptsächlicher Treiberin Big
Data Analyticsund hatGovernance
Paradigmenin den Hintergrund gedrängt.
 Governancewird eherals Bremse denn als
Enablergesehen:“Irgendeinezentrale
Einheiterzähltmir, dass ich nichtdie Dinge
tun kann, die ich tun sollte.”
 Umwälzungenam Markt geschehen und
warten nichtauf Governance Prozesse.
 DerFachbereich willmit Big Data Analytics
fix unterwegs sein und möchteRegulation
loswerden.
 Data Scientists brauchenFlexibilität in ihrer
Arbeitum große Erkenntnissezu machen.
 Governanceistwie Sie anfangenDinge im
Großen zu tun.
 Unternehmensagilität istnicht,wenn man
alles tun kann, was man will.
Unternehmensagilität ist,das Rad nicht
mehrfach zu erfinden,wenn man anfängt
Datenquellen zu erschließen oderSysteme
zu integrieren.
 „Garbage in – Garbage out“gilt immer
noch!
 Wenn man die Bedeutung seinerGroßen
Daten nichtkennt,riskiert man
Fehlinterpretation und falscheSchlüsse aus
den Daten.
Agilitätfür Big Data Analytics

Einige Paradigmen für Agilität in Big Data Analytics
• Ermutige Datenlieferanten ihre Daten im unternehmensweiten
Data Lake bereitzustellen
Mimimal formal
governance
• Lade Daten einfach in den Data Lake mit Quasi-Null-Aufwand
für die ITData Ingestion
• Lade (quasi) alle ggf. relevanten Daten in den Data LakeLoad all data
• Lade Daten ohne jede strukturelle ÄnderungSchema-on-read
• Lade die Daten (quasi) in roher Form, ohne inhaltsändernde
Verarbeitung oder AggregationRaw data
• Strukturiere und transformiere Daten erst bei BedarfProcess data on-the-fly
• Ermögliche Data Scientists und Engineers ein Arbeiten im
Self Service ModeSelf Service

Die Art der Zusammenarbeit zwischen IT und Fachbereich ist bei Big
Data Analytics anders als bei traditioneller Business Intelligence
Time-to-production
Traditional
BI
New
Analytics Provide me
these new
data sources
in HDFS pls
Seems that
I need a
new report
Done
Exploring
the data.
Trial and
error.
Specifying
the
solution
outline
Implementing
Wow,
that’s what
I was
looking for
Go and
specify what
exactly you
need !
Don’t know
exactly. Better
request all.
That’s too
complicated
to
implement
No. That’s not what I
want. You need to
do it another way !
Why didn’t
you say that
at the
beginning?
IT
Business

Agenda
 Übersicht
 Agilität
 Datenkatalog
 Datensicherheit
 Werkzeuge
 Zusammenfassung

Grundlegende Fragestellungen der Nutzer des Data Lake
 Welche Daten sind im Data Lake verfügbar?
 Welche relevanten Daten gibt es zu meiner fachlichen Fragestellung?
 Wo liegen die betreffenden Daten?
 Woher stammen diese Daten?
 Über welchen Weg sind die Daten in den Data Lake gelangt?
 Wie wurden sie verarbeitet?
 Wie sind die Daten strukturiert?
 Welche Bedeutung haben die Daten?
 Wofür kann ich die Daten nutzen? Gibt es Einschränkungen bzgl. Datenqualität
oder Nutzungsrechten?

Grobkonzept für effizientes Teilen von Daten im Unternehmen unter
Nutzung eines Data Asset Catalog
Business
Data
Science
Enterprise
Taxonomy
Enterprise Data
AssetSearch
Enterprise Data
AssetCatalog
Data
Provider
Data
Steward /
Information
Curator
1
2
3
4
6
5

Die fachliche Taxonomie definiert Kategorien für die Klassifizierung der
Data Assets des unternehmensweiten Data Lake
Typische Kategorien sind:
Business
taxonomy
Business
processes
Customer
journey
Business
areas and
segments
Products and
services
Organisation
including
regions and
countries
Time

Data Asset Catalog
Data Asset Catalog
Data
Hadoop, Database, Files, 3rd Party Data, Things, Data in motion, Analyticsresults
Index Builder
Metadata
Connector
Catalog
Data asset information on data structure, type,
relationship, data profile, … Index
Asset search
User
Data
Scientist,
Data
Engineer
Data Profiler
Asset discovery
Classification, tags,
profile, lineage, …
Business
Taxonomy
Data
Steward
Data Lineage
Analyzer
Data
Provider
Classification,
Tagging
Business
Architect
Data
Processing
Data
Engineer

Definition fachlicher Metadaten im Data Asset Catalog basierend auf der
Unternehmenstaxonomie …
1) Basic and extended
metadata attributes are
modelled as user-defined tags
2) And then attached to a data
file or data field
BEISPIEL

… ermöglicht Data Scientists und Data Engineers die für
ihre Fragestellung relevanten Daten zu suchen …
Waterline provides search form
incorporating custom defined
search criteria (tags and origins
concepts)
BEISPIEL

… und diese Data Assets innerhalb des unternehmensweiten Data Lake
zu finden
Waterline provides an Amazon
like multi-faceted search with
both predefined facets as well
as custom defined facets
BEISPIEL

Mit Data Discovery können die einzelnen Datenfelder
bezüglich Nutzbarkeit bewertet werden
Waterline interface displays profile
information (e.g. Data type, min,
max, cardinality) on field level to
assist data scientists in data
discovery
BEISPIEL

Agenda
 Übersicht
 Agilität
 Datenkatalog
 Datensicherheit
 Werkzeuge
 Zusammenfassung

Klassifizierung der Daten bezüglich Sicherheit
 Sensible Daten
 PersonenbezogeneDaten
 Gesundheitsdaten
 Kreditkartendaten
 IntellectualProperty
 Wenigersensible Daten
 UnsensibleDaten
Datensicherheitsklassen
 Anonymisierung
 Pseudonymisierung
(VerschlüsselungsalgorithmusoderLookup
Tabellen)
 Verschlüsselung am Speicherplatz(z.B. HDFS
encryption)
 Verschlüsselung fürden Datentransfer
 Datenzugriffskontrolle
Sicherheitsmaßnahmen

Agenda
 Übersicht
 Agilität
 Datenkatalog
 Datensicherheit
 Werkzeuge
 Zusammenfassung

Werkzeuge für Big Data Governance
 DerReifegrad derangebotenen Werkzeuge für
Big Data Governanceistheute noch begrenzt.
 Es gibt viele Werkzeuge mit mehroderweniger
vielen funktionalenÜberlappungen.
 Es gibt kein Werkzeug,das in der Breite alle
Anforderungenbzgl.BDG abdeckt.
 Es gibt viele Anbieter.DerMarkt entwickeltsich
schnell.
Situation
 GewichtenSie Ihre eigenen funktionalen
Anforderungenan Big Data Governance.
 SuchenSie dazu passende Best-of-Breed-
Produkte.
 Ermitteln Sie den Scope dereinbezogenen
Datenlokationen (Hadoop,RDBMS,…).
 Fordern und prüfenSie die Integrationsfähigkeit
derfavorisiertenBDG Produkte.Insbesondere
mit Hadoop-Kernkomponentenwie HCatalog
muss die Integration gegebensein.
 Nutzen Sie die BDG Funktionalitäten,die mit
dervon Ihnen ausgewählten Hadoop-
Distribution (Cloudera,HortonWorks,MapR)
mitkommen.
Empfehlung

Produktanbieter für Big Data Governance
ApacheHadoop wurde
ursprünglichnichtbzgl.Big Data
Governancekonzipiert.
Fehlende Funktionalitätenwurden
und werden von Version zu
Version eingebracht.
WesentlicheKomponentensind:
 HCatalog
 Hive Metastore
 Solr
Hadoop Core
Die Hadoop Distributorenreichern
den HadoopKern mit eigenen
Komponenten fürBDG
entsprechend derAnforderungen
von Unternehmen an (Enterprise
Edition).
Teilweise versuchen sie auch
diese Komponenten in den
HadoopCore zu bringen.
 Cloudera:Navigator,Sentry,…
 HortonWorks:Atlas,Falcon,
Ranger
 MapR
Hadoop Distributoren
 Informatica
 IBM
 WaterlineData
 Alation
 Collibra
 Tamr
 Talend
 Zaloni
 Trifacta
 Adaptive
 Dataguise
 Data Advantage Group
 SAP
 Attivio
 …
Dritte

Agenda
 Übersicht
 Agilität
 Datenkatalog
 Datensicherheit
 Werkzeuge
 Zusammenfassung

Die wesentlichen Prozesse für Big Data Governance
Lieferung,
Ingestion
Sicherheit
Katalogisierung Aufbereitung
Nutzung
Qualitäts-
management
Stammdaten-
management
Lifecycle-
Management

Verweise
 Big Data Governance: Big Data Governance: Modern Data Management
Principles for Hadoop, NoSQL & Big DataAnalytics; Peter Ghavami; Paperback
 Data Management Body of Knowledge (DMBOK2)
 TOGAF: Data Principles, The Open Group
 Big Data Governance, Rüdiger Eberlein, CIO Magazine

Ihr Ansprechpartner zu Big Data Governance bei Capgemini
Rüdiger Eberlein
Insights & Data
Advisory & Architecture
ruediger.eberlein@capgemini.com
Capgemini München
Mobile +49 160 9787 2295

www.capgemini.com
The information contained in this presentation is proprietary.
© 2016 Capgemini. All rights reserved. Rightshore® is a trademark belonging to Capgemini.
About Capgemini
With more than 190,000 people in over 40 countries, Capgemini
is one of the world's foremost providers of consulting, technology
and outsourcing services. The Group reported 2016 global
revenues of EUR 12.5 billion.
Together with its clients, Capgemini creates and delivers
business, technology and digital solutions that fit their needs,
enabling them to achieve innovation and competitiveness. A
deeply multicultural organization, Capgemini has developed its
own way of working, the Collaborative Business ExperienceTM,
and draws on Rightshore®, its worldwide delivery model.

Big Data Governance

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Big Data Governance

Similar to Big Data Governance (20)

More from Capgemini

More from Capgemini (20)

Big Data Governance