Presentazione nell'ambito del workshop: OPEN DATA E CLOUD COMPUTING: OPPORTUNITÀ DI BUSINESS. Una vista internazionale - 15 Settembre 2014 Pad. 152 della Regione Puglia - 78 Fiera del Levante Bari
CLOUD COMPUTING: OPEN DATA AND BIG DATA - Giorgio Pietro MAGGI -- Giacinto DONVITO
1. CLOUD
COMPUTING:
OPEN
DATA
AND
BIG
DATA
INFN
-‐
GRUPPO
PON-‐ReCaS-‐PRISMA
Giorgio
Pietro
MAGGI
-‐-‐
Giacinto
DONVITO
2. 2
Sommario
• INFN
–
storia
ed
a+vità
in
corso
• Dal
Bc2S
(Infrastru6ura
Data
Center
Bari
)
ad
una
PiaAaforma
Cloud
Aperta:
– PON
ReCaS
–
potenziamento
infrastru6urale
– PON
PRISMA
–
pia6aforma
cloud
interoperabile
per
SMART
CITIES
– Panoramica
di
uFlizzo:
UtenF-‐Servizi-‐Sperimentazioni
• Infrastru3ura/Pia3aforma
-‐
Il
primo
livello
di
interazione
con
il
Cloud
CompuFng
• Servizi:
Esempi
di
servizi
cloud
– GesFone
sicura
dei
daF
– Pia6aforma
cloud
per
la
sanità
• Elaborazione
di
neuroimmagini
• Business
Intelligence
3. è
l’ente
pubblico
nazionale
di
ricerca,
dedicato
allo
studio
dei
cosFtuenF
fondamentali
della
materia
e
delle
leggi
che
li
governano.
Tali
a+vità
richiedono
l’uso
di
tecnologie
e
strumenF
di
ricerca
d’avanguardia
che
l’INFN
sviluppa
in
collaborazione
con
il
mondo
dell’industria.
3
INFN
e
Grid
• L'INFN
• INFN
gesFsce
una
delle
maggiori
infrastru6ure
di
calcolo
a
livello
nazionale
basata
su
circa
50'000
cores
e
oltre
30Pbyte
di
spazio
di
archiviazione
distribuiF
in
circa
20
siF.
– La
infrastruAura
Grid
viene
uFlizzata
con
straordinario
successo
da
esperimenF
grandi
e
piccoli
a
cui
INFN
partecipa
a
livello
nazionale
e
internazionale
• Il
gruppo
INFN-‐Bari
ha
un
focus
specifico
nel
supporto
alle
a+vità
di
Data
Analysis
in
vari
contesF
scienFfici
– esperimenF
di
LHC,
BioinformaFca,
Analisi
immagini
mediche,
Chimica
computazionale,
Cristallografia,
analisi
immagini
da
satellite,
etc
4. 4
INFN
e
Cloud
• INFN
partecipa
ad
infrastru6ure
di
calcolo
di
livello
europeo
e
mondiale
come
EGI
e
WLCG,
sia
nel
campo
del
grid
compuFng
che
del
Cloud
CompuFng
(EGI
Federated
Cloud
Task
Force)
• I N FN
u F l i z z a
l ' e n o rme
esperienza
acquisita
nel
design,
sviluppo
ed
implementazione
di
i n f ras t ru6ure
di
c a lcolo
d i s t ribuite,
come
quel l a
n e c e s s a r i a
a l l ' a n a l i s i
dell'enorme
quanFtà
di
daF
prodo+
da
LHC,
per
la
gesFone
delle
infrastru6ure
Cloud
ed
enormi
quanFtà
di
daF
(Big
Data)
INFN involvement in the LHC project
Exploration of a new energy frontier
in p-p and Pb-Pb collisions
LHC ring:
27 km circumference
CMS
ALICE
LHCb
ATLAS
5. 5
Bari
Computer
Centre
for
Science
DiparLmento
di
Fisica
(UNIBA)
&
INFN
• Bc2S
(Bari
Computer
Center
for
Science)
è
il
Data
Center
di
INFN-‐Bari
per
il
calcolo
scienFfico,
che
a6ualmente
si
compone
di
circa
4000
core
e
2
PB
di
storage
• Rappresenta
il
punto
di
arrivo
di
una
serie
di
proge+,
sia
europei
sia
nazionali
– proge+
EGEE
ed
EGI-‐INSPIRE
a6raverso
cui
è
stata
realizzata
l’Infrastru6ura
di
GRID
europea
– i
proge+
di
collaborazione
con
la
comunità
di
bioinformaFca
barese,
il
proge6o
Bioinfogrid,
LIBI
(FIRB)
e
BioVel
6. 6
Il
progeAo
PON-‐
ReCaS
• ReCaS
(Rete
di
Calcolo
per
SuperB
e
altre
applicazioni)
è
un
proge6o
PON
Ricerca
e
CompeFFvità
2007-‐2013,
finanziato
complessivamente
per
13.7
milioni
di
Euro
– "potenziamento
infrastru3urale”
-‐
realizzazione
di
un'infrastru6ura
di
calcolo
distribuita
nelle
qua6ro
regioni
della
convergenza:
Calabria,
Campania,
Puglia
e
Sicilia.
– Infrastru6ura
realizzata
in
o+ca
Grid
e
Cloud
compuLng
che
si
disFnguerà
per
la
potenza
di
calcolo
e
la
capacità
di
memorizzazione
di
daF
(capacità
circa
raddoppiate)
– Supporto
alle
comunità
degli
esperimenF
al
Large
Hadron
Collider
(LHC)
– Supporto
a
comunità
diverse
in
se6ori
strategici
della
scienza:
la
Fisica,
la
Medicina,
le
Biotecnologie
e
l'Ambiente
– Infrastru6ura
per
favorire
la
creazione
di
DistreF
e
Laboratori
Pubblico
PrivaG
e
la
collaborazione
con
PMI
(sviluppo
del
territorio)
e
Pubblica
Amministrazione
(Smart
CiFes
&
Urban
App)
7. 7
9.55
4.17
0.17
sezione longitudinale
0.20
9.55
0.80 3.50 0.50 3.00 0.50 0.50
Tape
library
2.5
PByte
3.50 0.50 3.50 0.50
9.55
3.50 4.50 1.53
9.55
Il
“potenziamento
infrastruAurale”
a
Bari
• Le
risorse
di
ReCaS
–
Bari
• Realizzazione
di
un
nuovo
edificio
per
il
calcolo
Sistema
HPC
cosFtuito
da
:
• 20
nodi
di
calcolo
(
800
core)
• Interconnessi
con
infiniband
• 20
acceleratori
grafici
NVIDIA
Tesla
K40
Più
di
13000
CPU
core
Storage
5.6
PByte
8. 8
PON
PRISMA
come
PiaAaforma
Cloud
Aperta
• PRISMA
(Pia6afoRme
cloud
Interoperabili
per
SMArt-‐
government)
è
un
proge6o
PON
Ricerca
e
CompeFFvità
2007-‐2013
che
coinvolge
– Imprese
private,
EnF
di
ricerca.
Università
e
Pubbliche
Amministrazioni
IaaS
(Infrastructure
as
a
Service)
&
PaaS
(Pla_orm
as
a
Service)
•
Pia6aforma
Iaas/PaaS
basata
su
soluzioni
open-‐source
• GesLone
CED
PA
e
CED
“federaF”
•
Supporto
allo
sviluppo,
personalizzazione
ed
esecuzione
di
applicaFvi
SW
•
Provisioning
on-‐demand
di
macchine
virtuali
e
storage
(affidabilità
e
sicurezza)
•
SaaS
(Soaware
as
a
Service)
Rischio
sismico
-‐
Pia6aforma
per
la
valutazione
assisFta
del
rischio
sismico
a
scala
territoriale
•
E-‐Government
-‐
Modello
di
ecosistema
digitale
per
le
PAL
•
E-‐Health
-‐
l’analisi
di
daF
in
ambito
sanitario,
sistemi
per
la
cooperazione
applicaFva
tra
i
sistemi
sanitari
(ospedalieri
e
territoriali)
e
sistemi
sociali
9. 9
I
proged
e
le
collaborazioni
PON-‐PRISMA
PON-‐ReCaS
Bc2S
UtenL
Cloud
Servizi
InfrastruAura
Applicazioni
•
BioinformaFca
•
Smart
CiFes
•
Chimica
computazionale
•
Fisica
dell’atmosfera
•
Immagini
satellitari
•
FilogeneFca
•
EGI
(European
Grid
IniFaFve)
•
Comunità
di
ricerca
•
UtenF
finali
di
Proge+
correlaF
(IPPOCRATE,
OCP,
OPLON,
SMART-‐Health
2.0,
ecc.)
•
Do6orandi
/ricercatori
UNIBA/
CNR
Aree
di
Ricerca
10. 10
I
vantaggi
del
Cloud
compuLng
• Isolamento
– Una
pia6aforma
cloud
può
essere
usata
da
molF
utenG
e
il
provider
comprendere
meccanismi
tali
da
proteggere
ed
isolare
ogni
utente
rispe6o
agli
altri
(risparmio
di
cosF,
privacy
e
la
sicurezza
dei
daF)
• Elas,cità
– la
fornitura
di
servizi
avviene
in
maniera
rapida
ed
elasGca,
allocando
le
risorse
necessarie
in
maniera
automaFca
e
trasparente
all’utente
finale
– infrastru6ure
cloud
si
ada6ano
automaFcamente
alla
variazione
di
dimensione
del
carico
• Sicurezza
(Da,
e
Servizi)
– Disaster
Recovery
as
a
Service
per
il
recupero
di
applicazioni
e
processi
di
business
su
un
sito
alternaFvo
• Grazie
all’Object
Storage
è
possibile
memorizzare
daF
in
più
copie,
su
diversi
dischi
e
su
diversi
server
garantendo
così
sicurezza
e
prestazioni
– i
daF
e
le
connessioni
di
accesso
ai
daF
sono
criptaL
– gli
utenF
sanno
esa6amente
dove
sono
memorizzaF
i
propri
daF
(Bc2S)
18. 18
Open-‐Source
ed
Business
Intelligence
Archivio
DATI
Pentaho
BI
Server
Pentaho
Report
Designer
Data
sources
Visualizzazione
Report
Creazione/
pubblicazione
Report
19. 19
Uno
use
case
complesso
con
la
PiaAaforma
PRISMA
BANCA
DATI
SOGGETTI
A
RISCHIO
Web/
Mobile
App
Geo
Map
Suite
di
Business
Intelligence
&
Data
DATI
CLIMATICI
DATI
TERRITORIALI
DATI
….
SENSORI
Management
Desktop
as
a
service
Data
security
&
privacy
Monitoring
Bc2S
Interfaccia
sensori
InfrastruAura
ReCaS-‐PRISMA
PaaS
IaaS