SlideShare a Scribd company logo
1 of 24
Download to read offline
D-Grid IaaS

Risch, Freitag


Allgemeine
Informationen

D-Grid IaaS            D-Grid IaaS
Schnittstellen
zu D-Grid
                      Projektvorstellung


                 Stefan Freitag, Marcel Risch

                 TU Dortmund, fluid Operations AG


                      24. Oktober 2011
¨
                 Ubersicht

 D-Grid IaaS

Risch, Freitag


Allgemeine
Informationen     1 Allgemeine Informationen
D-Grid IaaS

Schnittstellen
zu D-Grid
                  2 D-Grid IaaS


                  3 Schnittstellen zu D-Grid Diensten


                  4 Zusammenfassung
Ausgangssituation

 D-Grid IaaS

Risch, Freitag


Allgemeine           Sicherer, uniformer und einfacher Zugang zu
Informationen

D-Grid IaaS
                     Rechenleistung und Speicherkapazit¨ten
                                                          a
Schnittstellen
                     → Grid Middlewares
zu D-Grid
                     D-Grid setzt seit Beginn auf Vielfalt
                         Compute: gLite, Globus Toolkit und UNICORE
                         Storage: dCache, iRODS, OGSA-DAI und SRB



                     Cloud-Schnittstellen offerieren weitere Form des
                     Ressourcenzugangs
Allgemeine Informationen

 D-Grid IaaS

Risch, Freitag

                 Fragestellung:
Allgemeine
Informationen
                 Wie positionieren sich Grid-Initiativen zum Thema Cloud?
D-Grid IaaS

Schnittstellen
zu D-Grid
                 Fokus: Bereitstellung von Rechenressourcen
                     Software-As-A-Service (SaaS)
                     Entfernter Zugriff auf in einer Cloud betriebene Software
                     Platform-As-A-Service (PaaS)
                     Kunden erhalten vom Anbieter eine Software-Plattform
                     und entwickeln darauf eigene Dienste
                     Infrastructure-As-A-Service (IaaS)
                     Bereitstellung von virtuellen Appliances
Allgemeine Informationen

 D-Grid IaaS

Risch, Freitag
                     Fokus: Grid
Allgemeine                Betrieb von Grid Middleware-Diensten in Clouds
Informationen
                          Bereitstellung von Cloud-Diensten uber Grid Middlewares
                                                            ¨
D-Grid IaaS
                          Integration von Clouds in bestehende Grid-Infrastruktur
Schnittstellen
zu D-Grid




                     (a) Grid in Cloud   (b) Cloud over Grid   (c) Cloud and Grid


                 F¨r Distributed Computing Infrastructures interessant: (c)
                  u
D-Grid IaaS

 D-Grid IaaS

Risch, Freitag


Allgemeine
Informationen

D-Grid IaaS

Schnittstellen
                     F¨rdergeber: BMBF
                      o
zu D-Grid
                     F¨rderprogramm: KMU-innovativ. Vorfahrt f¨r
                      o                                       u
                     Spitzenforschung im Mittelstand.
                     Projektpartner: fluid Operations AG und TU Dortmund
                     Laufzeit: 01.06.2010 bis 31.05.2012
D-Grid IaaS

 D-Grid IaaS

Risch, Freitag   Ziel
Allgemeine       Erweiterung der D-Grid Basis f¨r eine kommerzielle Nutzung
                                               u
Informationen

D-Grid IaaS

Schnittstellen
zu D-Grid

                 . . . oder anders formuliert
                 Prototypische Einbringung einer Cloud Middleware in das
                 D-Grid

                        Erg¨nzung der D-Grid Infrastrukturbasis um eine vierte
                           a
                        Middleware-S¨ule
                                    a
                        Verbreiterung des Kundenspektrums
                        Verbesserung des bisherigen Angebots
Schematische Ansicht einer D-Grid Ressource

 D-Grid IaaS

Risch, Freitag


Allgemeine
Informationen

D-Grid IaaS

Schnittstellen
zu D-Grid




                 (Virtualisierungsschicht optional)
Cloudifizierte D-Grid Ressource

 D-Grid IaaS

Risch, Freitag


Allgemeine
Informationen

D-Grid IaaS

Schnittstellen
zu D-Grid
Cloud Frontend

 D-Grid IaaS

Risch, Freitag


Allgemeine
Informationen

D-Grid IaaS

Schnittstellen
zu D-Grid




                     Realisiert durch den fluidOps eCloudManager
                     Vorstellung durch Marcel Risch
Schnittstellen zu D-Grid Diensten

 D-Grid IaaS

Risch, Freitag       Einbindung einer neuen Middleware erfordert
Allgemeine               Technisch: Ankopplung an die zentralen D-Grid Dienste
Informationen            Organisatorisch: Integration in das Betriebskonzept
D-Grid IaaS
                     Cloud Computing im Kontext des D-Grid, Open Issues
Schnittstellen
zu D-Grid            Session, D-Grid All-Hands-Meeting 2010
Schnittstellen zu D-Grid Diensten

 D-Grid IaaS     D-MON (http://d-mon.d-grid.de/gridsphere/gridsphere)
Risch, Freitag


Allgemeine
Informationen

D-Grid IaaS

Schnittstellen
zu D-Grid
Schnittstellen zu D-Grid Diensten

 D-Grid IaaS

Risch, Freitag


Allgemeine
                 D-MON
Informationen
                     Integration eines GLUE 2.0-kompatiblen
D-Grid IaaS
                     Informationssystems in eCM
Schnittstellen
zu D-Grid
                     Zugeh¨riger Adapter online verf¨gbar
                          o                         u
                     So good news! It worked out of the box! It’s not
                     visible from the d-mon.d-grid.de because the VO
                     functions use GRRS to attach resources to VOs.

                                                            (Emmanouil Paisios)
Schnittstellen zu D-Grid Diensten

 D-Grid IaaS         D-MON, GLUE 2.0-Ausgabe
Risch, Freitag
                  1 <C o m p u t i n g S e r v i c e C r e a t i o n T i m e=” . . . >
Allgemeine
                      <ID>h t t p : / / 1 2 9 . 2 1 7 . 1 6 2 . 1 1 < / ID>
Informationen     3   <C a p a b i l i t y >e x e c u t i o n m a n a g e m e n t . j o b e x e c u t i o n </
D-Grid IaaS                 Capability >
Schnittstellen        <T o t a l J o b s >56</ T o t a l J o b s >
zu D-Grid         5   <R u n n i n g J o bs >56</Ru n n in g Jo b s >
                       ...
                  7   <ComputingManager BaseType=” Manager ”>
                       <Name>f l u i d O p s eCloudManager </Name>
                  9    <ProductName>f l u i d O p s eCloudManager </ProductName>
                       <P r o d u c t V e r s i o n >4.0.0.672 </ P r o d u c t V e r s i o n >
                 11       ...
                       <T o t a l P h y s i c a l C P U s >204</ T o t a l P h y s i c a l C P U s >
                 13    <T o t a l L o g i c a l C P U s >204</ T o t a l L o g i c a l C P U s >
                      </ComputingManager>
                 15 </C o m p u t i n g S e r v i c e >
Schnittstellen zu D-Grid Diensten

 D-Grid IaaS

Risch, Freitag


Allgemeine
Informationen
                 Nutzerverwaltung
D-Grid IaaS          Einsatz des dgridmap-Skripts zum Bezug der
Schnittstellen       Nutzerinformationen
zu D-Grid
                     Alternative Idee: VOMRS SOAP-Client
                     Integration der dgridmap-Informationen in die
                     eCM-Nutzerverwaltung
                         Eindeutige Abbildung der Nutzer
                         Derzeit keine Unterst¨tzung des VO-Konzepts
                                              u
                     M¨glichkeit zur Registrierung D-Grid-fremder Nutzer
                      o
Schnittstellen zu D-Grid Diensten

 D-Grid IaaS     Nutzerverwaltung
Risch, Freitag


Allgemeine
Informationen

D-Grid IaaS

Schnittstellen
zu D-Grid




                  Abbildung: In den eCloudManager eingef¨gte D-Grid VO-Mitglieder
                                                        u
Schnittstellen zu D-Grid Diensten

 D-Grid IaaS

Risch, Freitag


Allgemeine
Informationen    DGAS EE (http://www.rrzn.uni-hannover.de/d-grid_accounting.html)
D-Grid IaaS
                     Potentieller Nachfolger von DGAS
Schnittstellen
zu D-Grid            Einsatz von OGF Usage Records
                     Erweiterung durch den eCloudManagerSensor
                     Implementierung zweier Komponenten
                          URCollector: Einsammeln der Usage Records
                          ATMClient: Transfer an Accounting Server
                     APEL
Schnittstellen zu D-Grid Diensten

 D-Grid IaaS

Risch, Freitag      URCollector
                    (gek¨rzte) Darstellung der eCM-Accounting Informationen
                        u
Allgemeine
Informationen
                  1 Name : a c 3 f 4 4 3 2 −d953 −4f 6 2 −7533−43 a b f 7 3 7 5 3 f 3 ;
D-Grid IaaS

Schnittstellen    3 From : Tue J u l 19 1 2 : 4 4 : 2 5 CEST 2 0 1 1 ;
zu D-Grid
                    To : Wed J u l 27 1 1 : 3 0 : 4 7 CEST 2 0 1 1 ;
                  5
                    Costs :[1311072265749=0.0] ,[1311072289336=1.5] ,
                  7       [1311754541842=0.0] ,[1311759047996=0.0];

                  9 Power Changes : [ Tue J u l 19 1 2 : 4 4 : 4 9 CEST 2 0 1 1 ] ,
                            [ Wed J u l 27 1 0 : 1 5 : 4 1 CEST 2 0 1 1 ] ;
                 11
                    S e l f s e r v i c e t y p e : EC2 ;
Zusammenfassung

 D-Grid IaaS

Risch, Freitag


Allgemeine
Informationen
                     Zusammenspiel von Grid und Cloud in DCI durchaus
D-Grid IaaS
                     interessant
Schnittstellen       Identifikation der Schnittstellen am Beispiel D-Grid
zu D-Grid
                     Prototypische Umsetzung anhand einer kommerziellen
                     Cloud Middleware
                 Was w¨re m¨glich?
                      a    o
                     Angebot zum Deployment von Diensten
                     Bereitstellung von zertifizierten Appliances f¨r VOs
                                                                  u
                     ...
D-Grid IaaS

Risch, Freitag


Allgemeine
Informationen

D-Grid IaaS

Schnittstellen
zu D-Grid

                 Fragen?
Monitoring

 D-Grid IaaS

Risch, Freitag


Allgemeine
Informationen

D-Grid IaaS
                 Offener Punkt
Schnittstellen   Integration in die Nagios-basierte Monitoring-Infrastruktur
zu D-Grid


                     HTTP-Check f¨r die Erreichbarkeit des
                                   u
                     Informationssystems
                     HTTP(S)-Check f¨r die Erreichbarkeit des User Interface
                                        u
                     (Self-service Portals)
Ressourcenverwaltung

 D-Grid IaaS
                 Offener Punkt
Risch, Freitag
                 Integration in den D-Grid GRRS
Allgemeine
Informationen

D-Grid IaaS
                     Hinzuf¨gen eines neuen Ressourcen-Typs
                           u
Schnittstellen       Abh¨ngigkeit zwischen GRRS und D-MON
                         a
zu D-Grid
                     Kontaktaufnahme mit dem FZJ
                     Was man beim Anmelden einer solchen Ressource
                     einsammeln m¨ßte? [...] Neben einer Beschreibung,
                                    u
                     dem Administrator, admin und support mailinglisten
                     nur noch den Endpunkt in Form einer URL. [...] Es
                     geht [...] darum die Machbarkeit einer solchen
                     Integration zu zeigen.

                                                             (Stefan Freitag)
Interaktion mit dem Batchsystem

 D-Grid IaaS
                     WN des LRMS laufen als Appliances auf der physischen
Risch, Freitag
                     Hardware
Allgemeine
Informationen        Physische Hardware kann auch durch Cloud-Nutzer in
D-Grid IaaS          Anspruch genommen werden
Schnittstellen
zu D-Grid        → Konkurrenz-Situation
                 → Partitionierung der physischen Ressourcen
Interaktion mit dem Batchsystem

 D-Grid IaaS

Risch, Freitag


Allgemeine
Informationen
                     Dynamische Gestaltung der Partitionsgr¨ße
                                                           o
D-Grid IaaS          Agent uberwacht die Auslastung des LRMS anhand der
                           ¨
Schnittstellen       Anzahl wartender Jobs und freier Knoten
zu D-Grid
                     Freie Ressourcen des LRMS k¨nnen bei Bedarf regelbasiert
                                                  o
                     in die Cloud-Partition wandern
                     Der umgekehrte Fall ist ebenso m¨glich
                                                     o
                     Kein Abbrechen von Jobs im LRMS
                     Die WNs laufen leer und werden anschließend
                     heruntergefahren

More Related Content

Viewers also liked

Vorlesung Servicemanagement I - Blockvorlesung 04 - 2012-12-18 V01.00.00
Vorlesung Servicemanagement I - Blockvorlesung 04 - 2012-12-18 V01.00.00Vorlesung Servicemanagement I - Blockvorlesung 04 - 2012-12-18 V01.00.00
Vorlesung Servicemanagement I - Blockvorlesung 04 - 2012-12-18 V01.00.00Paul G. Huppertz
 
Lieber auf einem Kreuzfahrtschiff als im Altersheim
Lieber auf einem Kreuzfahrtschiff als im AltersheimLieber auf einem Kreuzfahrtschiff als im Altersheim
Lieber auf einem Kreuzfahrtschiff als im AltersheimRoger Ramuz
 
Inter Travel Dmc Malta Newsletter 2012
Inter Travel Dmc Malta  Newsletter 2012Inter Travel Dmc Malta  Newsletter 2012
Inter Travel Dmc Malta Newsletter 2012hanskristianhauge
 
Gestaltgesetze kopie
Gestaltgesetze   kopieGestaltgesetze   kopie
Gestaltgesetze kopieMMeellii
 
0005neujahrsgruesse2010
0005neujahrsgruesse20100005neujahrsgruesse2010
0005neujahrsgruesse2010Mertins
 
Lipo 6 überprüfung
Lipo 6 überprüfungLipo 6 überprüfung
Lipo 6 überprüfungzetafin
 
2012 09 12-medienqualifizierung_ho
2012 09 12-medienqualifizierung_ho2012 09 12-medienqualifizierung_ho
2012 09 12-medienqualifizierung_hoVinzenz Wyss
 
MUM Produktpräsentation 2010
MUM Produktpräsentation 2010MUM Produktpräsentation 2010
MUM Produktpräsentation 2010Philip Axmann
 
Wie CAS PIA DolmetscherInnen erfolgreich macht
Wie CAS PIA DolmetscherInnen erfolgreich machtWie CAS PIA DolmetscherInnen erfolgreich macht
Wie CAS PIA DolmetscherInnen erfolgreich machtMartinOesterer
 

Viewers also liked (13)

Vorlesung Servicemanagement I - Blockvorlesung 04 - 2012-12-18 V01.00.00
Vorlesung Servicemanagement I - Blockvorlesung 04 - 2012-12-18 V01.00.00Vorlesung Servicemanagement I - Blockvorlesung 04 - 2012-12-18 V01.00.00
Vorlesung Servicemanagement I - Blockvorlesung 04 - 2012-12-18 V01.00.00
 
Lieber auf einem Kreuzfahrtschiff als im Altersheim
Lieber auf einem Kreuzfahrtschiff als im AltersheimLieber auf einem Kreuzfahrtschiff als im Altersheim
Lieber auf einem Kreuzfahrtschiff als im Altersheim
 
Altran "Innovators" 04/2010
Altran "Innovators" 04/2010Altran "Innovators" 04/2010
Altran "Innovators" 04/2010
 
Strauss
StraussStrauss
Strauss
 
Inter Travel Dmc Malta Newsletter 2012
Inter Travel Dmc Malta  Newsletter 2012Inter Travel Dmc Malta  Newsletter 2012
Inter Travel Dmc Malta Newsletter 2012
 
Gestaltgesetze kopie
Gestaltgesetze   kopieGestaltgesetze   kopie
Gestaltgesetze kopie
 
0005neujahrsgruesse2010
0005neujahrsgruesse20100005neujahrsgruesse2010
0005neujahrsgruesse2010
 
IRAN
IRANIRAN
IRAN
 
Lipo 6 überprüfung
Lipo 6 überprüfungLipo 6 überprüfung
Lipo 6 überprüfung
 
2012 09 12-medienqualifizierung_ho
2012 09 12-medienqualifizierung_ho2012 09 12-medienqualifizierung_ho
2012 09 12-medienqualifizierung_ho
 
MUM Produktpräsentation 2010
MUM Produktpräsentation 2010MUM Produktpräsentation 2010
MUM Produktpräsentation 2010
 
Merchadising
MerchadisingMerchadising
Merchadising
 
Wie CAS PIA DolmetscherInnen erfolgreich macht
Wie CAS PIA DolmetscherInnen erfolgreich machtWie CAS PIA DolmetscherInnen erfolgreich macht
Wie CAS PIA DolmetscherInnen erfolgreich macht
 

Similar to D-Grid IaaS Vorstellung

Erweiterung einer D-Grid-Ressource um eine Compute-Cloud-Schnittstelle
Erweiterung einer D-Grid-Ressource um eine Compute-Cloud-Schnittstelle Erweiterung einer D-Grid-Ressource um eine Compute-Cloud-Schnittstelle
Erweiterung einer D-Grid-Ressource um eine Compute-Cloud-Schnittstelle Stefan Freitag
 
Christoph Mertens_IDSA_Introduction to Data Spaces.pptx
Christoph Mertens_IDSA_Introduction to Data Spaces.pptxChristoph Mertens_IDSA_Introduction to Data Spaces.pptx
Christoph Mertens_IDSA_Introduction to Data Spaces.pptxFIWARE
 
Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...
Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...
Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...Fabian Hardt
 
Dataservices - Data Processing mit Microservices
Dataservices - Data Processing mit MicroservicesDataservices - Data Processing mit Microservices
Dataservices - Data Processing mit MicroservicesQAware GmbH
 
Wie modelliere ich mein Core DWH?
Wie modelliere ich mein Core DWH?Wie modelliere ich mein Core DWH?
Wie modelliere ich mein Core DWH?Trivadis
 
Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...
Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...
Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...BOSTON Server & Storage Solutions GmbH
 
Modern Data Stack – Buzzword oder echter Game-Changer?
Modern Data Stack – Buzzword oder echter Game-Changer?Modern Data Stack – Buzzword oder echter Game-Changer?
Modern Data Stack – Buzzword oder echter Game-Changer?Fabian Hardt
 
Ist Gradle auch für die APEX-Projekte?
Ist Gradle auch für die APEX-Projekte?Ist Gradle auch für die APEX-Projekte?
Ist Gradle auch für die APEX-Projekte?MT AG
 
IKT-Trends und deren Bedeutung für eHealth
IKT-Trends und deren Bedeutung für eHealthIKT-Trends und deren Bedeutung für eHealth
IKT-Trends und deren Bedeutung für eHealthFraunhofer AISEC
 
Migration von Aftersales Systemen auf eine Cloud Plattform
Migration von Aftersales Systemen auf eine Cloud PlattformMigration von Aftersales Systemen auf eine Cloud Plattform
Migration von Aftersales Systemen auf eine Cloud PlattformQAware GmbH
 
TRANSCONNECT® cloud (SQL Projekt AG)
TRANSCONNECT® cloud (SQL Projekt AG)TRANSCONNECT® cloud (SQL Projekt AG)
TRANSCONNECT® cloud (SQL Projekt AG)SQL Projekt AG
 
Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13
Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13
Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13OPITZ CONSULTING Deutschland
 
CGAG Advisory Board Meeting 21.11.2014: Location Intelligence & Data Warehous...
CGAG Advisory Board Meeting 21.11.2014: Location Intelligence & Data Warehous...CGAG Advisory Board Meeting 21.11.2014: Location Intelligence & Data Warehous...
CGAG Advisory Board Meeting 21.11.2014: Location Intelligence & Data Warehous...callista-group
 
Architectures for .Net Core Applications
Architectures for .Net Core ApplicationsArchitectures for .Net Core Applications
Architectures for .Net Core ApplicationsRobin Sedlaczek
 
Enterprise Cloud Native ist das neue Normal
Enterprise Cloud Native ist das neue NormalEnterprise Cloud Native ist das neue Normal
Enterprise Cloud Native ist das neue NormalQAware GmbH
 

Similar to D-Grid IaaS Vorstellung (20)

Erweiterung einer D-Grid-Ressource um eine Compute-Cloud-Schnittstelle
Erweiterung einer D-Grid-Ressource um eine Compute-Cloud-Schnittstelle Erweiterung einer D-Grid-Ressource um eine Compute-Cloud-Schnittstelle
Erweiterung einer D-Grid-Ressource um eine Compute-Cloud-Schnittstelle
 
CAD in the Cloud
CAD in the CloudCAD in the Cloud
CAD in the Cloud
 
Christoph Mertens_IDSA_Introduction to Data Spaces.pptx
Christoph Mertens_IDSA_Introduction to Data Spaces.pptxChristoph Mertens_IDSA_Introduction to Data Spaces.pptx
Christoph Mertens_IDSA_Introduction to Data Spaces.pptx
 
Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...
Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...
Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...
 
Modernes Rechenzentrum
Modernes Rechenzentrum Modernes Rechenzentrum
Modernes Rechenzentrum
 
Dataservices - Data Processing mit Microservices
Dataservices - Data Processing mit MicroservicesDataservices - Data Processing mit Microservices
Dataservices - Data Processing mit Microservices
 
Wie modelliere ich mein Core DWH?
Wie modelliere ich mein Core DWH?Wie modelliere ich mein Core DWH?
Wie modelliere ich mein Core DWH?
 
Zertifizierter projektmanager verfügbar
Zertifizierter projektmanager verfügbarZertifizierter projektmanager verfügbar
Zertifizierter projektmanager verfügbar
 
Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...
Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...
Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...
 
Modern Data Stack – Buzzword oder echter Game-Changer?
Modern Data Stack – Buzzword oder echter Game-Changer?Modern Data Stack – Buzzword oder echter Game-Changer?
Modern Data Stack – Buzzword oder echter Game-Changer?
 
Ist Gradle auch für die APEX-Projekte?
Ist Gradle auch für die APEX-Projekte?Ist Gradle auch für die APEX-Projekte?
Ist Gradle auch für die APEX-Projekte?
 
IKT-Trends und deren Bedeutung für eHealth
IKT-Trends und deren Bedeutung für eHealthIKT-Trends und deren Bedeutung für eHealth
IKT-Trends und deren Bedeutung für eHealth
 
Cloud Computing
Cloud ComputingCloud Computing
Cloud Computing
 
Peter Hanke (Netapp Austria)
Peter Hanke (Netapp Austria)Peter Hanke (Netapp Austria)
Peter Hanke (Netapp Austria)
 
Migration von Aftersales Systemen auf eine Cloud Plattform
Migration von Aftersales Systemen auf eine Cloud PlattformMigration von Aftersales Systemen auf eine Cloud Plattform
Migration von Aftersales Systemen auf eine Cloud Plattform
 
TRANSCONNECT® cloud (SQL Projekt AG)
TRANSCONNECT® cloud (SQL Projekt AG)TRANSCONNECT® cloud (SQL Projekt AG)
TRANSCONNECT® cloud (SQL Projekt AG)
 
Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13
Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13
Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13
 
CGAG Advisory Board Meeting 21.11.2014: Location Intelligence & Data Warehous...
CGAG Advisory Board Meeting 21.11.2014: Location Intelligence & Data Warehous...CGAG Advisory Board Meeting 21.11.2014: Location Intelligence & Data Warehous...
CGAG Advisory Board Meeting 21.11.2014: Location Intelligence & Data Warehous...
 
Architectures for .Net Core Applications
Architectures for .Net Core ApplicationsArchitectures for .Net Core Applications
Architectures for .Net Core Applications
 
Enterprise Cloud Native ist das neue Normal
Enterprise Cloud Native ist das neue NormalEnterprise Cloud Native ist das neue Normal
Enterprise Cloud Native ist das neue Normal
 

More from Stefan Freitag

Globus Toolkit Status @ bwGrid F2F
Globus Toolkit Status @ bwGrid F2FGlobus Toolkit Status @ bwGrid F2F
Globus Toolkit Status @ bwGrid F2FStefan Freitag
 
Vorstellung IGE bei bwGrid Face2Face Meeting
Vorstellung IGE bei bwGrid Face2Face MeetingVorstellung IGE bei bwGrid Face2Face Meeting
Vorstellung IGE bei bwGrid Face2Face MeetingStefan Freitag
 
Cloud Computing in D-Grid
Cloud Computing in D-GridCloud Computing in D-Grid
Cloud Computing in D-GridStefan Freitag
 
Talk at the Security Workshop, GridKA Summerschool 2010
Talk at the Security Workshop, GridKA Summerschool 2010Talk at the Security Workshop, GridKA Summerschool 2010
Talk at the Security Workshop, GridKA Summerschool 2010Stefan Freitag
 
gLite Administration Workshop, Slides
gLite Administration Workshop, SlidesgLite Administration Workshop, Slides
gLite Administration Workshop, SlidesStefan Freitag
 
Virtuelle Organisation dgOps - Status
Virtuelle Organisation dgOps - StatusVirtuelle Organisation dgOps - Status
Virtuelle Organisation dgOps - StatusStefan Freitag
 
Integration of Cloud and Grid Middleware at DGRZR
Integration of Cloud and Grid Middleware at DGRZRIntegration of Cloud and Grid Middleware at DGRZR
Integration of Cloud and Grid Middleware at DGRZRStefan Freitag
 

More from Stefan Freitag (8)

Globus Toolkit Status @ bwGrid F2F
Globus Toolkit Status @ bwGrid F2FGlobus Toolkit Status @ bwGrid F2F
Globus Toolkit Status @ bwGrid F2F
 
Vorstellung IGE bei bwGrid Face2Face Meeting
Vorstellung IGE bei bwGrid Face2Face MeetingVorstellung IGE bei bwGrid Face2Face Meeting
Vorstellung IGE bei bwGrid Face2Face Meeting
 
D-Grid Infrastructure
D-Grid InfrastructureD-Grid Infrastructure
D-Grid Infrastructure
 
Cloud Computing in D-Grid
Cloud Computing in D-GridCloud Computing in D-Grid
Cloud Computing in D-Grid
 
Talk at the Security Workshop, GridKA Summerschool 2010
Talk at the Security Workshop, GridKA Summerschool 2010Talk at the Security Workshop, GridKA Summerschool 2010
Talk at the Security Workshop, GridKA Summerschool 2010
 
gLite Administration Workshop, Slides
gLite Administration Workshop, SlidesgLite Administration Workshop, Slides
gLite Administration Workshop, Slides
 
Virtuelle Organisation dgOps - Status
Virtuelle Organisation dgOps - StatusVirtuelle Organisation dgOps - Status
Virtuelle Organisation dgOps - Status
 
Integration of Cloud and Grid Middleware at DGRZR
Integration of Cloud and Grid Middleware at DGRZRIntegration of Cloud and Grid Middleware at DGRZR
Integration of Cloud and Grid Middleware at DGRZR
 

D-Grid IaaS Vorstellung

  • 1. D-Grid IaaS Risch, Freitag Allgemeine Informationen D-Grid IaaS D-Grid IaaS Schnittstellen zu D-Grid Projektvorstellung Stefan Freitag, Marcel Risch TU Dortmund, fluid Operations AG 24. Oktober 2011
  • 2. ¨ Ubersicht D-Grid IaaS Risch, Freitag Allgemeine Informationen 1 Allgemeine Informationen D-Grid IaaS Schnittstellen zu D-Grid 2 D-Grid IaaS 3 Schnittstellen zu D-Grid Diensten 4 Zusammenfassung
  • 3. Ausgangssituation D-Grid IaaS Risch, Freitag Allgemeine Sicherer, uniformer und einfacher Zugang zu Informationen D-Grid IaaS Rechenleistung und Speicherkapazit¨ten a Schnittstellen → Grid Middlewares zu D-Grid D-Grid setzt seit Beginn auf Vielfalt Compute: gLite, Globus Toolkit und UNICORE Storage: dCache, iRODS, OGSA-DAI und SRB Cloud-Schnittstellen offerieren weitere Form des Ressourcenzugangs
  • 4. Allgemeine Informationen D-Grid IaaS Risch, Freitag Fragestellung: Allgemeine Informationen Wie positionieren sich Grid-Initiativen zum Thema Cloud? D-Grid IaaS Schnittstellen zu D-Grid Fokus: Bereitstellung von Rechenressourcen Software-As-A-Service (SaaS) Entfernter Zugriff auf in einer Cloud betriebene Software Platform-As-A-Service (PaaS) Kunden erhalten vom Anbieter eine Software-Plattform und entwickeln darauf eigene Dienste Infrastructure-As-A-Service (IaaS) Bereitstellung von virtuellen Appliances
  • 5. Allgemeine Informationen D-Grid IaaS Risch, Freitag Fokus: Grid Allgemeine Betrieb von Grid Middleware-Diensten in Clouds Informationen Bereitstellung von Cloud-Diensten uber Grid Middlewares ¨ D-Grid IaaS Integration von Clouds in bestehende Grid-Infrastruktur Schnittstellen zu D-Grid (a) Grid in Cloud (b) Cloud over Grid (c) Cloud and Grid F¨r Distributed Computing Infrastructures interessant: (c) u
  • 6. D-Grid IaaS D-Grid IaaS Risch, Freitag Allgemeine Informationen D-Grid IaaS Schnittstellen F¨rdergeber: BMBF o zu D-Grid F¨rderprogramm: KMU-innovativ. Vorfahrt f¨r o u Spitzenforschung im Mittelstand. Projektpartner: fluid Operations AG und TU Dortmund Laufzeit: 01.06.2010 bis 31.05.2012
  • 7. D-Grid IaaS D-Grid IaaS Risch, Freitag Ziel Allgemeine Erweiterung der D-Grid Basis f¨r eine kommerzielle Nutzung u Informationen D-Grid IaaS Schnittstellen zu D-Grid . . . oder anders formuliert Prototypische Einbringung einer Cloud Middleware in das D-Grid Erg¨nzung der D-Grid Infrastrukturbasis um eine vierte a Middleware-S¨ule a Verbreiterung des Kundenspektrums Verbesserung des bisherigen Angebots
  • 8. Schematische Ansicht einer D-Grid Ressource D-Grid IaaS Risch, Freitag Allgemeine Informationen D-Grid IaaS Schnittstellen zu D-Grid (Virtualisierungsschicht optional)
  • 9. Cloudifizierte D-Grid Ressource D-Grid IaaS Risch, Freitag Allgemeine Informationen D-Grid IaaS Schnittstellen zu D-Grid
  • 10. Cloud Frontend D-Grid IaaS Risch, Freitag Allgemeine Informationen D-Grid IaaS Schnittstellen zu D-Grid Realisiert durch den fluidOps eCloudManager Vorstellung durch Marcel Risch
  • 11. Schnittstellen zu D-Grid Diensten D-Grid IaaS Risch, Freitag Einbindung einer neuen Middleware erfordert Allgemeine Technisch: Ankopplung an die zentralen D-Grid Dienste Informationen Organisatorisch: Integration in das Betriebskonzept D-Grid IaaS Cloud Computing im Kontext des D-Grid, Open Issues Schnittstellen zu D-Grid Session, D-Grid All-Hands-Meeting 2010
  • 12. Schnittstellen zu D-Grid Diensten D-Grid IaaS D-MON (http://d-mon.d-grid.de/gridsphere/gridsphere) Risch, Freitag Allgemeine Informationen D-Grid IaaS Schnittstellen zu D-Grid
  • 13. Schnittstellen zu D-Grid Diensten D-Grid IaaS Risch, Freitag Allgemeine D-MON Informationen Integration eines GLUE 2.0-kompatiblen D-Grid IaaS Informationssystems in eCM Schnittstellen zu D-Grid Zugeh¨riger Adapter online verf¨gbar o u So good news! It worked out of the box! It’s not visible from the d-mon.d-grid.de because the VO functions use GRRS to attach resources to VOs. (Emmanouil Paisios)
  • 14. Schnittstellen zu D-Grid Diensten D-Grid IaaS D-MON, GLUE 2.0-Ausgabe Risch, Freitag 1 <C o m p u t i n g S e r v i c e C r e a t i o n T i m e=” . . . > Allgemeine <ID>h t t p : / / 1 2 9 . 2 1 7 . 1 6 2 . 1 1 < / ID> Informationen 3 <C a p a b i l i t y >e x e c u t i o n m a n a g e m e n t . j o b e x e c u t i o n </ D-Grid IaaS Capability > Schnittstellen <T o t a l J o b s >56</ T o t a l J o b s > zu D-Grid 5 <R u n n i n g J o bs >56</Ru n n in g Jo b s > ... 7 <ComputingManager BaseType=” Manager ”> <Name>f l u i d O p s eCloudManager </Name> 9 <ProductName>f l u i d O p s eCloudManager </ProductName> <P r o d u c t V e r s i o n >4.0.0.672 </ P r o d u c t V e r s i o n > 11 ... <T o t a l P h y s i c a l C P U s >204</ T o t a l P h y s i c a l C P U s > 13 <T o t a l L o g i c a l C P U s >204</ T o t a l L o g i c a l C P U s > </ComputingManager> 15 </C o m p u t i n g S e r v i c e >
  • 15. Schnittstellen zu D-Grid Diensten D-Grid IaaS Risch, Freitag Allgemeine Informationen Nutzerverwaltung D-Grid IaaS Einsatz des dgridmap-Skripts zum Bezug der Schnittstellen Nutzerinformationen zu D-Grid Alternative Idee: VOMRS SOAP-Client Integration der dgridmap-Informationen in die eCM-Nutzerverwaltung Eindeutige Abbildung der Nutzer Derzeit keine Unterst¨tzung des VO-Konzepts u M¨glichkeit zur Registrierung D-Grid-fremder Nutzer o
  • 16. Schnittstellen zu D-Grid Diensten D-Grid IaaS Nutzerverwaltung Risch, Freitag Allgemeine Informationen D-Grid IaaS Schnittstellen zu D-Grid Abbildung: In den eCloudManager eingef¨gte D-Grid VO-Mitglieder u
  • 17. Schnittstellen zu D-Grid Diensten D-Grid IaaS Risch, Freitag Allgemeine Informationen DGAS EE (http://www.rrzn.uni-hannover.de/d-grid_accounting.html) D-Grid IaaS Potentieller Nachfolger von DGAS Schnittstellen zu D-Grid Einsatz von OGF Usage Records Erweiterung durch den eCloudManagerSensor Implementierung zweier Komponenten URCollector: Einsammeln der Usage Records ATMClient: Transfer an Accounting Server APEL
  • 18. Schnittstellen zu D-Grid Diensten D-Grid IaaS Risch, Freitag URCollector (gek¨rzte) Darstellung der eCM-Accounting Informationen u Allgemeine Informationen 1 Name : a c 3 f 4 4 3 2 −d953 −4f 6 2 −7533−43 a b f 7 3 7 5 3 f 3 ; D-Grid IaaS Schnittstellen 3 From : Tue J u l 19 1 2 : 4 4 : 2 5 CEST 2 0 1 1 ; zu D-Grid To : Wed J u l 27 1 1 : 3 0 : 4 7 CEST 2 0 1 1 ; 5 Costs :[1311072265749=0.0] ,[1311072289336=1.5] , 7 [1311754541842=0.0] ,[1311759047996=0.0]; 9 Power Changes : [ Tue J u l 19 1 2 : 4 4 : 4 9 CEST 2 0 1 1 ] , [ Wed J u l 27 1 0 : 1 5 : 4 1 CEST 2 0 1 1 ] ; 11 S e l f s e r v i c e t y p e : EC2 ;
  • 19. Zusammenfassung D-Grid IaaS Risch, Freitag Allgemeine Informationen Zusammenspiel von Grid und Cloud in DCI durchaus D-Grid IaaS interessant Schnittstellen Identifikation der Schnittstellen am Beispiel D-Grid zu D-Grid Prototypische Umsetzung anhand einer kommerziellen Cloud Middleware Was w¨re m¨glich? a o Angebot zum Deployment von Diensten Bereitstellung von zertifizierten Appliances f¨r VOs u ...
  • 20. D-Grid IaaS Risch, Freitag Allgemeine Informationen D-Grid IaaS Schnittstellen zu D-Grid Fragen?
  • 21. Monitoring D-Grid IaaS Risch, Freitag Allgemeine Informationen D-Grid IaaS Offener Punkt Schnittstellen Integration in die Nagios-basierte Monitoring-Infrastruktur zu D-Grid HTTP-Check f¨r die Erreichbarkeit des u Informationssystems HTTP(S)-Check f¨r die Erreichbarkeit des User Interface u (Self-service Portals)
  • 22. Ressourcenverwaltung D-Grid IaaS Offener Punkt Risch, Freitag Integration in den D-Grid GRRS Allgemeine Informationen D-Grid IaaS Hinzuf¨gen eines neuen Ressourcen-Typs u Schnittstellen Abh¨ngigkeit zwischen GRRS und D-MON a zu D-Grid Kontaktaufnahme mit dem FZJ Was man beim Anmelden einer solchen Ressource einsammeln m¨ßte? [...] Neben einer Beschreibung, u dem Administrator, admin und support mailinglisten nur noch den Endpunkt in Form einer URL. [...] Es geht [...] darum die Machbarkeit einer solchen Integration zu zeigen. (Stefan Freitag)
  • 23. Interaktion mit dem Batchsystem D-Grid IaaS WN des LRMS laufen als Appliances auf der physischen Risch, Freitag Hardware Allgemeine Informationen Physische Hardware kann auch durch Cloud-Nutzer in D-Grid IaaS Anspruch genommen werden Schnittstellen zu D-Grid → Konkurrenz-Situation → Partitionierung der physischen Ressourcen
  • 24. Interaktion mit dem Batchsystem D-Grid IaaS Risch, Freitag Allgemeine Informationen Dynamische Gestaltung der Partitionsgr¨ße o D-Grid IaaS Agent uberwacht die Auslastung des LRMS anhand der ¨ Schnittstellen Anzahl wartender Jobs und freier Knoten zu D-Grid Freie Ressourcen des LRMS k¨nnen bei Bedarf regelbasiert o in die Cloud-Partition wandern Der umgekehrte Fall ist ebenso m¨glich o Kein Abbrechen von Jobs im LRMS Die WNs laufen leer und werden anschließend heruntergefahren