Da un po' di tempo a questa parte quando uno sviluppatore software sente la parola "Clouds" non pensa più alle nuovole, ma a...? Durante l'intervento risponderò a questa domanda e mostrerò come una applicazione web sviluppata con Spring Framework, Apache Maven e JPA può essere installata facilmente e (quasi) gratuitamente sulla piattaforma per il cloud computing messa a disposizione da Google. Vedremo poi come applicare i principali pattern relativi alla scalabilità utilizzando gli strumenti messi a disposizione dalla piattaforma di Google.

1. Working between the clouds Versione completa

2. Chi sono? http://exmachina.ch Davide Cerbo Lavoro per Ex Machina in Lugano http://davide.cerbo.born-to-co.de http://twitter.com/davide_cerbo http://linkedin/in/davidecerbo [email_address]

3. Buongiorno, oggi vi racconterò una storia (inventata)

4. Partiamo dall'idea Un giorno mi sveglio e mi viene una idea per una fantastica applicazione: GA(E)STBOOK

6. Spring Framework

7. HSQL DB

8. Apache OpenJPA

9. Apache Maven Maven è una parola ebraica che vuol dire accomulatore di conoscenza. Apache Maven è un sistema per gestire la fase di build di un progetto software. Si occupa principalmente delle dipendenze, la fase di compilazione, di test e tramite un sistema di plugin anche di molto altro La sua configurazione avviene tramite il file pom.xml.

10. Spring Framerwork E' un potete framework per lo sviluppo di software basato sul principio di Dependency Injection. Nelle ultime versioni al classico file XML di configurazione ha aggiunto una serie di annotazioni

11. HSQLDB E' un database interamente scritto in Java. Ha il vantaggio di essere molto leggere e può essere utilizzato direttamente all'interno dell'applicativo senza bisogno di servizi esterni.

12. Jetty Jetty è un HTTP server, un HTTP client, e un javax.servlet container. Interamente scritto in Java ed integrato con Apache Maven tramite plugin.

13. Prerequisito: JPA The Java Persistence API (JPA) è uno standard che permette agli sviluppatori di gestire dati relazionali in modo indipendente dal database utilizzato. Ne esistono diverse implementazioni, tra cui: OpenJPA , Hibernate e DataNucleus

15. Creiamo la cartella java in /gaestbook/src/main

16. Aggiungiamo il plugin di Jetty nel file pom.xml

17. Aggiungiamo le dipendenze a: OpenJpa, HSQL, Spring WEBMVC, Spring ORM, etc...

18. Digitiamo mvn eclipse:eclipse per generare i file di progetto per Eclipse

19. Creazione progetto con Maven 2/2 <project> <dependencies> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-webmvc</artifactId> <version>3.0.0.RELEASE</version> </dependency> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-orm</artifactId> <version>3.0.0.RELEASE</version> </dependency> <dependency> <groupId>org.apache.openjpa</groupId> <artifactId>openjpa-all</artifactId> <version>1.3.0-SNAPSHOT</version> </dependency> ... </dependencies> <build> <finalName>gaestbook</finalName> <plugins> <plugin> <groupId>org.mortbay.jetty</groupId> <artifactId>maven-jetty-plugin</artifactId> <version>6.1.10</version> ... </plugin> </plugins> </build> </project>

20. Il Modello

21. Il controllore

22. La vista 1/2

23. La vista 2/2

24. La configurazione 1/4

25. La configurazione 2/4

26. La configurazione 3/4

27. La configurazione 4/4

28. Il risultato mvn jetty:run

29. Dopo qualche mese... Non so perché, ma... ...milioni di utenti usano G(a)estbook!

31. Ma sempre più utenti vedono HTTP Error 408 Request timeout e non solo...

35. Non ho abbastanza soldi per acquistare l'ultimo server presente sul mercato

37. I server hanno un prezzo elevato

38. L'housing ha prezzi elevati

39. Costruire e gestire una web farm privata per pochi server ha un prezzo elevato

40. Se il sito non cresce come mi aspetto ho sprecato tempo e denaro

41. La ricerca continua... Cerco su Google e vedo che alcune aziende offrono servizi di Cloud o Grid Computing ...uhm...

42. Attrazione fatale

43. Developer Vs. System Administrator

46. Grandi lavori Molti SERVER lavorano insieme per TE

47. Big picture

49. Niente ravvio dei server, niente problemi di rete

50. Non abbiamo molti server a nostri disposizione

51. Non abbiamo i soldi per acquistarli Google Datacenter a Dallas, Oregon Picture credit: Portland Java User Group 18 Agosto 2009

53. Quando è necessario l'intervento umano per creare una nuova risorsa per la nuvola

54. Se vogliamo fare da noi http://www.gridgain.com http://www.eucalyptus.com http://code.google.com/p/appscale/

55. Ma io non lo farei

56. Primo passo: Iscriviamoci!

58. Economico, paghi solo se l'applicazione cresce

59. Ottimo software installati come Memcache, Bigtable, etc.

60. Una ottima console di amministrazione con log di sistema, statistiche di accesso, statistiche di consumo, gestione dell'applicazione

61. Compatibile con JAVA , PYTHON e altri linguaggi basati sulla JVM: Scala, Groovy, etc...

62. Compatibile con molti standard Java

63. Non c'è sistema operativo, un pensiero in meno

64. Molte limitazioni, ma queste ci porteranno ad ottenere a scalare e a bilanciare il carico in automatico

65. Console di amministrazione

66. Standard?

67. How it works

69. Datastore – database

70. URLFetch – invocazione di url esterni

71. Mail – sistema invio e-mail

72. Task Queues – invocazioni in background. Ottima al posto dei Thread.

73. Images – per la manipolazione delle immagini

74. XMPP – protocollo di comunicazione real-time usato anche da Google Talk

75. Cron Jobs – schedulazione di task temporizzata

76. User Accounts – autenticazione tramite gli account di Google http://code.google.com/appengine/docs/java/apis.html

78. No socket

79. No threads

80. Solo 1000 file per applicazione

81. Le prime richieste potrebbero essere lente

83. La sicurezza non è mai troppa

84. I thread sono fighi ma I task sono più controllabili e gestibili

85. Alle volte bisogna accontentarsi

86. Prossima slide...

87. Prima richiesta lenta? Server 1 Server 2 L'allocazione dei server avviene dinamicamente. Ogni nuova richiesta andrà verso un nuovo server, a meno che un server già istanziato non possa servire la richiesta. Questo è “automatic load balancing” e causa alcuni rallentamenti. Ma...più traffico generate più server pronti avrete! Utente A Utente C Utente B

89. In/Out Bandwidth 1 Gb

90. CPU Time 6.5 CPU-ora

91. Dati memorizzati 1 Gb

92. Mail inviate 7,000

93. Mail verso tutti 2,000

94. Mail verso l'amministratore 5,000

95. Url fetch 657,000

96. Chiamate XMPP 657,000

97. Manipolazione immagini 864,000

98. Chiamate verso Memcache 8,600,000

99. Task 100,000

100. E molto altro...

102. Incoming Bandwidth...........$0.10 / Gb

103. CPU Time...........................$0.10 / h

104. Stored Data........................$0.15 / Gb per mese

105. Recipients Emailed............$0.0001 / destinatari

106. (Tasse escluse)

107. Potete scegliere il vostro budget massimo giornaliero per evitare brutte sorprese!

108. Chi usa GAE?

109. Migriamo!

112. Riconfiguriamo 1/3 La configurazione del Datasource é nel persistence.xml

113. Riconfiguriamo 2/3

114. Riconfiguriamo 3/3 Per utilizzare collezioni e oggetti con lazy loading abilitato

115. appengine-web.xml

116. Entity Manager Factory

117. Il risultato mvn gae:run

119. mvn gae:debug : esegue l'applicativo in modalità di debug

120. Evoluzione: E-mail di conferma 1/2

121. Evoluzione: E-mail di conferma 2/2

122. Sorgente esempio http://code.google.com/p/gae-javaday10/

124. Inserire in cache tutte le informazioni più recenti ( lista degli ultimi messaggi da visualizzare nella home )

125. Eseguire operazioni batch che possono alleggerire il sistema tramite i task di tipo cron ( cancellare i messaggi non confermati entro tre giorni )

126. Vediamo come

128. Memcache: un nome, una garanzia

129. Se vogliano uscire da GAE potremmo utilizzare tranquillamente altre implementazioni standard

131. Inserimento

134. Hanno un meccanismo di riprova in caso di fallimento

135. Configurazione nel file queue.xml: <queue-entries> <queue> <name>task-queue</name> <rate>10/S</rate> <bucket-size>10</bucket-size> </queue> </queue-entities>

136. Legabili ad una transazione

137. Eseguiti tramite l'algoritmo: Token bucket (http://en.wikipedia.org/wiki/Token_bucket)

138. Task Queues 2 / 3

139. Task Queues 3 / 3

140. Scheduled Task 1 / 2

142. La configurazione avviene tramite il file cron.xml

143. Se la chiamata o l'esecuzione fallisce la prova a ed eseguire

144. La console di amministrazione fornisce statistiche ed informazioni dettagliate

147. Potete utilizzare anche le utenze di Google App

148. Account 2 / 3

149. Google Account 3 / 3

150. Risultato finale mvn gae:deploy

152. Non pensate verticalmente

153. Non dimenticate la velocità dell'accesso in memoria

154. Non mischiate dati freddi e caldi

155. Non saltellate per la rete

157. Apache Maven http://maven.apache.org

158. Apache OpenJPA http://openjpa.apache.org

159. Hsql DB http://hsqldb.org

160. Jetty http://jetty.codehaus.org

161. Google App Engine http://appspot.com

162. Maven GAE Plugin http://code.google.com/p/maven-gae-plugin/

163. Datanucleus http://www.datanucleus.org

165. Designing application for cloud deployment http://gojko.net/2010/01/25/designing-applications-for-cloud-deployment/

166. Google App Engine for Java - 3 Tips for Getting Started http://www.pardontheinformation.com/2009/06/google-app-engine-for-java-3-tips-for.html

167. The Softer Side Of Schemas - Mapping Java Persistence Standards To the Google App Engine Datastore http://code.google.com/events/io/2009/sessions/SofterSideofSchemas.html

168. Cloud versus cloud http://www.infoworld.com/d/cloud-computing/cloud-versus-cloud-guided-tour-amazon-google-appnexus-and-gogrid-122

169. Libri

170. Q&A