Ponencia sobre rendimiento web orientado a aplicaciones web Symfony2, para el evento #desymfony 2011

3. Asier Marqués @asiermarques Socio fundador de Blackslot.com Socio fundador de Artesanio.com Organizador de #webdevbilbao Arquitecto web, ex-administrador de sistemas Microsoft, apasionado de la creación de servicios en internet y adicto al café. Escribo en asiermarques.com

4. Rendimiento Web

5. El rendimiento importa Según kissmetrics.com: El 73% de los usuarios de móvil ha encontrado algún sitio web demasiado lento en cargar. El 47% de los usuarios esperan un máximo de 2 segundos a que cargue una página web en la que van a comprar algo. Si un sitio de comercio electrónico está ganando $ 100.000 por día, un retraso de 1 segundo en la página podría costar $ 2.5 millones de perdidas al año.http://blog.kissmetrics.com/loading-time

6. Rendimiento no es escalabilidad Pero es clave que la aplicación esté bien diseñada y sea escalable.

7. Cómo diseñar bien No te repitas. DRY Divide. MVC Calidad. TDD Symfony2 te ayuda a conseguirlo.

8. “la optimización prematura es la raíz de todo mal” Donald Knuth

9. Antes de optimizar No resuelvas problemas que no tienes No tomes decisiones tecnológicas en base a lo que hacen “los grandes” Monitoriza, estudia la información y después optimiza Evita operaciones síncronas que supongan demora

11. Usa InnoDB!

12. MyISAM Bloqueos a nivel de tabla, no de fila Los selects pesados bloquean la tabla frente a escritura Las escrituras bloquean la tabla LOW_PRIORITY, HIGH_PRIORITY http://dev.mysql.com/doc/refman/5.0/en/table-locking.html No soporta transacciones No es relacional

13. InnoDB Relacional Bloqueos de fila, no de tabla Soporta transacciones Doctrine2 hace uso interno de transacciones

14. Configuración Innodb_buffer_pool_size Innodb_log_file_size Innodb_flush_log_at_trx_commit=2 innodb_flush_method=O_DIRECT innodb_file_per_table

15. Query Cache http://dev.mysql.com/doc/refman/5.1/en/query-cache-status-and-maintenance.html query_cache_type = 1 # 0 desactivada, 1 activada, 2 bajo demanda query_cache_size = <tamaño de cache> SHOW STATUS LIKE 'Qcache%'; ! -> Qcache_hits: Número de aciertos de la querycaché. ! -> Qcache_lowmem_prunes: El número de consultas eliminadas de la cache por falta de memoria disponible. ! -> Qcache_inserts: El número de consultas insertadas a la cache.

17. El espacio importa

18. Divide Particionado Vertical (por columna) Horizontal (por fila) http://mysql.isu.edu.tw/tech-resources/articles/testing-partitions-large-db.html Mantener los datos de texto opcionales en otra tabla Configura InnoDBcon innodb_file_per_table Cada archivo maneja 1) Los datos de la tabla 2) Los datos de los índices 3) Los MVCC (Multiversioning Concurrency Control) 4) La metainformación de la tabla Optimize Table reduce la información de cadaarchivo y reorganiza los índices

19. Índices Usa EXPLAIN para saber cuando utilizarlos NOT NULL cuando sea posible Una columna indexada que pueda ser NULL ocupa más espacio Usa el tipo de datos correcto

20. EXPLAIN <QUERY> Valores en los que fijarte type ALL indica que debe recorrerse toda la tabla y debe evitarse INDEX se debe recorrer todo el índice key y key_len Cuanto menor sea el valor de KeyLen mejor Key te indica el Índice elegido para la consulta EXTRA Evitar Filesort y tablas temporales Las tablas temporales aparecen al ordenar resultados o al hacer agrupaciones

21. Índices y espacio: Tipos de datos Usa INT en claves primarias como unsigneden lugar de BIGINT. Usa TINYINT en lugar de INT(1). TINYINT es 1 Byte, INT(1) son 4 Usa BIT para booleanos en lugar de INT(1) o TINYINT Usa TIMESTAMP en lugar de DATETIME TIMESTAMP son 4 Bytes, DATETIME son 8

22. Índices y espacio: Tipos de datos Usa CHAR(num) en lugar de VARCHAR(num) para valores fijos No uses palabras en ENUM(),usa un solo carácter si es posible Usa unsigned INT para guardar ips, no varchar Usa utf8 cuando sea realmente necesario Varchar(255) en utf8 son más de 700 bytes

23. Conoce tus consultas Es peor tener 83 consultas simples que una consulta “compleja” No hagas operaciones matemáticas en tus consultas Aligera en la medida de lo posible tus consultas No hagas JOINs en campos que no tengan índice Cuidado con los count y los order

24. Conoce tus consultas Count(*) Usa mejor SQL_CALC_FOUND_ROWS OrderBy filesort en la mayoría de los casos recupera los PK en una consulta simple antes de hacer una consulta compleja

25. Ejemplo típico en doctrine Es típico hacer consultas innecesarias dentro de un bucle. Tomemos por ejemplo la aplicación de #desymfony

26. Vista de Ponentes Se ejecuta el siguiente dql en el controlador SELECT p FROM DesymfonyesymfonyBundlentityonente p ORDER BY p.nombreASC Y en la vista se hace {% for ponente in ponentes %} … {% for ponencia in ponente.ponencias %}

27. Resultado Cada iteración de Ponente hace una query de Ponencias Tenemos 13 ponentes, se ejecutan 13 querys Con 200 ponentes, se ejecutarían 200 querys

28. La solución es sencilla En el DQL SELECT p, po FROM DesymfonyesymfonyBundlentityonente p INNER JOIN p.ponenciaspo ORDER BY p.nombre ASC Solamente con añadir el INNER JOIN reducimos el número de querys a tan sólo una en lugar de 13 o (n).

29. Symfony y Doctrine Usar arrays en las vistas en lugar de objetos Usar la cache de doctrine Cache de DQL $config->setMetadataCacheImpl(new DoctrineommonachepcCache()); Cache de resultados $config->setQueryCacheImpl(new DoctrineommonachepcCache());

30. Búsqueda InnoDB no soporta FULLTEXT Sphinx, Lucene, Solr Buenas opciones incluso para reducir complejidad en consultas, pe. Ordenar, filtros complejos..

31. Analiza Debesllevar un control de lo quesucede a diario en tuservidory comparar los valoresqueobtengascuandoestetengaproblemas con tusvaloresnormales. Herramientas: Munin, Nagios, Cacti..

32. Analiza mysqladminextended Threads_running Número de consultasque se estánejecutando. Handler_read_rnd_next y Handler_read_first Si esmuy superior a lo normal puedeque sea debido a un problema con los índices. Handler_rollback El número de rollbacks que se hanhecho. Select_full_join Joins sin índices, debeser cero. Slow_queries Si este valor creceindicaproblemas en el rendimiento de la aplicación.

33. Analiza SHOW FULL PROCESS LIST Para saber cuánto tardan las consultas pesadas en ejecutarse y las que se encuentran en estado “Locked” SHOW TABLE STATUS FROM <base datos> LIKE ‘<nombre>’ Comprobar el espacio de la tabla (el Max_data_lengthnuncapuedeserconsumidoporcompleto) EXPLAIN [EXTENDED] <query> SHOW INNODB STATUS Estadísticas de acceso a disco, transacciones, consultas con problemas de integridad.. SHOW PROFILE Comprobar los recursos de hardware consumidos por una query http://dev.mysql.com/doc/refman/5.0/en/show-profiles.html

34. NO SQL No lo uses por moda, conoce la tecnología y los problemas que solventa Conoce sus posibilidades de escalado Conoce su rendimiento Conoce sus posibilidades de backup/restore! Funciona bien como frontend de una base relacional si su motor es rápido Buena alternativa a desnormalizar

35. Cache

36. Http Cache – RFC 2616 Symfony2 implementa la cache definida en el RFC Sigue los conceptos Expiración-Validación Symfony2 tiene su propio proxy cache pero permite ser integrado con sistemas proxy cache como Varnish.

37. Cache-Control Public Todos los usuarios comparten la cache Private La cache es distinta para cada usuario No-Cache No se cachea en ningún caso En Symfony2 por defecto es no-cache o private

38. Expires y Cache-Control: max-age expires (fecha GMT) Frescura = expires – fecha actual max-age (segundos) s-maxage se usa por servidores proxy, es público por lo que es común a todos los usuarios max-age tiene prioridad sobre Expires ..y s-maxage sobre el max-age si es pública

39. expires y max-age en Symfony2 $response = $this ->render('DesymfonyBundle:Ponente:index.html.twig', array('ponentes' => $ponentes)); $response->setPublic(); $response->setMaxAge(10); <- Private $response->setSharedMaxAge(10); <- Public $date =newDateTime(); $date->modify('+60 seconds'); $response->setExpires($date); <- Private(si no hay un setPublic()) return$response;

40. expires y max-age en Symfony2 Primera carga de la página, 234ms Carga desde la caché, 3ms

41. Validación: LastModified y ETAG LastModified Fecha de última modificación del archivo, si el servidor retorna una fecha menor a la de la caché del cliente, descargará el archivo. Etag El navegador cachea el archivo identificándolo con el valor del Etag. El navegador comprobará si debe servir el archivo comparando el Etag del servidor con el valor que él tiene almacenado en su cache, para ello usará el campo If-None-Match

42. LastModified y ETAG en Symfony2 //debemos crear los métodos en la entidad $etag = $entity->getCurrentETag(); $mod_date = $entity->getLastModification(); $response->setETag($etag);$response->setLastModified($mod_date); if($response->isNotModified($this->get('request'))) { …

43. Varnish

44. Varnish Proxy cache Balanceador de carga Lenguaje de configuración VCL Soporte para ESI y HTTP Cache

45. Varnish Declaramos el servidor o servidores web frontales Podemos especificar qué es lo que queremos cachear Retornando pass evitamos que se cachee y con lookup forzamos a que se busque en el cache

46. Varnish Podemos indicar un ttl para el objeto en la cache También podemos evaluar si queremos cachear desde aquí

47. Varnish: invalidar cache Indicamos los Host que pueden lanzar peticiones de invalidación Si el request es de tipo PURGE se elimina la url del host especificado curl -X PURGE http://dominio.com/url-a-invalidar

48. Varnish: ESI

49. Varnish: ESI SI una url contiene tags ESI basta con indicar esi; para que Varnish lo procese Podemos establecer que si la ruta es /esi/* le ponga otro ttl o retorne pass, evitando que se cachee

50. Varnish con Symfony2 En la plantilla {% render'...:vista' with {}, {'standalone': true} %} Devuelve.. <esi:includesrc=“http://dominio/url_al_contenido”/> Symfony2 añade automáticamente sólo cuando use ESI un headerSurrogate-Control= "abc=ESI/1.0“. En Varnish le debemos indicar que es capáz de procesar ESI con set req.http.Surrogate-Capability = "abc=ESI/1.0“. http://symfony.com/doc/2.0/cookbook/cache/varnish.html

51. Más cosas

52. APC ByteCode cache para PHP APC.STAT = 0 En producción si no hay cambios frecuentes

53. Assetic Agrupa los estáticos indicados de tu sitio web en un único archivo. Se puede escribir en disco, en un cdn (pe.Amazon s3) o manejar como string. Comprime y optimiza los css, js e imágenes. Reduce las peticiones HTTP Se integra con HTTP Cache de Symfony2 y con la sintaxis de Twig

54. Assetic $assets= new AssetCollection( array( new FileAsset(“web/Bundle/style.css”), new GlobAsset(“web/*.css”), ) ); $assets->load(); $writer = new AssetWriter(“s3://bucket”); $writer->writeManagerAssets($assets);

55. Assetic en Symfony2 {% javascripts'@Bundle/Resources/public/js/*' filter=‘nombre_js' %} <script src="{{ asset_url }}"></script> {% endjavascripts%} $ phpapp/consoleassetic:dump s3://bucket

56. Usa un CDN público Ahorro de ancho de banda El navegador probablemente tenga ya cacheadas las librerías comunes (pe. jquery)

57. Operaciones en tiempo real El tiempo real no es necesario en la mayoría de los casos. Envío de emails Procesamiento de imágenes Invalidaciones de cache Herramientas: RabbitMQ, Gearman. Otras soluciones: Queue de Switfmailer Implementar nuestra solución en memcached, redis..

58. Usa Html5 y CSS3

59. Async

60. Cache Manifest <htmllang="en" manifest=“ejemplo.manifest"> CACHE MANIFEST CACHE clock.js clock.css NETWORK no_se_cachea.php

61. Cache Manifest El manifiesto se descarga en base a nuestras indicaciones en el HTTP Cache ..o forzándolo con JavaScript mediante el método window.applicationCache La caché se invalida mediante una comparación byte-for-byte entre el archivomásreciente y el anterior.

62. No uses imágenes, usa CSS3 Border-radius Gradient Text-shadow y Box-shadow Canvas Font-face

63. ¿Preguntas?

64. Gracias Asier Marqués Blackslot @asiermarques linkedin.com/in/asier asiermarques@blackslot.com Imágenes http://www.flickr.com/photos/caharley72/11332057 http://www.flickr.com/photos/poetatum/3457696479 http://www.flickr.com/photos/32299138@N08/5772093221 http://www.flickr.com/photos/aereimilitariorg/3956024476 http://www.flickr.com/photos/zombieite/5181067906 http://www.flickr.com/photos/bcash67/4496036286