Mobile testing workshop - TechMeetup Uruguay
•Download as PPTX, PDF•
3 likes•1,274 views
2 horas de workshop para analizar los problemas fundamentales que atraviezan desarrolladores y testers en los smart devices. Desafíos, foco, checklist y herramientas.
Recommended
Recommended
More Related Content
Viewers also liked
Viewers also liked (11)
Similar to Mobile testing workshop - TechMeetup Uruguay
Similar to Mobile testing workshop - TechMeetup Uruguay (20)
Recently uploaded
Recently uploaded (13)
Mobile testing workshop - TechMeetup Uruguay
- 1. Mobile Testing Ing. Fabián Baptista @fbaptista Ing. Matías Reina @mellimatias # meetupUy
- 2. Workshop Ing. Fabián Baptista @fbaptista Ing. Matías Reina @mellimatias #meetupUy
- 3. Agenda Panorama Fifa App - Round 1 Test Tips & advices Fifa App – Round 2 ¿Qué saber? Tools & Resources Foco Nativas Android
- 4. Panorama Approach World Quality Report Budget Market
- 5. Success rate
- 6. Desafios • Multiples dispositivos / HW / pantallas • Multiples versiones de OS • Complejas interacción/paradigama del usuario • Clientes exigentes – Marketplace rating • Privacidad y Seguridad • La performance es todo • Red: wifi vs Carriers
- 10. Budget
- 11. Mobile Testing
- 12. Mobile Testing
- 17. Test Challenge
- 18. Tips (Functional Testing) Conocer el Paradigma Conocer la Fragmentación Native, Web, Hybrid Usar Checklists
- 19. Paradigma
- 20. iOS y Android
- 22. Design • No hagan pensar a los usuarios – Darle un prototipo a un sobrino de 12 o la abuela de 60 no es para nada una mala idea. • Reducir al mínimo los inputs – Usar Cbox, lists y controles adecuados – InputTypes (Numeric, Email, URL) • Usar las convenciones de interfaz – iOS Human Interface Guidelines – Android User Interface Guidelines
- 23. Programming • Go Native! • Configurar API Level / Deployment Target – Think in the real market – Test in your target • Performance • Layout
- 24. Diversidad iOS Source: https://developer.apple.com/support/appstore/
- 25. Diversidad Android Source: https://developer.android.com/about/dashboards
- 26. Diversidad Android Source: https://developer.android.com/about/dashboards
- 27. “The Android operating system is the most fragmented it has ever been.” Source: http://opensignal.com
- 29. Tip - Elegir Devices • Olvídense de los emuladores para testing, son útiles para desarrollo. • No confíen en las analytics de sitios web • Armar tabla OSversions + screen size • Mínimo: Entre 5 y 10 devices
- 30. Tip - Elegir Devices • Luego empezar por riesgo: + Usados
- 31. Tip - Elegir Devices • Luego empezar por riesgo: - Recursos
- 32. Tip - Elegir Devices • Al menos 1 “gama baja” y 1 “gama alta”
- 33. Smart Devices Aproach @OpenDeviceLabUy
- 34. Emuladores? Dispositivo (Red de datos) Dispositivo (Wi-Fi + Simulador de red) • White paper from tcs.com: Mobile application testing Emuladores
- 35. Nativas, web o hibridas?
- 36. Checklists • Puedo desinstalarla y volver a instalarla? • Pide la aplicación para prender wifi o los datos? • Funciona offline? • Funcionan bien los gestos en las distintas pantallas – Swipe, zoom, pinch, multitouch, shake, orintation • Sensores – Cámara, funciona ok? • Integración con otras aplicaciones
- 37. Interrupciones • Llamadas • Mensajes • App notificaciones • Low batery warning • Cambiar entre aplicaciones • Bloquear y desbloquear • Escuchar música en paralelo • Levantar otras aplicaciones para lograr dejar el SO sin memoria
- 38. Checklists • Round 2: Hacer testing de la misma APP usando las checklist que fueron entregadas en format impreso
- 41. Hallazgos • Ronda de hallazgos y discusión de incidentes
- 42. Tips (Performance & Networking & More) Networking Performance Automation Tools
- 43. Networking - Dev • Usar Cache – Cuidado con I/O • Minimizar el Payload • Adaptar contenido a las pantallas (dpi) • Usar puertos standard (Mail: 25, 143, 465, 993 or 995 HTTP: 80 or 443 SFTP: 22)
- 44. Networking - Dev
- 45. Networking - Test • Connection test: Wifi / LTE / 3G / Offline – NLC for iOS (Dev) – Use Tools • Testing específico para aplicaciones “parcialmente conectadas”. (Sync)
- 46. Performance Dev • Desde el inicio • Establecer un standard de tiempo de respuesta máximo (ej. 3s) – Gold Standard era 6s, luego 3s, Google apunta a 1s. • API Level – Deployment target • Usar Checklists
- 47. Performance • +60% de los problemas son de performance, no funcionales. • Gold Standard era 6s, luego 3s, Google apunta a 1s. • El usuario espera que en su móvil funcione mejor que en us PC
- 48. Load Testing (Servicios) • Por lo general es mucho más fácil que en Web (poner IMG) • Tools: – Para HTTP usar Fiddler – Luego convertir a OpenSTA, Jmeter o LoadUI
- 49. Load Testing
- 50. Herramientas
- 53. Automation • Más complejo que en Web • Priorizar los servicios (y UItest) • Testeability (Code)
- 54. Device Anyware • Robotización no «remote desktop» • Gran variedad de dispositivos • Como funciona: 1. Elegir dispositivos y reservarlos 2. Instalarse la aplicación en cada dispositivo 3. Probar! Se tiene control total
- 55. Device Anyware
- 56. Monkop Results
- 57. Community #5 +300+ 100+ http://www.meetup.com/Testing-Uy/ http://opendevicelab.com 107 Open Device Labs across 26 countries 2593 devices accessible http://testing.uy
- 58. Mosaic
- 59. Thank you
Editor's Notes
- Buen día a todos! Quisimos junto a Matías, hablar sobre las tendencias en el mundo del testing. Básicamente por 2 motivos: 1- no queríamos aburrir con una charla técnica de las que estamos acostumbrados a hacer, porque tenemos 25 minutos y por lo general nos colgamos 2- creemos es importante conocer qué nos espera, para afrontar los desafíos. <contar una historia personal y por qué hicimos esta charla>
- Bajar app y repartir el material
- Amigos, bienvenidos a nuestra sección que se llama “se complicó el panorama:” La idea es contarles qué esta sucediento en el mundo del testing de SD, y darle algunos tips que creemos importantes para mejorar la calidad de las apps y tener mas chances de Éxito.
- El 60 % de los devs no llegan a recuperar su dinero, y el 80% no les da para crear un negocio independiente….
- <Proof of concept> En particular en esta presentación queremos compartir algunos datos de este reporte. Realmente para el que no lo conoce les recomiendo leerlo ya que hay mucha información útil. Si bien, los números exactos no son tan importantes o significativos, (ya que este tipo de reportes se basan en empresas robustas con más de 1000 empleados) sino que lo importante es poder analizar las tendencias, y hacia dónde van los indicadores en base a estudios de las mismas empresas en años anteriores.
- En particular este estudio abarca practicamente todo el mundo, para el último año se hicieron unas 1500 entrevistas telefónicas de unos 40-50minutos de duración cada una.
- Como se viene predicando desde hace unos años, la inversión en QA sigue en aumento…. Para hablar del mercado internacional, hay que considerar que el propio presupuesto de IT tiene una tasa de crecimiento anual de 2-3% Entonces, QA no sólo tiene ese crecimiento “inercial”, sino que tiene una tasa muchísimo más acelerada. Dato importante 1: crecimiento del 18 al 23%, se predice llegar al 28% en el 2015. Dato 2: 40% del presupuesto de testing va a infraestructura y hardware, con un extra de 28% en licencias de herramientas. Dato 3: la mayoría (65%) tiene dificultades en data-managment (sincronizar los datos de prueba en las nuevas versiones) 54% prefieren armar los ambientes con datos nuevos en vez de copiar los de producción Bueno la mayoria de la plata se gasta en infraestructura! Luego se gasta en herramientas y licencias y por ùltimo en recursos humanos. Esto la verdad parece muy dificil de entender. En un mundo donde cada vez es mas facil tener una infraestructura que se ajuste a la demanda y donde lo mas importante es la metodologia y las habilidades de las personas. Nosotros somos fabricantes de herramientas y apostamos a vender licencias, pero tenemos claro que las herramientas son un medio y que sin profesionales excelentes no aportan el valor para el cual fueron creadas.
- Bueno la mayoria de la plata se gasta en infraestructura! Luego se gasta en herramientas y licencias y por ùltimo en recursos humanos. Esto la verdad parece un poco dificil de entender, en un mundo donde cada vez es mas facil y barato tener infraestructura que se ajuste a la demanda y donde lo que hace la diferencia es la metodologia y las habilidades de las personas. Nosotros somos fabricantes de herramientas y apostamos a vender licencias, pero tenemos claro que las herramientas son un medio y que sin profesionales excelentes no aportan el valor para el cual fueron creadas. Dato: la mayoría (65%) tiene dificultades en data-managment (sincronizar los datos de prueba en las nuevas versiones) 54% prefieren armar los ambientes con datos nuevos en vez de copiar los de producción
- Estos son los problemas más comunes de las empresas: Como factor común y resumen podemos categorizar en orden: Herramientas Ambientes (multiplataformas, dsiponibles en tiempo y forma, configuraciones) Hardware
- Como verán, en diferentes medidas, todas las industrias aumentaron su test en SD…
- Como resumen, Mobile testing aumentó de 31 a 55% Es una disciplina fuerte pero con ausencia de técnicas especializadas y ambientes adecuados!
- De las primeras 3, dos son temas bien relacionados al testing, haciendo enfasis en test dirven y en integraciòn continua. Las plataformas cada vez mas se preocupan por integrar herramientas de testing a su ambiente En SAP, las herramientas de testing tanto para managment como para autoamtizacion se pueden utilizar sin tener que instalar nada extra, ya vienen preinstaladas en todos los sistemas, es simplemente utilizarla. En Genexus nosotros estamos manteniendo Gxunit para que los desarrolladores tengan una herramienta de testing. Es una herramienta que esta a disposición de todo el mundo. Yo creo que el cambio de paradigma en el mercado es para darte te doy todo el toolset, no te cobro por pedacitos, de ultima cuanto mejor hagas las cosas mas ganamos todos. Cada vez mas el testing se acerca a los desarrolladores. El otro dia un amigo que trabaja desarrollando en ruby on rails me decia que si entregaba un proyecto sin la carpeta de test con varios casos se la rebotaban de una. Es por eso que cada vez mas los desarrolladores se dedican a testing, dejeme compartirles esta informacion:
- Hace poquito Apple adquirio TestFlight. Realmente fue una noticia importante pago algunos millones por la tecnologia esta que permite hacer beta testing de manera mas sencilla. Google hizo lo mismo con Appurify…. Esto es una muestra mas del interes de parte de las empresas que proveen una plataforma por que sus desarrolladores liberen aplicaciones de calidad. En definitiva cuando no lo hacen todos pierden. Es por eso tambien que cuando vemos que es lo nuevo de XCode
- Hace poquito Apple adquirio TestFlight. Realmente fue una noticia importante pago algunos millones por la tecnologia esta que permite hacer beta testing de manera mas sencilla. Google hizo lo mismo con Appurify…. Esto es una muestra mas del interes de parte de las empresas que proveen una plataforma por que sus desarrolladores liberen aplicaciones de calidad. En definitiva cuando no lo hacen todos pierden. Es por eso tambien que cuando vemos que es lo nuevo de XCode
- Amigos, bienvenidos a nuestra sección que se llama “se complicó el panorama:”
- Hay un libro famoso para web de steve krug.
- Facebook tried HTML5 for years. When they recently switched to native code, they were able to improve performance by 200% and increase their average user rating from two stars to four stars. krug.
- No confíen en las analytics de sitios web para determinar el target, son en base a los usuarios activos (Dichas estadísticas nunca consideran los usuarios que no usan los sitios o apps) porque no funcionan!
- emuladores: Ideal para etapa de desarrollo, demos de funcionalidades, etc. Primeras pruebas, o para pruebas básicas Dispositivos con wi-fi: Ideal para funcionalidades estables. Pruebas en distintos dispositivos. Pruebas de experiencia de usuario. Usando simuladores de red se puede probar qué pasaría con una red de datos, pero sin gastos. Dispositivo + red de datos Recomendado sólo para un pequeño conjunto de pruebas que apuntan a aspectos dependientes del operador de telefonía, cambios de red, etc.
- Amigos, bienvenidos a nuestra sección que se llama “se complicó el panorama:”
- Aprovechemos la comunidad, aprovechemos la cantidad de empresas y universidades con foco en mejorar la industria Testing Uy – más de 270 inscriptos el día anterior Meetup – Súmense para debatir y proponer temas y discusiones en meetup.com Apoyen los Open Device Lab !
- Aprovechemos la comunidad, aprovechemos la cantidad de empresas y universidades con foco en mejorar la industria Testing Uy – más de 270 inscriptos el día anterior Meetup – Súmense para debatir y proponer temas y discusiones en meetup.com Apoyen los Open Device Lab !