Presentación empleada en SEOnthebeach 2019 para hablar sobre la mejor forma de plantear un A/B test o un experimento de personalización en activos digitales: web, apps, IoTs, etc, partiendo de un método básico y teniendo muy en cuenta la tecnología a emplear.

1. 1Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Anatomía del A/B testing y la
personalización
Una guia para comprender como mejorar los objetivos
de negocio de un producto digital usando test y
personalización
14/06/2018
SEOnthebeach - La Manga
Ricardo Tayar - @rtayar

2. 2Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es

3. 3Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
El A/B test y la personalización
son dos de las técnicas principales
del CRO, y conducen a aprendizajes
que permiten mejorar el
rendimiento de los negocios
digitales localizando la mejor
versión posible

4. 4Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es

5. 5Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es

6. 6Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es

7. 7Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
El testing permite apoyar las
decisiones de diseño y de negocio
en datos que permiten demostrar
la idoneidad de un cambio.
Eliminamos la opinión de la
ecuación del diseño.

8. 8Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
¿Por qué muchos test A/B fallan o no
son útiles para mejorar de verdad?

9. 9Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
¿Cómo que el
botón en naranja
porque lo dices tú?
Patán!

10. 10Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
¿Qué es eso de
hacer un test porque
sí, sin ningún sentido?
Obtuso!

11. 11Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Que un test salga
positivo no significa
que eso nos sirva para
toda la web, que no te
enteras.

12. 12Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
¿Cómo que con
un solo test ya
podemos proponer
cambios en toda la
web?

13. 13Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
¿Cómo debemos plantear un A/B testing
correctamente? El método

14. 14Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Hola, soy
Francis Bacon, el
del método
científico.

15. 15Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Método ciéntifico:
• Observación
• Inducción
• Hipótesis
• Experimentación
• Demostración
• Tesis

16. 16Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Hola, soy
James Lind. Hice
uno de los primeros
A/B test de la
historia.

17. 17Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
El A/B test de James Lind en 1747. 12 marineros con síntomas de escorbuto divididos
en 6 grupos de 2 con seis dietas diferentes para localizar cual es la idónea:
• Un cuarto de sidra al día
• 25 gotas de elixir de vitriolo, tres veces al día
• Media pinta de agua del mar al día
• Una pizca de pasta de ajo, semillas de mostaza, rábano picante, bálsamo de Perú y
resina de mirra, tres veces al día
• Dos cucharadas de vinagre, tres veces al día
• Dos naranjas y un limón
Fuente: https://www.bbc.com/news/uk-england-37320399

18. 18Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Yo soy Karl Popper,
y “modernicé” el
método científico.

19. 19Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
El A/B testing (y la personalización)
permite poner los cambios de diseño en
un contexto de negocio de manera
inequívoca (si se sigue y respeta el
método)

20. 20Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
La anatomía: las partes mínimas que
todo A/B test debe contener

21. 21Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
1- Investigación = Datos
2- Hipótesis
3- Definir experimento y
tipo de test
4- Herramienta
5- Reglas / cálculos
6- Análisis /
interpretación

22. 22Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Los datos: emplear datos
cuantitativos y cualitativos para
localizar ineficiencias como punto
de partida

23. 23Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
¿Y en qué datos nos fijamos para localizar ineficiencias?:
• Métricas de navegación
• Métricas de consumo de contenidos
• Métricas de transacción
Y sobre todo, segmentar por dimensiones, prestando atención sobre todo a:
• Tipología de dispositivo
• Fuente / medio de tráfico
• Tipología de usuario: nuevo, recurrente, login, cliente…
• Rutas de conversión principales
• Distinción de tipología de objetivos / eventos

24. 24Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Sobre todo, asegurarnos de que la medición es correcta y de que no tenemos datos
corruptos

25. 25Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Cuando los datos cuantitativos no ofrezcan información que nos permita localizar
una ineficiencia, recurramos a los datos cualitativos

26. 26Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Cuando los datos cuantitativos no ofrezcan información que nos permita localizar
una ineficiencia, recurramos a los datos cualitativos

27. 27Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Cuando los datos cuantitativos no ofrezcan información que nos permita localizar
una ineficiencia, recurramos a los datos cualitativos

28. 28Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Hipótesis: formular hipótesis
sólidas, con sentido y que
expliquen lo sucedido o lo que va
a suceder

29. 29Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Una hipótesis es algo que se supone y a lo que se le otorga un
cierto grado de posibilidad para extraer de ello un efecto o una
consecuencia. Las hipótesis no necesariamente son verdaderas,
pueden o no serlo, pueden o no comprobarse con hechos. Son
explicaciones tentativas. No los hechos en sí.

30. 30Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Criterios de Kerlinger para formular una buena hipótesis:
• Debe expresar una relación entre dos o más variables
• Debe ser clara y específica, evitando términos vagos o ambiguos
• Debe implicar una posible prueba empírica
Un ejemplo: “Comer una gran cantidad de calorías al día incrementará el peso de
una persona si su actividad física y condiciones se mantienen constantes”:
• Dos variables: calorías y peso
• Clara y específica
• Posible prueba: Incrementar el número de calorías y comprobar el incremento de
peso

31. 31Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
En la construcción y redacción de toda hipótesis aparecen tres tipos de variables:
Variable independiente: Es la variable input, la que se modifica según la hipótesis.
Por ejemplo, el CTA, la imagen de un producto, la cabecera…
Variable dependiente: Es la variable output, la que va a sufrir un cambio directo
como consecuencia del cambio en la variable independiente. Siguiendo los ejemplos
anteriores, los clics, el ratio de add to cart, el tiempo de permanencia…
Variables intervinientes (a veces llamadas condicionadas): Aquellas variables
que deben controlarse en un experimento o entre varios experimentos para asegurar
que el escenario del test no es volátil y que es estable e idéntica al máximo entre
test. Siguiendo los ejemplos anteriores: incrementos de presupuesto en AdWords,
envío masivo de newsletters, etc.

32. 32Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Una fórmula estándar para definir hipótesis en problemas digitales:
Para [grupo o segmento de usuarios], si [cambio que pretendemos
realizar] se producirá [efecto que prevemos] porque [explicación
racional], lo que impactará en [métricas sujeto de medición]

33. 33Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Tipo de test: en función de lo que
queramos testar y para qué (y de
nuestro entorno tecnológico y de
negocio) debemos escoger uno u
otro tipo de test

34. 34Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
A/B Multivariante Multipágina

35. 35Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
A/B Multivariante Multipágina
Solo se modifica una
variable entre las
versiones a testar, lo que
permite atribución clara
Múltiples variables son
testadas a la vez en un
formato de permutación,
localizando la versión
ganadora
Testamos layouts
diferentes entre sí, con
múltiples cambios. No
podemos atribuir éxito o
fracaso a una sola
variable

36. 36Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Un test A/B:

37. 37Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Un test multivariante:
vs
12.8% 14.3%

38. 38Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Un test multipágina:
Original
Variante 1

39. 39Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Un briefing / ficha / dossier de testing debe contener:
1. Hipótesis, acompañada de los datos y racional que la sustentan.
2. Objetivos del test.
3. KPIs en las que va a impactar el test y efecto que esperamos
conseguir.
4. Segmentos de tráfico / usuarios a los que se dirige el test.
5. Landings / layouts / procesos objeto del test.
6. Periodo de tiempo de ejecución del test.

40. 40Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Herramientas: ¿cual es la mejor
herramienta para mis test y para
mi organización?

41. 41Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Control version
Usuario
WEBSITE
Original
Variation
Javascript Code:
Javascript
Code
goal
tracking
js cssmatching
rules
Javascript
Code
goal
tracking
js cssmatching
rules
matching
rules
Goal page
Javascript
Code
goal
tracking
js cssmatching
rules

42. 42Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Herramientas para iniciarse en el A/B testing:
• Google optimize: https://optimize.google.com/
• Instapage: https://instapage.com/
Plugins Wordpress:
• Nelio testing: https://neliosoftware.com/es/testing/
• Thrive Headline Optimizer: https://thrivethemes.com/
headlineoptimizer/
• AB Press Optimizer: https://abpressoptimizer.com/

43. 43Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Reglas y cálculos: ¿cuando puedo
afirmar que un test realmente es
100% válido para mejorar mi
activo digital?

44. 44Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Calcular muestra necesaria: https://www.optimizely.com/sample-size-calculator/

45. 45Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Calcular muestra necesaria: https://www.evanmiller.org/ab-testing/sample-size.html

46. 46Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Análisis e interpretación: ¿qué
hemos aprendido del test que
hemos realizado?

47. 47Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Demostrar mejoras de manera evidente:

48. 48Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Repetir el test en escenarios similares para demostrar la idoneidad del cambio:

49. 49Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Cambios que han funcionado en contextos distintos pero no en el nuestro:

50. 50Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
¿Del testing a la personalización?

51. 51Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es

52. 52Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es

53. 53Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Consejos doy que para mi no tengo

54. 54Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Algunas cosas que he aprendido a golpe de prueba / error:
• Es fundamental controlar las variables intervinientes en un test
• Un mismo test debe repetirse en escenarios similares o lo más idénticos posible
para que la conclusión sea sólida
• El stack tecnológico y el tipo de test a realizar condicionan mucho la herramienta
a emplear
• No todos los test deben perseguir un objetivo de conversión directa. ¿Todas tus
páginas o flujos de navegación son para convertir? No, la conversión es
consecuencia. Cada test debe tener sus propios KPIs

55. 55Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Muchas
gracias,
beachers!

56. 56Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
Vamos a
hacer un test!

57. 57ADIDAS - Monitorización y análisis productos en wholesalers
Gracias!
Ricardo Tayar
ricardo@flat101.es
@rtayar