SlideShare a Scribd company logo
1 of 29
Download to read offline
Mercredi 10 décembre 2014 
#CROissants avec Optimizely & Uptilab! 
09H00 – 11H00! 
! 
Pershing Hall!
Faire du testing une culture! 
Ces organisations devenues expertes! 
Mercredi 10 décembre 2014
3" 
Faire du testing une culture 
Ces organisations devenues expertes 
1. 
Optimizely en deux mots 
2. 
Decitre 
3. 
Autoscout 
4. 
Questions/Réponses
1. Optimizely
! 
! 
! 
Dan! Pete! 
2006 :" 
Dan Siroker and Pete Koomen" 
— Product Manager, Google! 
2008 : " 
Dan — Campagne Obama! 
2008 – 2010 : " 
Carrotsticks, Spreadly, " 
et Y Combinator.! 
2010 : Création d’Optimizely! 
Avril 2013 : Levée de $28M pour s’internationaliser! 
Mai 2014 : Levée de $57M! 
$28M! 
$57M! 
+8000 Clients!
2. Decitre
7" 
L’enseigne 
Decitre 
> Librairie indépendante fondée en 1907 
> 1,5 millions de visiteurs uniques mensuels 
> Pays d’origine : France 
> 350+ collaborateurs
8" 
L’équipe face au testing 
Du simple test au processus de testing en continu 
Depuis quand ? 
> Premiers pas mi-2013 
> Client « Enterprise » Optimizely fin 2013 
Pourquoi ? 
> Panel trop large de visiteurs pour deviner le design idéal 
> En finir avec les réunions interminables sur le choix d’une couleur 
> Obtenir des mesures chiffrées de l’impact des modifications 
Objectivité > Intuition!
9" 
L’organisation 
Le testing, une méthodologie qui rassemble 
Brainstorming" 
Monitoring" 
Planning" 
Tracking" 
Repor9ng" 
Toute l ’équipe e-commerce 
propose des idées! 
! 
Centralisation des échanges + 
historisation dans Basecamp! 
Priorisation 
des tests! 
Définition des cibles, 
variantes et KPI! 
Toute l’équipe a 
accès aux résultats!
10" 
La mise en oeuvre 
Du simple test au processus de testing en continu 
Mise en oeuvre en environnement de pré-production 
> Par les collaborateurs fonctionnels 
> Avec les développeurs si nécessaire 
Passage en production 
> Validation par l’équipe technique 
> Lancement du test
11" 
Les défis 
Les challenges rencontrés lors de la mise en place du programme de testing 
Défis opérationnels 
> Adaptations techniques dans certains cas, 
utiles sur le long terme 
> Disposer de suffisamment de trafic 
Défis organisationnels 
> Mobiliser son équipe, puis le groupe 
> Changer la culture « toute 
modification doit être justifiée » 
> Ne jamais hésiter à inviter ses 
collègue à faire un test 
> Savoir communiquer autour des 
résultats
12" 
Montée en compétence 
Tests simples -> Tests élaborés 
Du simple test sur le wording d’un CTA… 
…au redesign complet de la fiche produit… 
…en passant par le bloc d’ajout au panier.
13" 
Montée en compétence 
Editeur visuel -> Commande javascript
14" 
Montée en compétence 
Initiative individuelle -> Effort de groupe 
Un CTO convaincu! 
Dir. E-Commerce! 
L’équipe e-Merchandising! 
Chefs de projet! 
Divers observateurs!
3. 
Autoscout24
16" 
L’enseigne 
Autoscout24 
> Plus grand portail d’achat/vente de véhicules en Europe 
> 20 millions d’utilisateurs 
> Pays d’origine : Allemagne 
> Présent dans 18 pays
17" 
L’équipe face au testing 
Le testing, un état d’esprit 
« Je ne sais 
qu’une 
chose, c’est 
que je ne 
Your sais rien » ! 
baby is 
ugly!! 
Learn to 
talk 
money!! 
Product-! 
manager! 
Designer! Usability" 
Expert! 
Data Analyst! QA! Developer!
18" 
La méthodologie 
Le testing en continu 
Objectifs" 
Compréhension 
Analyse Préparation Exécution Enseignement Déploiement 
Activités" 
Analyse"des"données" 
existantes" 
Sondage"u9lisateurs" 
Benchamrk"de"la" 
concurrence" 
Recueil"d‘idées"et" 
d‘opinions" 
" 
Iden9fica9on"des" 
leviers" 
Visualisa9on"et" 
priorisa9on"des"Idées" 
de"test:" 
Concep9on"du"test" 
Mise"en"place"du"test" 
" 
Es9ma9on"de" 
l’échan9llon"et" 
de"la"durée" 
Mise"en"pra9que" 
Tes9ng"du" 
tes9ng" 
"" 
Collecte," 
traitement," 
interpréta9on"des" 
tests" 
StoryRtelling" 
Tracking"con9nu" 
Si"applicable," 
interna9onalisa9on" 
"" 
" 
Facteurs de succès" 
Croisement"de" 
méthodes" 
Elabora9on"de"l‘aperçu" 
général"du"test"en" 
équipe" 
Objec9fs"réalistes" 
Alignement"de" 
l’équipe" 
Compréhension" 
commune"de"l’objec9f" 
Es9ma9on"précise"de" 
la"charge"de"travail" 
" 
Suivi" 
incondi9onnel" 
du"revenu"" 
Environnement" 
agile" 
" 
Communica9on" 
des"résultats" 
horizontalement" 
et"ver9calement" 
" 
Environnement"agile" 
Degré"d’achèvement" 
«"Release"on" 
demand"»" 
Difficultés 
principales" 
Préserver"objec9vité"et" 
réalisme" 
HIPPO‘s"(Highest"Paid" 
Person’s"Opinion)" 
Ne"pas" 
communiquer"les" 
résultats"trop" 
rapidement" 
" 
Facteurs"externes" 
au"test"et" 
imprédic9bles" 
pouvant"affecter" 
les"résultats" 
Alignement"avec"la" 
vision"longRterme"du" 
produit" 
Conserver"son" 
rythme"de"croisière"
19" 
Compréhension et analyse 
Comprendre / Analyser le parcours utilisateur
20" 
Compréhension et analyse 
Usability lab
21" 
Compréhension et analyse 
Sondage d’utilisateurs : « pourquoi n’achetez-vous pas notre offre premium ? » 
Retour 
principal : 
« l’offre 
gratuite est 
suffisamment 
riche »
22" 
Compréhension et analyse 
Benchmark de la concurrence
23" 
Préparation 
Priorisation et planning
24" 
Exécution 
S’inscrire dans une logique de feuille de route 
In9tulé" 
Hypothèse" 
Objec9f(s)" 
KPIs" 
Ciblage" 
URL":"" 
Original":""X%" 
V1":""X%" 
V2":""X%" 
Durée" Es9mée"à"X"jours" 
Date"de" 
lancement" [Date]" 
Formulation 
> Faire des réunions des sessions de brainstorming 
> Répertorier chaque idée 
Priorisation 
> Barème de points 
> Effort graphique ? (1) 
> Durée du test ? (0,5) 
> Potentiel ROI ? (2) 
> Développement nécessaire ? (1) 
> Lié au release cycle ? (1) 
> Contraintes légales ? (1) 
> Approbation interne ? (0,5)
25" 
Enseignements 
Bien analyser pour mieux communiquer…quelque soit le résultat !
26" 
Enseignements 
Bien analyser pour mieux communiquer…quelque soit le résultat !
27" 
Déploiement 
Agilité, déploiement du design optimisé et story-telling
28" 
2." 
Prépara9on" 
3." 
Exécu9on" 
4." 
La méthodologie 
Le testing en continu 
Enseignements" 
5." 
Déploiement" 
1." 
Compréhension" 
Analyse"
29" 
blog.optimizely.com 
community.optimizely.com 
help.optimizely.com 
learn.optimizely.com 
etienne@optimizely.com 
@eGautheron – @Optimizely 
+33 (0)1 81 97 97 23

More Related Content

Viewers also liked

Etude de cas distribution ou le f-commerce - adrien rosier - 2012
Etude de cas   distribution ou le f-commerce - adrien rosier - 2012Etude de cas   distribution ou le f-commerce - adrien rosier - 2012
Etude de cas distribution ou le f-commerce - adrien rosier - 2012Adrien Rosier
 
Présentation de la Cantine brestoise 16/11/2012
Présentation de la Cantine brestoise 16/11/2012Présentation de la Cantine brestoise 16/11/2012
Présentation de la Cantine brestoise 16/11/2012AnDaolVras
 
Rapport Global Workshops CityCamp Tunisia
Rapport Global Workshops CityCamp TunisiaRapport Global Workshops CityCamp Tunisia
Rapport Global Workshops CityCamp Tunisiacitycamptunisia
 
Informe colon 7 de junio 2013
Informe colon 7 de junio 2013Informe colon 7 de junio 2013
Informe colon 7 de junio 2013Ofilio Rodriguez
 
Ressources electroniques à accès libre en sciences aquatiques & halieutiques-...
Ressources electroniques à accès libre en sciences aquatiques & halieutiques-...Ressources electroniques à accès libre en sciences aquatiques & halieutiques-...
Ressources electroniques à accès libre en sciences aquatiques & halieutiques-...Bessem Aamira
 
Car lease-megane-coupe
Car lease-megane-coupeCar lease-megane-coupe
Car lease-megane-coupeAdrian Bert
 
Book sophie boigey
Book sophie boigeyBook sophie boigey
Book sophie boigeysboigey
 
Du revenu de solidarité à l'actionnariat.
Du revenu de solidarité à l'actionnariat.Du revenu de solidarité à l'actionnariat.
Du revenu de solidarité à l'actionnariat.Joël Thimodent
 
Evaluations extra financières
Evaluations extra financièresEvaluations extra financières
Evaluations extra financièresCéline Bouquerel
 
Google Adresse devient Google+local _ Ateliers numériques en Pays de Bergerac
Google Adresse devient Google+local _ Ateliers numériques en Pays de BergeracGoogle Adresse devient Google+local _ Ateliers numériques en Pays de Bergerac
Google Adresse devient Google+local _ Ateliers numériques en Pays de BergeracPays de Bergerac
 
Newsletter la p8 aux jo de londres 2012
Newsletter la p8 aux jo de londres 2012Newsletter la p8 aux jo de londres 2012
Newsletter la p8 aux jo de londres 2012MarjoryMalbert
 
Les blogs d'experts à l'Université de Poitiers - jhc2012
Les blogs d'experts à l'Université de Poitiers - jhc2012Les blogs d'experts à l'Université de Poitiers - jhc2012
Les blogs d'experts à l'Université de Poitiers - jhc2012Charlotte Mader
 

Viewers also liked (20)

Etude de cas distribution ou le f-commerce - adrien rosier - 2012
Etude de cas   distribution ou le f-commerce - adrien rosier - 2012Etude de cas   distribution ou le f-commerce - adrien rosier - 2012
Etude de cas distribution ou le f-commerce - adrien rosier - 2012
 
Présentation de la Cantine brestoise 16/11/2012
Présentation de la Cantine brestoise 16/11/2012Présentation de la Cantine brestoise 16/11/2012
Présentation de la Cantine brestoise 16/11/2012
 
Rapport Global Workshops CityCamp Tunisia
Rapport Global Workshops CityCamp TunisiaRapport Global Workshops CityCamp Tunisia
Rapport Global Workshops CityCamp Tunisia
 
Angio irm
Angio irmAngio irm
Angio irm
 
Informe colon 7 de junio 2013
Informe colon 7 de junio 2013Informe colon 7 de junio 2013
Informe colon 7 de junio 2013
 
Ressources electroniques à accès libre en sciences aquatiques & halieutiques-...
Ressources electroniques à accès libre en sciences aquatiques & halieutiques-...Ressources electroniques à accès libre en sciences aquatiques & halieutiques-...
Ressources electroniques à accès libre en sciences aquatiques & halieutiques-...
 
Glosario
GlosarioGlosario
Glosario
 
Car lease-megane-coupe
Car lease-megane-coupeCar lease-megane-coupe
Car lease-megane-coupe
 
Ejercicio n°2
Ejercicio n°2Ejercicio n°2
Ejercicio n°2
 
Book sophie boigey
Book sophie boigeyBook sophie boigey
Book sophie boigey
 
Présentation Royal Eagle
Présentation Royal EaglePrésentation Royal Eagle
Présentation Royal Eagle
 
Infoetsoc.
Infoetsoc.Infoetsoc.
Infoetsoc.
 
Du revenu de solidarité à l'actionnariat.
Du revenu de solidarité à l'actionnariat.Du revenu de solidarité à l'actionnariat.
Du revenu de solidarité à l'actionnariat.
 
Ec development power point
Ec development power pointEc development power point
Ec development power point
 
Evaluations extra financières
Evaluations extra financièresEvaluations extra financières
Evaluations extra financières
 
Google Adresse devient Google+local _ Ateliers numériques en Pays de Bergerac
Google Adresse devient Google+local _ Ateliers numériques en Pays de BergeracGoogle Adresse devient Google+local _ Ateliers numériques en Pays de Bergerac
Google Adresse devient Google+local _ Ateliers numériques en Pays de Bergerac
 
My sql
My sqlMy sql
My sql
 
Newsletter la p8 aux jo de londres 2012
Newsletter la p8 aux jo de londres 2012Newsletter la p8 aux jo de londres 2012
Newsletter la p8 aux jo de londres 2012
 
Projet carrier
Projet carrierProjet carrier
Projet carrier
 
Les blogs d'experts à l'Université de Poitiers - jhc2012
Les blogs d'experts à l'Université de Poitiers - jhc2012Les blogs d'experts à l'Université de Poitiers - jhc2012
Les blogs d'experts à l'Université de Poitiers - jhc2012
 

Similar to Faire du testing une culture : ces organisations devenues expertes

Web-formation | Lean Innovation & Méthode 3P
Web-formation | Lean Innovation & Méthode 3PWeb-formation | Lean Innovation & Méthode 3P
Web-formation | Lean Innovation & Méthode 3PXL Groupe
 
Thiga - Notre retour d'expérience sur le Design sprint
Thiga - Notre retour d'expérience sur le Design sprintThiga - Notre retour d'expérience sur le Design sprint
Thiga - Notre retour d'expérience sur le Design sprintThiga
 
Data + UX = décisions objectives pour optimiser la conversion - Ingrid Thonet...
Data + UX = décisions objectives pour optimiser la conversion - Ingrid Thonet...Data + UX = décisions objectives pour optimiser la conversion - Ingrid Thonet...
Data + UX = décisions objectives pour optimiser la conversion - Ingrid Thonet...SEO CAMP
 
Offre studio digital juillet 2017
Offre studio digital juillet 2017Offre studio digital juillet 2017
Offre studio digital juillet 2017Rivoli Digital
 
Panel Retour d'expérience BAFS 2015 Paris
Panel Retour d'expérience BAFS 2015 Paris Panel Retour d'expérience BAFS 2015 Paris
Panel Retour d'expérience BAFS 2015 Paris BAFS
 
Paris Retail Week 10 septembre 2018 - Comment booster les conversions de votr...
Paris Retail Week 10 septembre 2018 - Comment booster les conversions de votr...Paris Retail Week 10 septembre 2018 - Comment booster les conversions de votr...
Paris Retail Week 10 septembre 2018 - Comment booster les conversions de votr...Peak Ace
 
Gestion de projets agiles avec Scrum.pdf
Gestion de projets agiles avec Scrum.pdfGestion de projets agiles avec Scrum.pdf
Gestion de projets agiles avec Scrum.pdfbadrfathallah2
 
Décisionnel Agile : les conditions du succès
Décisionnel Agile : les conditions du succèsDécisionnel Agile : les conditions du succès
Décisionnel Agile : les conditions du succèsJean-Michel Franco
 
Introduction aux webanalytiques et KPIs
Introduction aux webanalytiques et KPIsIntroduction aux webanalytiques et KPIs
Introduction aux webanalytiques et KPIsMohammed ALAMI ✅
 
La méthode lean startup : tout est prototype, même votre entreprise !
La méthode lean startup : tout est prototype, même votre entreprise !La méthode lean startup : tout est prototype, même votre entreprise !
La méthode lean startup : tout est prototype, même votre entreprise !Fabernovel
 
Pannel Retour d'expérience BAFS 2015 Genève : Orange
Pannel Retour d'expérience BAFS 2015 Genève : OrangePannel Retour d'expérience BAFS 2015 Genève : Orange
Pannel Retour d'expérience BAFS 2015 Genève : OrangeBAFS
 
Comment votre stratégie d’innovation peut booster l’implication de vos collab...
Comment votre stratégie d’innovation peut booster l’implication de vos collab...Comment votre stratégie d’innovation peut booster l’implication de vos collab...
Comment votre stratégie d’innovation peut booster l’implication de vos collab...Antoine Jonchère
 
Afterwork OCTO Delivery - L'ADN d'un développement produit réussi
Afterwork OCTO Delivery - L'ADN d'un développement produit réussiAfterwork OCTO Delivery - L'ADN d'un développement produit réussi
Afterwork OCTO Delivery - L'ADN d'un développement produit réussicyrilpicat
 
L'ADN d'un développement produit réussi
L'ADN d'un développement produit réussiL'ADN d'un développement produit réussi
L'ADN d'un développement produit réussiOCTO Technology Suisse
 
Comment Fonctionne EnqueteFacile.com ?
Comment Fonctionne EnqueteFacile.com ?Comment Fonctionne EnqueteFacile.com ?
Comment Fonctionne EnqueteFacile.com ?EnqueteFacile.com
 
Webinar TDD / BDD : Comment mieux délivrer et s'entendre pour le Product Owne...
Webinar TDD / BDD : Comment mieux délivrer et s'entendre pour le Product Owne...Webinar TDD / BDD : Comment mieux délivrer et s'entendre pour le Product Owne...
Webinar TDD / BDD : Comment mieux délivrer et s'entendre pour le Product Owne...DC CONSULTANTS
 
Ose entreprendre ! - Conférence UCL CCII - Michel Duchateau CreaDelta
Ose entreprendre ! - Conférence UCL CCII - Michel Duchateau CreaDeltaOse entreprendre ! - Conférence UCL CCII - Michel Duchateau CreaDelta
Ose entreprendre ! - Conférence UCL CCII - Michel Duchateau CreaDeltaMichel Duchateau
 
Formation : Réaliser et promouvoir un site internet (V2)
Formation : Réaliser et promouvoir un site internet (V2)Formation : Réaliser et promouvoir un site internet (V2)
Formation : Réaliser et promouvoir un site internet (V2)Synerg'hetic
 
Lean startup introduction
Lean startup introductionLean startup introduction
Lean startup introductionVincent Richard
 
Comment optimiser les pages d'atterrissage d’un site e commerce ? Salon E-com...
Comment optimiser les pages d'atterrissage d’un site e commerce ? Salon E-com...Comment optimiser les pages d'atterrissage d’un site e commerce ? Salon E-com...
Comment optimiser les pages d'atterrissage d’un site e commerce ? Salon E-com...Peak Ace
 

Similar to Faire du testing une culture : ces organisations devenues expertes (20)

Web-formation | Lean Innovation & Méthode 3P
Web-formation | Lean Innovation & Méthode 3PWeb-formation | Lean Innovation & Méthode 3P
Web-formation | Lean Innovation & Méthode 3P
 
Thiga - Notre retour d'expérience sur le Design sprint
Thiga - Notre retour d'expérience sur le Design sprintThiga - Notre retour d'expérience sur le Design sprint
Thiga - Notre retour d'expérience sur le Design sprint
 
Data + UX = décisions objectives pour optimiser la conversion - Ingrid Thonet...
Data + UX = décisions objectives pour optimiser la conversion - Ingrid Thonet...Data + UX = décisions objectives pour optimiser la conversion - Ingrid Thonet...
Data + UX = décisions objectives pour optimiser la conversion - Ingrid Thonet...
 
Offre studio digital juillet 2017
Offre studio digital juillet 2017Offre studio digital juillet 2017
Offre studio digital juillet 2017
 
Panel Retour d'expérience BAFS 2015 Paris
Panel Retour d'expérience BAFS 2015 Paris Panel Retour d'expérience BAFS 2015 Paris
Panel Retour d'expérience BAFS 2015 Paris
 
Paris Retail Week 10 septembre 2018 - Comment booster les conversions de votr...
Paris Retail Week 10 septembre 2018 - Comment booster les conversions de votr...Paris Retail Week 10 septembre 2018 - Comment booster les conversions de votr...
Paris Retail Week 10 septembre 2018 - Comment booster les conversions de votr...
 
Gestion de projets agiles avec Scrum.pdf
Gestion de projets agiles avec Scrum.pdfGestion de projets agiles avec Scrum.pdf
Gestion de projets agiles avec Scrum.pdf
 
Décisionnel Agile : les conditions du succès
Décisionnel Agile : les conditions du succèsDécisionnel Agile : les conditions du succès
Décisionnel Agile : les conditions du succès
 
Introduction aux webanalytiques et KPIs
Introduction aux webanalytiques et KPIsIntroduction aux webanalytiques et KPIs
Introduction aux webanalytiques et KPIs
 
La méthode lean startup : tout est prototype, même votre entreprise !
La méthode lean startup : tout est prototype, même votre entreprise !La méthode lean startup : tout est prototype, même votre entreprise !
La méthode lean startup : tout est prototype, même votre entreprise !
 
Pannel Retour d'expérience BAFS 2015 Genève : Orange
Pannel Retour d'expérience BAFS 2015 Genève : OrangePannel Retour d'expérience BAFS 2015 Genève : Orange
Pannel Retour d'expérience BAFS 2015 Genève : Orange
 
Comment votre stratégie d’innovation peut booster l’implication de vos collab...
Comment votre stratégie d’innovation peut booster l’implication de vos collab...Comment votre stratégie d’innovation peut booster l’implication de vos collab...
Comment votre stratégie d’innovation peut booster l’implication de vos collab...
 
Afterwork OCTO Delivery - L'ADN d'un développement produit réussi
Afterwork OCTO Delivery - L'ADN d'un développement produit réussiAfterwork OCTO Delivery - L'ADN d'un développement produit réussi
Afterwork OCTO Delivery - L'ADN d'un développement produit réussi
 
L'ADN d'un développement produit réussi
L'ADN d'un développement produit réussiL'ADN d'un développement produit réussi
L'ADN d'un développement produit réussi
 
Comment Fonctionne EnqueteFacile.com ?
Comment Fonctionne EnqueteFacile.com ?Comment Fonctionne EnqueteFacile.com ?
Comment Fonctionne EnqueteFacile.com ?
 
Webinar TDD / BDD : Comment mieux délivrer et s'entendre pour le Product Owne...
Webinar TDD / BDD : Comment mieux délivrer et s'entendre pour le Product Owne...Webinar TDD / BDD : Comment mieux délivrer et s'entendre pour le Product Owne...
Webinar TDD / BDD : Comment mieux délivrer et s'entendre pour le Product Owne...
 
Ose entreprendre ! - Conférence UCL CCII - Michel Duchateau CreaDelta
Ose entreprendre ! - Conférence UCL CCII - Michel Duchateau CreaDeltaOse entreprendre ! - Conférence UCL CCII - Michel Duchateau CreaDelta
Ose entreprendre ! - Conférence UCL CCII - Michel Duchateau CreaDelta
 
Formation : Réaliser et promouvoir un site internet (V2)
Formation : Réaliser et promouvoir un site internet (V2)Formation : Réaliser et promouvoir un site internet (V2)
Formation : Réaliser et promouvoir un site internet (V2)
 
Lean startup introduction
Lean startup introductionLean startup introduction
Lean startup introduction
 
Comment optimiser les pages d'atterrissage d’un site e commerce ? Salon E-com...
Comment optimiser les pages d'atterrissage d’un site e commerce ? Salon E-com...Comment optimiser les pages d'atterrissage d’un site e commerce ? Salon E-com...
Comment optimiser les pages d'atterrissage d’un site e commerce ? Salon E-com...
 

More from Optimizely

Clover Rings Up Digital Growth to Drive Experimentation
Clover Rings Up Digital Growth to Drive ExperimentationClover Rings Up Digital Growth to Drive Experimentation
Clover Rings Up Digital Growth to Drive ExperimentationOptimizely
 
Make Every Touchpoint Count: How to Drive Revenue in an Increasingly Online W...
Make Every Touchpoint Count: How to Drive Revenue in an Increasingly Online W...Make Every Touchpoint Count: How to Drive Revenue in an Increasingly Online W...
Make Every Touchpoint Count: How to Drive Revenue in an Increasingly Online W...Optimizely
 
The Science of Getting Testing Right
The Science of Getting Testing RightThe Science of Getting Testing Right
The Science of Getting Testing RightOptimizely
 
Atlassian's Mystique CLI, Minimizing the Experiment Development Cycle
Atlassian's Mystique CLI, Minimizing the Experiment Development CycleAtlassian's Mystique CLI, Minimizing the Experiment Development Cycle
Atlassian's Mystique CLI, Minimizing the Experiment Development CycleOptimizely
 
Autotrader Case Study: Migrating from Home-Grown Testing to Best-in-Class Too...
Autotrader Case Study: Migrating from Home-Grown Testing to Best-in-Class Too...Autotrader Case Study: Migrating from Home-Grown Testing to Best-in-Class Too...
Autotrader Case Study: Migrating from Home-Grown Testing to Best-in-Class Too...Optimizely
 
Zillow + Optimizely: Building the Bridge to $20 Billion Revenue
Zillow + Optimizely: Building the Bridge to $20 Billion RevenueZillow + Optimizely: Building the Bridge to $20 Billion Revenue
Zillow + Optimizely: Building the Bridge to $20 Billion RevenueOptimizely
 
The Future of Optimizely for Technical Teams
The Future of Optimizely for Technical TeamsThe Future of Optimizely for Technical Teams
The Future of Optimizely for Technical TeamsOptimizely
 
Empowering Agents to Provide Service from Anywhere: Contact Centers in the Ti...
Empowering Agents to Provide Service from Anywhere: Contact Centers in the Ti...Empowering Agents to Provide Service from Anywhere: Contact Centers in the Ti...
Empowering Agents to Provide Service from Anywhere: Contact Centers in the Ti...Optimizely
 
Experimentation Everywhere: Create Exceptional Online Shopping Experiences an...
Experimentation Everywhere: Create Exceptional Online Shopping Experiences an...Experimentation Everywhere: Create Exceptional Online Shopping Experiences an...
Experimentation Everywhere: Create Exceptional Online Shopping Experiences an...Optimizely
 
Building an Experiment Pipeline for GitHub’s New Free Team Offering
Building an Experiment Pipeline for GitHub’s New Free Team OfferingBuilding an Experiment Pipeline for GitHub’s New Free Team Offering
Building an Experiment Pipeline for GitHub’s New Free Team OfferingOptimizely
 
AMC Networks Experiments Faster on the Server Side
AMC Networks Experiments Faster on the Server SideAMC Networks Experiments Faster on the Server Side
AMC Networks Experiments Faster on the Server SideOptimizely
 
Evolving Experimentation from CRO to Product Development
Evolving Experimentation from CRO to Product DevelopmentEvolving Experimentation from CRO to Product Development
Evolving Experimentation from CRO to Product DevelopmentOptimizely
 
Overcoming the Challenges of Experimentation on a Service Oriented Architecture
Overcoming the Challenges of Experimentation on a Service Oriented ArchitectureOvercoming the Challenges of Experimentation on a Service Oriented Architecture
Overcoming the Challenges of Experimentation on a Service Oriented ArchitectureOptimizely
 
How The Zebra Utilized Feature Experiments To Increase Carrier Card Engagemen...
How The Zebra Utilized Feature Experiments To Increase Carrier Card Engagemen...How The Zebra Utilized Feature Experiments To Increase Carrier Card Engagemen...
How The Zebra Utilized Feature Experiments To Increase Carrier Card Engagemen...Optimizely
 
Making Your Hypothesis Work Harder to Inform Future Product Strategy
Making Your Hypothesis Work Harder to Inform Future Product StrategyMaking Your Hypothesis Work Harder to Inform Future Product Strategy
Making Your Hypothesis Work Harder to Inform Future Product StrategyOptimizely
 
Kick Your Assumptions: How Scholl's Test-Everything Culture Drives Revenue
Kick Your Assumptions: How Scholl's Test-Everything Culture Drives RevenueKick Your Assumptions: How Scholl's Test-Everything Culture Drives Revenue
Kick Your Assumptions: How Scholl's Test-Everything Culture Drives RevenueOptimizely
 
Experimentation through Clients' Eyes
Experimentation through Clients' EyesExperimentation through Clients' Eyes
Experimentation through Clients' EyesOptimizely
 
Shipping to Learn and Accelerate Growth with GitHub
Shipping to Learn and Accelerate Growth with GitHubShipping to Learn and Accelerate Growth with GitHub
Shipping to Learn and Accelerate Growth with GitHubOptimizely
 
Test Everything: TrustRadius Delivers Customer Value with Experimentation
Test Everything: TrustRadius Delivers Customer Value with ExperimentationTest Everything: TrustRadius Delivers Customer Value with Experimentation
Test Everything: TrustRadius Delivers Customer Value with ExperimentationOptimizely
 
Optimizely Agent: Scaling Resilient Feature Delivery
Optimizely Agent: Scaling Resilient Feature DeliveryOptimizely Agent: Scaling Resilient Feature Delivery
Optimizely Agent: Scaling Resilient Feature DeliveryOptimizely
 

More from Optimizely (20)

Clover Rings Up Digital Growth to Drive Experimentation
Clover Rings Up Digital Growth to Drive ExperimentationClover Rings Up Digital Growth to Drive Experimentation
Clover Rings Up Digital Growth to Drive Experimentation
 
Make Every Touchpoint Count: How to Drive Revenue in an Increasingly Online W...
Make Every Touchpoint Count: How to Drive Revenue in an Increasingly Online W...Make Every Touchpoint Count: How to Drive Revenue in an Increasingly Online W...
Make Every Touchpoint Count: How to Drive Revenue in an Increasingly Online W...
 
The Science of Getting Testing Right
The Science of Getting Testing RightThe Science of Getting Testing Right
The Science of Getting Testing Right
 
Atlassian's Mystique CLI, Minimizing the Experiment Development Cycle
Atlassian's Mystique CLI, Minimizing the Experiment Development CycleAtlassian's Mystique CLI, Minimizing the Experiment Development Cycle
Atlassian's Mystique CLI, Minimizing the Experiment Development Cycle
 
Autotrader Case Study: Migrating from Home-Grown Testing to Best-in-Class Too...
Autotrader Case Study: Migrating from Home-Grown Testing to Best-in-Class Too...Autotrader Case Study: Migrating from Home-Grown Testing to Best-in-Class Too...
Autotrader Case Study: Migrating from Home-Grown Testing to Best-in-Class Too...
 
Zillow + Optimizely: Building the Bridge to $20 Billion Revenue
Zillow + Optimizely: Building the Bridge to $20 Billion RevenueZillow + Optimizely: Building the Bridge to $20 Billion Revenue
Zillow + Optimizely: Building the Bridge to $20 Billion Revenue
 
The Future of Optimizely for Technical Teams
The Future of Optimizely for Technical TeamsThe Future of Optimizely for Technical Teams
The Future of Optimizely for Technical Teams
 
Empowering Agents to Provide Service from Anywhere: Contact Centers in the Ti...
Empowering Agents to Provide Service from Anywhere: Contact Centers in the Ti...Empowering Agents to Provide Service from Anywhere: Contact Centers in the Ti...
Empowering Agents to Provide Service from Anywhere: Contact Centers in the Ti...
 
Experimentation Everywhere: Create Exceptional Online Shopping Experiences an...
Experimentation Everywhere: Create Exceptional Online Shopping Experiences an...Experimentation Everywhere: Create Exceptional Online Shopping Experiences an...
Experimentation Everywhere: Create Exceptional Online Shopping Experiences an...
 
Building an Experiment Pipeline for GitHub’s New Free Team Offering
Building an Experiment Pipeline for GitHub’s New Free Team OfferingBuilding an Experiment Pipeline for GitHub’s New Free Team Offering
Building an Experiment Pipeline for GitHub’s New Free Team Offering
 
AMC Networks Experiments Faster on the Server Side
AMC Networks Experiments Faster on the Server SideAMC Networks Experiments Faster on the Server Side
AMC Networks Experiments Faster on the Server Side
 
Evolving Experimentation from CRO to Product Development
Evolving Experimentation from CRO to Product DevelopmentEvolving Experimentation from CRO to Product Development
Evolving Experimentation from CRO to Product Development
 
Overcoming the Challenges of Experimentation on a Service Oriented Architecture
Overcoming the Challenges of Experimentation on a Service Oriented ArchitectureOvercoming the Challenges of Experimentation on a Service Oriented Architecture
Overcoming the Challenges of Experimentation on a Service Oriented Architecture
 
How The Zebra Utilized Feature Experiments To Increase Carrier Card Engagemen...
How The Zebra Utilized Feature Experiments To Increase Carrier Card Engagemen...How The Zebra Utilized Feature Experiments To Increase Carrier Card Engagemen...
How The Zebra Utilized Feature Experiments To Increase Carrier Card Engagemen...
 
Making Your Hypothesis Work Harder to Inform Future Product Strategy
Making Your Hypothesis Work Harder to Inform Future Product StrategyMaking Your Hypothesis Work Harder to Inform Future Product Strategy
Making Your Hypothesis Work Harder to Inform Future Product Strategy
 
Kick Your Assumptions: How Scholl's Test-Everything Culture Drives Revenue
Kick Your Assumptions: How Scholl's Test-Everything Culture Drives RevenueKick Your Assumptions: How Scholl's Test-Everything Culture Drives Revenue
Kick Your Assumptions: How Scholl's Test-Everything Culture Drives Revenue
 
Experimentation through Clients' Eyes
Experimentation through Clients' EyesExperimentation through Clients' Eyes
Experimentation through Clients' Eyes
 
Shipping to Learn and Accelerate Growth with GitHub
Shipping to Learn and Accelerate Growth with GitHubShipping to Learn and Accelerate Growth with GitHub
Shipping to Learn and Accelerate Growth with GitHub
 
Test Everything: TrustRadius Delivers Customer Value with Experimentation
Test Everything: TrustRadius Delivers Customer Value with ExperimentationTest Everything: TrustRadius Delivers Customer Value with Experimentation
Test Everything: TrustRadius Delivers Customer Value with Experimentation
 
Optimizely Agent: Scaling Resilient Feature Delivery
Optimizely Agent: Scaling Resilient Feature DeliveryOptimizely Agent: Scaling Resilient Feature Delivery
Optimizely Agent: Scaling Resilient Feature Delivery
 

Faire du testing une culture : ces organisations devenues expertes

  • 1. Mercredi 10 décembre 2014 #CROissants avec Optimizely & Uptilab! 09H00 – 11H00! ! Pershing Hall!
  • 2. Faire du testing une culture! Ces organisations devenues expertes! Mercredi 10 décembre 2014
  • 3. 3" Faire du testing une culture Ces organisations devenues expertes 1. Optimizely en deux mots 2. Decitre 3. Autoscout 4. Questions/Réponses
  • 5. ! ! ! Dan! Pete! 2006 :" Dan Siroker and Pete Koomen" — Product Manager, Google! 2008 : " Dan — Campagne Obama! 2008 – 2010 : " Carrotsticks, Spreadly, " et Y Combinator.! 2010 : Création d’Optimizely! Avril 2013 : Levée de $28M pour s’internationaliser! Mai 2014 : Levée de $57M! $28M! $57M! +8000 Clients!
  • 7. 7" L’enseigne Decitre > Librairie indépendante fondée en 1907 > 1,5 millions de visiteurs uniques mensuels > Pays d’origine : France > 350+ collaborateurs
  • 8. 8" L’équipe face au testing Du simple test au processus de testing en continu Depuis quand ? > Premiers pas mi-2013 > Client « Enterprise » Optimizely fin 2013 Pourquoi ? > Panel trop large de visiteurs pour deviner le design idéal > En finir avec les réunions interminables sur le choix d’une couleur > Obtenir des mesures chiffrées de l’impact des modifications Objectivité > Intuition!
  • 9. 9" L’organisation Le testing, une méthodologie qui rassemble Brainstorming" Monitoring" Planning" Tracking" Repor9ng" Toute l ’équipe e-commerce propose des idées! ! Centralisation des échanges + historisation dans Basecamp! Priorisation des tests! Définition des cibles, variantes et KPI! Toute l’équipe a accès aux résultats!
  • 10. 10" La mise en oeuvre Du simple test au processus de testing en continu Mise en oeuvre en environnement de pré-production > Par les collaborateurs fonctionnels > Avec les développeurs si nécessaire Passage en production > Validation par l’équipe technique > Lancement du test
  • 11. 11" Les défis Les challenges rencontrés lors de la mise en place du programme de testing Défis opérationnels > Adaptations techniques dans certains cas, utiles sur le long terme > Disposer de suffisamment de trafic Défis organisationnels > Mobiliser son équipe, puis le groupe > Changer la culture « toute modification doit être justifiée » > Ne jamais hésiter à inviter ses collègue à faire un test > Savoir communiquer autour des résultats
  • 12. 12" Montée en compétence Tests simples -> Tests élaborés Du simple test sur le wording d’un CTA… …au redesign complet de la fiche produit… …en passant par le bloc d’ajout au panier.
  • 13. 13" Montée en compétence Editeur visuel -> Commande javascript
  • 14. 14" Montée en compétence Initiative individuelle -> Effort de groupe Un CTO convaincu! Dir. E-Commerce! L’équipe e-Merchandising! Chefs de projet! Divers observateurs!
  • 16. 16" L’enseigne Autoscout24 > Plus grand portail d’achat/vente de véhicules en Europe > 20 millions d’utilisateurs > Pays d’origine : Allemagne > Présent dans 18 pays
  • 17. 17" L’équipe face au testing Le testing, un état d’esprit « Je ne sais qu’une chose, c’est que je ne Your sais rien » ! baby is ugly!! Learn to talk money!! Product-! manager! Designer! Usability" Expert! Data Analyst! QA! Developer!
  • 18. 18" La méthodologie Le testing en continu Objectifs" Compréhension Analyse Préparation Exécution Enseignement Déploiement Activités" Analyse"des"données" existantes" Sondage"u9lisateurs" Benchamrk"de"la" concurrence" Recueil"d‘idées"et" d‘opinions" " Iden9fica9on"des" leviers" Visualisa9on"et" priorisa9on"des"Idées" de"test:" Concep9on"du"test" Mise"en"place"du"test" " Es9ma9on"de" l’échan9llon"et" de"la"durée" Mise"en"pra9que" Tes9ng"du" tes9ng" "" Collecte," traitement," interpréta9on"des" tests" StoryRtelling" Tracking"con9nu" Si"applicable," interna9onalisa9on" "" " Facteurs de succès" Croisement"de" méthodes" Elabora9on"de"l‘aperçu" général"du"test"en" équipe" Objec9fs"réalistes" Alignement"de" l’équipe" Compréhension" commune"de"l’objec9f" Es9ma9on"précise"de" la"charge"de"travail" " Suivi" incondi9onnel" du"revenu"" Environnement" agile" " Communica9on" des"résultats" horizontalement" et"ver9calement" " Environnement"agile" Degré"d’achèvement" «"Release"on" demand"»" Difficultés principales" Préserver"objec9vité"et" réalisme" HIPPO‘s"(Highest"Paid" Person’s"Opinion)" Ne"pas" communiquer"les" résultats"trop" rapidement" " Facteurs"externes" au"test"et" imprédic9bles" pouvant"affecter" les"résultats" Alignement"avec"la" vision"longRterme"du" produit" Conserver"son" rythme"de"croisière"
  • 19. 19" Compréhension et analyse Comprendre / Analyser le parcours utilisateur
  • 20. 20" Compréhension et analyse Usability lab
  • 21. 21" Compréhension et analyse Sondage d’utilisateurs : « pourquoi n’achetez-vous pas notre offre premium ? » Retour principal : « l’offre gratuite est suffisamment riche »
  • 22. 22" Compréhension et analyse Benchmark de la concurrence
  • 24. 24" Exécution S’inscrire dans une logique de feuille de route In9tulé" Hypothèse" Objec9f(s)" KPIs" Ciblage" URL":"" Original":""X%" V1":""X%" V2":""X%" Durée" Es9mée"à"X"jours" Date"de" lancement" [Date]" Formulation > Faire des réunions des sessions de brainstorming > Répertorier chaque idée Priorisation > Barème de points > Effort graphique ? (1) > Durée du test ? (0,5) > Potentiel ROI ? (2) > Développement nécessaire ? (1) > Lié au release cycle ? (1) > Contraintes légales ? (1) > Approbation interne ? (0,5)
  • 25. 25" Enseignements Bien analyser pour mieux communiquer…quelque soit le résultat !
  • 26. 26" Enseignements Bien analyser pour mieux communiquer…quelque soit le résultat !
  • 27. 27" Déploiement Agilité, déploiement du design optimisé et story-telling
  • 28. 28" 2." Prépara9on" 3." Exécu9on" 4." La méthodologie Le testing en continu Enseignements" 5." Déploiement" 1." Compréhension" Analyse"
  • 29. 29" blog.optimizely.com community.optimizely.com help.optimizely.com learn.optimizely.com etienne@optimizely.com @eGautheron – @Optimizely +33 (0)1 81 97 97 23