Webinar de Philippe Yonnet, CEO du Groupe Neper sur l'AB testing SEO. Comment effectuer des tests A/B pour vérifier l'impact des optimisations SEO en utilisant les bonnes méthodes statistiques pour y parvenir.

1. A/B TESTING SEO
Philippe YONNET
Ceo Groupe Neper
Where Digital Marketing meets Science
WEBINAR
22 décembre 2020
11h00

3. Where Digital Marketing meets Science

5. Le groupe Neper
Agence conseil en digital
marketing
Solutions SaaS de digital
marketing
Formations et événements
en marketing digital.
Search Y Paris
Search Y Genève
Les rendez-vous incontournables du
Search Marketing en Europe
Solutions

6. Notre offre
SEOUne expertise reconnue sur le
marché
Digital Strategy
Spécialiste de l’accompagnement vers la
Transformation digitale
Solutions pour le Digital Marketing
Outils innovants, issus des recherches des
Neperian Labs
Performance Marketing
PPC, Display, Social Campaigns, VOL, Affiliation…
AMOA - AMOE
Choix de solutions techniques, lead technique,
gestion de projets,
Content Marketing
Création, Production de
contenus
Big Data
DataMarts, DMP, CDP, Data Mining, REN,
Machine Learning
Analytics
Tracking, Dashboards, Scoreboards, A/B testing,
CRO, SXO

7. Pour quelles missions faire appel à nous ?
Développer votre
Trafic Search
Auditer votre site
Accompagner vos
équipes lors d’une migration
ou un lancement de site
Former vos équipes
Au Marketing Digital
Construire
vos scorecards,
dashboards
Elaborer votre
Stratégie Digitale

8. Ex. de Méthodologies nouvelles
A/B Testing SEO : une approche efficace par
construction pour identifier les optimisations qui
fonctionnent dans un contexte donné. L’arme
imparable face à un algorithme de plus en plus opaque.
Les optimisations CLOUD : Exploiter les technologies
Cloud et/ou Serverless pour contourner les blocages
technologiques de vos sites web (amélioration du SEO,
des performances)

9. Neper s’est dotée dès son lancement d’un
programme de recherche sur les applications
de l’IA et du NLP au digital marketing piloté
par le Dr Halaleh Kamari
Neper a le statut de Jeune Entreprise
Innovante
Les Neperian Labs

10. SEARCH Y PARIS et SEARCH Y GENEVA
L’événement majeur du search marketing
+600 visiteurs,
Créé en 2018
avec la participation des représentants des moteurs Google, Bing, Baidu, Yandex

11. Neper University
Créé en 2018,
Le centre de
formations Know Y
est spécialisé dans
les formations sur le
marketing digital
Diffuseur de savoirs
Formations
Know Y dispense des
formations :
- Interentreprises
(catalogue :
https://www.know-y.fr)
- Intra entreprises (sur
mesure)
En présentiel, en e-
learning ou blended
learning
Participants
Les modules sont
personnalisés en
fonction du profil
des participants aux
sessions, en tenant
compte de leur
niveau actuel
Datadock
Les formations sont
référencées
Datadock. Elles sont
donc éligibles à un
financement par
votre OPCO

12. Nous Contacter
contact@neper.fr
Neper_Group
+33 1 80 88 56 00
Neper_Group

13. Les tests A/B pour le SEO

14. Quelques définitions

15. Test A/B
Test de comparaison entre une version différente B et une version de référence A

16. Split testing
Test A/B, mais entre deux versions complètes d’une page

17. Test MVT
On teste plusieurs changements sur plusieurs fonctionnalités
Test multivarié : Multi-Variate Testing

18. Attention aux tests MVT
On teste plusieurs changements à la fois
Permet de limiter le travail de test
Par contre il faut un trafic énorme pour que
les résultats deviennent significatifs avant
que l’environnement change suffisamment
pour rendre vos résultats caducs
Les résultats sont souvent sujets à caution

19. Exemple du temps nécessaire pour qu’un test A/B
et MVT donne des résultats significatifs

20. Au fait, comment faire de l’A/B testing sans générer
de problèmes de SEO
Pas de cloaking : ne dissimulez pas vos pages de
test
Pensez à mettre des link rel=« canonical » pour
éviter que vos contenus soient pris pour des
doublons
Si redirections, utilisez des 302 et non des 301
Limitez la durée du test
Un test trop long sera interprété comme une
tentative de manipulation
https://developers.google.com/search/docs/adv
anced/guidelines/website-testing

21. Pourquoi faire des tests A/B
pour le SEO

22. L’algorithme de classement de Google a changé
Le machine learning envahit l’algo de
Google
Les scores tiennent compte de nombreux
signaux à la fois
Pour améliorer ses positions, il n’y a
plus de « magic bullet »
Panda, Penguin, Quality Updates : pour
regagner des positions, il faut agir sur un
ensemble de facteurs

23. Les SEOs doivent devenir humbles…
Et comprendre ce qu’il y’a derrière
les Core Updates est devenu un
challenge
Impact de « Medic »
Pourquoi le site a été impacté ?
Pourquoi est-il remonté ???
Impact de la Google Core Update
de mai
Même chose : beaucoup de sites
impactés, injustement selon leurs
propriétaires
Liés aux critères EAT mais quels
signaux sont utilisés ?
Les recettes de cuisine ne marchent plus à tous les coups !

24. Un peu de rigueur en SEO ne fait pas de mal
Beaucoup de choses peuvent améliorer
le trafic SEO sans que le travail du SEO y
soit pour grand-chose
Saisonnalité
Hausse du nombre de requêtes
Le concurrent qui fait une bêtise sur son site
Changement d’algo chez Google
Hausse de l’inventaire des pages
Changement de l’apparence de la page de
résultats sur Google
Etc.
Par conséquent, identifier les causes des
changements est clé
Les résultats obtenus sont-ils vraiment imputables au travail sur le SEO ?

25. La même optimisation sur deux sites peut produire
des résultats très différents
Site A Site B

26. L’impact de changements importants est plus
difficile à prévoir
Dans certains cas, certaines
optimisations qui paraissent être de
bonnes idées vont faire ressembler
votre site aux sites dont Google
veut se débarrasser !
Ce que le spécialiste SEO attendait…
Ce qui s’est réellement passé !

27. Euh… qu’est-ce qui se passe avec ma version
optimisée ?
WTF ? On rectifie le tir, vite …
Ouf ! Hémorragie stoppée
Ah non, mais c’est pas possible
Chouette ! Le traffic revient remonte…

28. Il ne faut souvent pas grand chose
Les scores calculés via machine learning
ne sont pas parfaits
Ils essaient de répliquer les décisions des
humains, mais exploitent d’autres signaux
pour y parvenir
Il y’a de faux positifs
En essayant d’optimiser un signal, on
peut se retrouver automatiquement
déclassé !
Cela ne serait peut être pas arrivé en
optimisant d’autres signaux en même temps
Ou même en désoptimisant la page !
Il ne faut pas ressembler à des sites pourris…
Pages KO
Pages OK
Faux positif
Page OK,
classifiée
comme KO
après le
changement

29. Les particularités de l’A/B
testing pour le SEO

30. Comment ça marche ?
Suivant les urls appartenant à un template, on envoie la version A ou la B
Pages produits
Pages
en test
Cohorte de référence

31. La durée du test
Il faut attendre au moins la « fenêtre de
crawl + deux semaines »
En réalité, certains signaux mettent jusqu’à
six mois à se calculer
Fenêtre de crawl : délai nécessaire pour
que Googlebot ait recrawlé 90% des
pages actives
Cela se mesure par une analyse de logs
Il doit durer suffisamment pour que l’impact soit complètement visible

32. Le test doit être parfaitement crawlable
Ce n’est pas du cloaking (cf définition), le
bot voit (et doit voir) la même version que
les utilisateurs
Attention : si votre version test est pourrie,
elle impactera votre trafic SEO !
Les tests se font sur un nombre limité d’urls,
mais suffisant pour mesurer l’impact de la
version testée
« Better safe than sorry ».
Pensez à canonicaliser la version test vers la
version « normale » au cas où votre dispositif
d’aiguillage vers le template de test serait
défaillant
Donc le test sera aussi indexé !

33. Du coup, utiliser GTM n’est pas une bonne idée …
Le problème c’est le temps mis par GTM
pour générer le contenu du test
S’il y’a des « time outs » (dépassement
du temps max dont dispose le bot pour
attendre la rendition du contenu), le test
ne sera pas concluant
Or il est fréquent d’attendre de
nombreuses secondes avant que GTM
ne finisse de s’exécuter

34. Même chose pour votre outil d’A/B testing habituel
Il faut utiliser des outils « server side »
Sauf exception…

35. La manière de vérifier la confiance est différente
Dans une approche A/B test classique, il
y’a deux hypothèses cachées :
On raisonne à partir de moyennes, et
pendant le test, la temporalité n’a pas
d’importance
Le test est suffisamment court pour que des
changements externes ne viennent pas
brouiller le test en prenant le pas sur les
changements du test
Imaginez l’impact d’un changement brutal
d’origine du trafic sur un test A/B !
Les meilleurs résultats de la version B sont ils dûs
aux changements sur B, ou au changement de
trafic ?
Les statistiques à utiliser ne sont pas les mêmes du tout !

36. Pour un test A/B SEO, ces hypothèses ne tiennent pas
Méthodes utilisables : méthodes
d’inférence causales
DID : méthode des doubles différences
Causal Impact (inventée chez Google)
Contrôle synthétique
Il faut tenir compte de l’influence des changements externes

37. Comment faire un A/B test
SEO

38. Les prérequis
Pages en test crawlables
Tests bien « étanches » : attention à ce
qu’il n’y ait pas de trafic sur d’anciennes
urls
D’où l’intérêt de ne pas toucher aux urls
pour faire le test
Tracking parfaitement en place et fiable
En général, on mesure le trafic Seo,
l’information peut venir de l’outil de web
analytics, de la Search Console, ou des logs

39. Bien préparer le test
Vous pouvez (devez) tester plusieurs optimisations à la fois
Par contre, ces changements doivent affecter des types de pages homogènes :
Pages articles, pages marques, pages catégories, pages produits, pages listings…
Evitez de faire des changements impactant toutes les pages
Cela empêche d’avoir un vrai groupe de contrôle, la vérification des causes du changement (inférence
causale) sera moins fiable
Vous avez besoin de groupes de contrôle de taille suffisante
Vu le nombre de variables en jeu, dans la pratique, les tests requièrent des milliers de page
Attention à bien définir le « changement »

40. Test en dynamic serving
Méthode utilisée habituellement pour
gérer deux versions : mobile vs desktop,
avec une seule url
En dynamic serving, la redirection se fait
de manière invisible pour l’utilisateur
Le redirecteur peut-être un boîtier
physique (load balancer, HAproxy), un
reverse proxy (Varnish, Squid, Nginx)
Redirection vers un serveur web bis ou un autre template
/template-
test/page.php?product=12348
Une seule
syntaxe d’urls
vue par
l’utilisateur
Redirecteur :
boîtier physique
ou logiciel
url à tester ?
/template-
normal/page.php?product=123
47
NON
OUI

41. Test via le CDN
On fait réécrire les urls par les
fonctions avancées des CDN
En utilisant une Regex
Via un service worker et un bout de
logiciel
Exemple :
Forward Rewrite : Akamai
Page Rules et url forwarding
On se sert des fonctions avancées des CDN

42. Mesurer les résultats
Les données brutes peuvent être extraites
de vos outils habituels
Google Analytics
Attention à bien séparer les urls de test des autres
Un taggage spécial est recommandé
Search Console
Filtrer à l’aide du path est facile, mais ne sera pas
toujours possible
Sinon on filtre à l’aide d’un fichier de référence
Logs
Même chose que pour la GSC

43. Important : vérifiez l’inférence causale
Test effectué :
Modification des
alt tags
Pas d’effet visible
Sinon vos conclusions risquent d’être fausses
Distilled ODN

44. Autre test
Test : amélioration technique
sur l’affichage du contenu en
JS sur une page produit
Résultats apparemment faible,
mais inférence causale prouvée
Distilled ODN

45. Et un dernier exemple pour la route
Test d’optimisation des titles

46. originalpointwisecumulative
0 25 50 75 100
100
105
110
115
120
-5
0
5
10
15
0
100
200
300

47. Il existe des outils pour faire de l’A/B testing SEO
Searchpilot.com
Ex Distilled ODN
SEOscout.com
Ex ABRankings
Seotesting.com
Rankscience.com
Clickflow.com
Remarque : à part SearchPilot,
la vérification d’inférence
causale est… un peu légère sur
ces outils
Il en sort un tous les 6 mois à présent

48. Conclusion
Le

49. Merci