Évaluation de site Web avec oculométrie, mesures physiologiques et émotions

1. L’ÉVALUATION DE LA QUALITÉ D’UN SITE WEB EN
COMBINANT LA POURSUITE OCULAIRE, LA RÉPONSE
PHYSIOLOGIQUE ET L’EXPRESSION SPONTANÉE DES
ÉMOTIONS RESSENTIES
UNE RECHERCHE EXPLORATOIRE
Sandrine Prom Tep, Chaire RBC*
Aude Dufresne, UdeM
Julie Saulnier, Bell Canada
Marion Archambault, Bell canada
12 novembre 2009
Utilisabilité Québec
Journée mondiale de l’utilisabilité

2. Table des matières
• INTRODUCTION
CRÉDITS, OBJECTIFS DE RECHERCHES ET BÉNÉFICES POUR L’ENTREPRISE
• CONTEXTE ET INTÉRÊT DE LA RECHERCHE
INTERACTION HOMME-MACHINE ET COMMERCE ÉLECTRONIQUE
• MÉTHODOLOGIE
PROTOCOLE
ENVIRONNEMENT DE TEST
• QUESTIONS ET HYPOTHÈSES DE RECHERCHE
• ANALYSES ET RÉSULTATS
• CONCLUSION ET RECHERCHES FUTURES
• RÉFÉRENCES

3. INTRODUCTION
3

4. INTRODUCTION
• Un projet d’évaluation de site web relié à l’industrie des jeux de hasard. Ce
projet de recherche fut réalisé grâce à un partenariat entreprise-milieu
académique (*Chaire de commerce électronique RBC Groupe Financier de
HEC Montréal, U de M et Bell Canada)
• Le but de la recherche: Combiner différentes méthodes d’évaluation et utiliser
différents outils afin d’étudier les interactions homme-machine
– Triangulation cognitive, physiologique et avec la mesure des émotions exprimées.
– Développement de méthodologie innovatrice dans la recherche en utilisabilité.
• Les bénéfices de la recherche:
- Théorique: Une meilleure compréhension des aspects cognitifs et affectifs reliés à
l’expérience utilisateur.
- Pour l’entreprise: Permet d’assoir davantage les décisions de design sur des
données scientifiques.
- Commercial: Permet une optimisation de l’expérience utilisateur et de maximiser
le RSI.
4

5. CONTEXTE
ET
INTÉRÊTS DE LA RECHERCHE
5

6. CONTEXTE ET INTÉRÊT DE LA RECHERCHE
• Interaction homme-machine
– Les recherches entourant l’interaction homme-machine se sont souvent limitées à la
mesure de l’efficience, de l’efficacité et de la satisfaction, ‘omettant’ le côté émotionnel
de l’expérience utilisateur (Norman, 2004).
– La mesure du comportement reliée à l’évaluation de systèmes interactifs s’est limitée
souvent à l’accomplissement de tâches cognitives
– La qualité affective d’un design et l’évaluation d’un système interactif (Zhang & Li,
2005)
• Domaine d’appplications: ex. Secteur du jeu
Pertinence particulière pour les sites web commerciaux.
– Des choix de consommateurs pas toujours rationnels et l’aspect utilitaire pas toujours derrière leur motivation de
consommation (Childers, Carr, Peck and Carson, 2001).
– Le consommateur qui navigue sur le web traite bien plus que les informations cognitives (Ethier, Hadaya, Talbot,
Cadieux, 2006).
– Les émotions se retrouvent à des niveaux conscient, préconscient et non-conscient (Hirschman and Holbrook,
1982)
Les modèles de recherches combinant l’aspect émotionnel et cognitif sont peu
nombreux ou se limitent souvent à l’expression verbalisée des émotions, négligeant
celles qui sont non-conscientes (Chamberlain and Broderick, 2007).
6

7. MODÈLE DE LA RECHERCHE
ET MÉTHODOLOGIE
7

8. LE MODÈLE DE LA RECHERCHE
Nous combinons des mesures subjectives et objectives afin d’évaluer
l’ensemble de l’expérience utilisateur:
Préférences Contexte: Évaluation de
individuelles Stimuli performance
3 pages de contenu Utilisabilité
Esthétique Esthétique
Jeux Mesures +
Poursuite oculaire Émotion
(Tobii):
- Dilatation de
la pupille
Mesures concourantes
- Fixations
Réponse
Physiologique
(Biograph Infiniti):
- SC
- HRV
- Temp
8

9. MÉTHODOLOGIE – PROTOCOLE D’EXPÉRIMENTATION
• Recherche exploratoire
• Entrevues individuelles et scénarios d’utilisation
– 12 participants (6 regroupements de données)
• 2 profils de joueurs : cartes et machines à sous
– Sesssion de 60 min/participant
• Introduction et installation: 10 minutes
• Questionnaire de profilage (incluant le type de joueur et l’échelle de
propension à l’esthétique).
• Accomplissement de tâches (3 tâches), évaluation (utilisabilité et
esthétique) et l’expression spontanée des émotions ressenties: 40-45
minutes
• Retour sur l’expérience: 5 minutes
• Protocole de verbalisation à voix haute
9

10. MÉTHODOLOGIE
Préférences individuelles: Propension à l’esthétique
10

11. MÉTHODOLOGIE- ENVIRONNEMENT DE TEST
Outils permettant de montrer et d’enregistrer les
déplacements oculaires
• Volet matériel: Tobii Technology, T120 unit (60 Hz)
• Volet logiciel: Tobii Studio 1.1
11

12. MÉTHODOLOGIE- ENVIRONNEMENT DE TEST
Outils de mesures physiologiques
• Volet matériel: ProComp Infiniti, 4 capteurs
– Conductivité cutanée, Pouls (BVP), température cutanée, respiration
• Volet logiciel: Biograph Infiniti 3.5
– Instruments :
Éditeur d’écran (modules affichés)
Éditeur de flux (échelles)
Éditeur de script
(protocole de tâches)
12

13. MÉTHODOLOGIE- ENVIRONNEMENT DE TEST (laboratoire d’utilisabilité)
Experimentation room Observation room
VGAtoUSB
VGA Output1
Switch VGA Procomp USB
Infiniti VGA Biograph
Infiniti
VGA Input
Observation
DVI computer
User
Tobii T120 Observator
Optic Fiber Usability expert
VGA
Tobii computer TV
Videoprojector VGA
VGA Output2 screen
Vidéoprojecteur
Facilitator
Usability expert
Control monitor
Observators
Les données provenant de Tobii et de Biograph ont été manuellement
synchronisées.

14. MÉTHODOLOGIE
Questionnaire suivant l’accomplissement des tâches :
Expression spontanée des émotions ressenties
- Les résultats des émotions positives et négatives ont été combinés
14

15. LES QUESTIONS
ET
LES HYPOTHÈSES DE RECHERCHE
15

16. LES QUESTIONS DE RECHERCHE
Est-ce qu’il existe une relation entre le profil de l’utilisateur, son
évaluation du site, ses émotions rapportées et ses mesures
physiologiques enregistrées pour chacune des pages présentées?
• Est-ce qu’un utilisateur ayant un profil de joueur de cartes sera davantage enclin à
donner une meilleure évaluation à une page correspondant à son profil de joueur?
• Est-ce qu’un utilisateur ayant un profil de joueur de cartes aura une réponse
physiologique plus marquée lorsqu’il naviguera sur une page correspondant à son
profil de joueur?
• Est-ce qu’un utilisateur ayant un profil de joueur particulier (cartes ou machine à sous)
passera plus de temps à regarder une page correspondant à son profil de joueur ou
fixer certains éléments de la page qui correspondent à son profil de joueur?
Est-ce que l’utilisateur s’habitue au stress que pourrait engendrer
l’environnement de test?
• Après la phase des questions de profilage (entrée en matière de réchauffement), nous
devrions percevoir une augmentation du niveau de confort dans les données de
réponse physiologique de l’utilisateur (ex. respiration qui ralentit avec le confort).
16

17. HYPOTHÈSES
Contexte
3 pages (stimuli)
-1 accueil
-2 pages de jeux
Mesures directes
Poursuite oculaire
(Tobii):
- Dilatation de la
Préférences pupille
individuelles - Fixations
Propension esthétique Réponse
Profil de joueur physiologique
(Biograph Infiniti):
- Galvanique
- Respiration
- Température
Évaluation rapportée
Notez qu’il n’y avait pas assez de sujets dans cette Utilisabilité
études pour faire ressortir les éléments Esthétique
sociodémographiques Émotion 17

18. UN APERÇU DES ANALYSES
ET DES RÉSULTATS
18

19. ANALYSES ET RÉSULTATS
Stimuli :
Contenu de
Nos observations pour la page
la réponse
Conductivité cutanée ( µS )
galvanique: Accueil
Machines à sous
• la réponse Cartes
physiologique à un
stimuli sera différente
d’un sujet à l’autre
• mais on observe une
cohérence dans la
réaction à un stimuli
pour chaque sujet Participants
Pour chaque personne, nous avons corrigé toutes les réponses
physiologiques avec la moyenne et l’écart-type de la mesure de l’état par
défaut correspondant.

20. ANALYSES ET RÉSULTATS
Préférence et mesures physiologiques
Accueil
Machines à
Préférence conductivité sous
Poker
de jeux cutanée
(NB: tient compte de la
baseline individuelle
pour le calcul de la
Contradiction moyenne)
des résultats
Sujets ne réagissent vs
pas nécessairement en
concordance avec leur La dilatation de
préférence de jeux la pupille Accueil
Stimuli visuel au- Machines
delà de l’intérêt de à sous
départ Poker
Interprétation basée sur le protocole verbal:
Page poker: ambigüe p/r au référent
Page machines à sous: non- ambiguë
Dilatation = confusion par rapport ambiguïté visuelle
Importance de la triangulation pour
informer le design

21. ANALYSES ET RÉSULTATS
Préférence et évaluation du site + émotions rapportées
Préférence de jeux
Concordance entre profil et évaluation
Expression spontanée des émotions Évaluation rapportée de l’aspect
positives du contenu des pages esthétique des pages
Poker
Machines
Accueil
à sous
Poker
Machines à
sous
Résultats similaires entre ce qui est dit (mesures rapportées)
MAIS
Opposées avec ce qui est ressenti (mesures directes objectives de
l’acétate précédente) rationalisation consciente?

22. CONCLUSION
&
RECHERCHES FUTURES
22

23. CONCLUSION
• Approche qui permet d’informer le design via des perceptions non-
conscientes
• Développement méthodologique: définition et mise à l’épreuve de protocole
de recherche
Ex. Problématique d’intrusion
• Triangulation de différentes mesures: cognitives, affectives ainsi que
conscientes et non-conscientes, afin de mieux comprendre l’expérience
utilisateur dans son ensemble
–> En route vers une approche d’évaluation de
site web plus holistique!
23

24. RECHERCHES FUTURES
• Identifier l'évolution de patterns de réponses physiologiques correspondant à
des états émotionnels importants (exemple la frustration, le manque de
confort, l’excitation, l'indifférence, etc.) dans un processus d'acomplissement
de tâche.
• Établir la carte de la réponse physiologique par rapport au stress et à
l’excitation: confirmer avec la littérature sur les données médicales
ex: la température qui diminue aux extrémités quand on est en situation de
stress parce que le sang se regroupe au centre du corps délaissant la
périphérie (voir problèmes d’interprétation: ex Police et détecteur de
mesnonges)
• Valider le nouveau protocole d’expérimentation avec différents contextes de
tâche.
24

25. RÉFÉRENCES
• Chamberlain, L. and Broderick, A.J. (2007). The application of physiological
observation methods to emotion research, Qualitative Market Research: An
International Journal 10 (2): 199-216.
• Childers, T. L., Carr, C.L., Peckc, J., and Carson, S. (2001). Hedonic and utilitarian
motivations for online retail shopping behavior. Journal of Retailing, 77(4): 511-535.
• Ethier, J., Hadaya, P., Talbot, J., Cadieux, J. (2006). B2C web site quality and
emotions during online episodes: An empirical study, Information & Management, 43:
627–639.
• Hirschman, E. C., & Holbrook, M. B. (1982). Hedonic Consumption: Emerging
Concepts, Methods and Propositions. Journal of Marketing, 46: 92-101.
• Holbrook, M.B., Batra, R. (1987). Assessing the Role of Emotions as Mediators of
Consumer Responses to Advertising, Journal of Consumer Research, 14(3): 404-419.
• Mahlke, S. (2007, March). Usability, Aesthetics, Emotions and the User Experience,
HOT Topics, 6 (2).
• Norman, D. (2004). Emotional Design: Why we love (or hate) everyday things. New
York. Basic Books.
• Zhang, P., & Li, N. (2005). The importance of Affective Quality. Communications of the
ACM, 48 (9): 105-108.
• http://www.thoughttechnology.com/
• http://www.thoughttechnology.com/french/manual.htm
25

26. QUESTIONS
Merci! ☺
sandrine.prom-tep@hec.ca
Blogue: http://www.ergonomia.ca
julie.saulnier@bell.ca
Réponse physiologique et tests d’utilisabilité chez Bell Canada