Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.



Published on

Tim Bosenick (SirValUse) at User Experience Roundtable am 7.2.2012 -

  • Login to see the comments


  1. 1. Workshop „UX-Messung“GfK SirValUse Consulting
  2. 2. 25.05.2011 Workshop „UX Messung“ SirValUse berichtet über Erfahrungen zum Thema UX-Messung Topics » UX-Messungs-Historie (aus SirValUse-Perspektive) » Kundennutzen, Kundenprojekte, Anwendungsfälle, … » UX-Modelle » Methodische Fragestellungen » Exemplarisches Vorgehen für eine Studie zur Definition eines UX-Messinstruments » UX-Messinstrument: Ideales Tool / Ideales Setting 2
  3. 3. 25.05.2011 Workshop „UX Messung“ UX-Messungs-Historie (aus SirValUse-Perspektive) » 2001/2002: Erstes Projekt zur Pre-/Post-Messung von „Usability“ » 2002: Einführung der „UX Bench“ (SirValUse intern) » Seit 2003 „UX-Tracker“ bei einem unserer Kunden » Alle 6 Monate alle strategisch wichtigen Produkte » Kombination von Messung und Befragung (objektive und subjektive Daten) » Entwicklung der Messung von „Usability“ zu „User Experience“ » Seit 2005 diverse Kundenprojekte zur (mehr oder weniger regelmäßigen) Messung von UX » Vor/Nach einem Relaunch » Im Vergleich zum Wettbewerb » Seit 2008/2009 Gespräche mit der GfK » Zusammenführung von User Research/Usability Testing & Marktforschung » Etablierung einer internationalen UX-Unit innerhalb der GfK » Messung des ROI (Impact von UX auf Brand & Sales) 3
  4. 4. 25.05.2011 Workshop „UX Messung“ Kundennutzen, Kundenprojekte, Anwendungsfälle, … » Regelmäßige Messung: Tantiemen, Etablierung von UX im Unternehmen, Steuerung (Priorisierung) der UX-Aktivitäten » Pre-/Post-Messung: Hat sich der Relaunch / die Entwicklung des neuen Produkts gelohnt? » Benchmarking: Wie stehen wir im Vergleich zum Wettbewerb da? Was können wir vom Wettbewerb lernen? » ROI: Welchen Impact hat UX auf die Marke? Auf Kundenloyalität/-zufriedenheit? (Auf Sales?) » Treiberanalyse: Wo genau muss ich die UX meiner Produkte optimieren, um deren Performance zu verbessern? » Vorhersagen: Rückschlüsse von der Bewertung des Konzepts auf die spätere Performance des Produkts sollen möglich sein 4
  5. 5. 25.05.2011 Workshop „UX Messung“ Kundennutzen, Kundenprojekte, Anwendungsfälle, … UX Bench » UX Bench is a Benchmark database that SirValUse uses since 2001 to benchmark all test stimuli: » Websites » CE » Devices » The core version of UX Bench consists of 23 items that reflect five User Experience dimensions . » Not all items suit every study. » Currently there is data available from more than 700 studies with over 75.000 users. 5
  6. 6. 25.05.2011 Workshop „UX Messung“ Kundennutzen, Kundenprojekte, Anwendungsfälle, … UX Bench Usability Brand Got my bearings quickly Suits the brand Easy to understand I recognized the provider quickly Clear and concise The ads are integrated well Gut used to it quickly Product is suitable for novices Design Good visual design Utility I like the colours Meets my requirements Product is helpful Product is up-to-date Emotion Good cost/performance ratio Communicates positive mood Surpasses my expectations No worry about personal data Is of high quality Product is reliable Got all necessary product Arouses my curiosity information Fun using the product 6
  7. 7. 25.05.2011 Workshop „UX Messung“ Kundennutzen, Kundenprojekte, Anwendungsfälle, … UX Bench Overall satisfaction -------------------------- Total Got my bearings quickly (N=30) Easy to understand Benchmark Usability Clear and concicse Got used to it quickly from 18 E- Suitable for novices Commerce -------------------------- Live-Websites Up-to-date (lab based UX- Helpful Test) (N=93- All necessary product information 493) Utility High quality Good cost/performance ratio Meets requirements Surpasses expectations -------------------------- Reliable No worry about personal data Communicates positive mood Emotion Arouses my curiosity Had fun using the product -------------------------- Good visual desing Design Like the colours -------------------------- Recognised the provider quickly Suits the brand Brand Ads are integrated well 7
  8. 8. 25.05.2011 Workshop „UX Messung“ Kundennutzen, Kundenprojekte, Anwendungsfälle, … Kundenprojekt » Regelmäßig Messung der UX » Vergleich zunächst longitudinal, künftig auch mit Wettbewerbern » Methodik: » Standardisiertes Setting im Lab: Bearbeitung von Kernaufgaben zu Produkten » Messung von Time-on-Task, Problemen, Task Completion » Subjektive Bewertung des Produktes nach der Aufgabenbearbeitung » Quantitative Messung und qualitative Bewertung gleichzeitig » Einschätzung: » Sehr stabil & sensitiv über die Zeit (=hohe Reliabilität des Instruments) » Bewertungsniveau ist Aufgaben-abhängig » Sehr zeit- und kostenintensiv 8
  9. 9. 25.05.2011 Workshop „UX Messung“ UX-Modelle » Literaturliste / Recherche » Keine etablierte Mess-Methodik » Vermengung von „Messung“ und „Erklärung“ » Teilweise Anwendbarkeit nicht gegeben (Quotenvorgaben) » Viele Skalen mit einem Fokus auf „Usability“ » Einige Skalen mit einem Fokus auf „Erlebnis“ » Wenige Skalen, die systematisch beide Komponenten kombinieren » Keine Berücksichtigung „objektiver“ Faktoren / Messungen » Leitlinien für das neue Modell » Komponente „Qualität“ (Produkt), Komponente „Erlebnis“ (Nutzer) » Trennung von Messung und Erklärung » Anwendbarkeit muss gegeben sein 9
  10. 10. 25.05.2011 Workshop „UX Messung“ UX-Modelle SirValUse alt » Usability, Utility, Emotion, Design, Brand Kunde alt (z.B.) » Satisfaction, Usability, Utility, Joy of Use, Design, Brand Kunde neu (z.B.) » Usability, Emotions, Attraktivität (Satisfacton und Usefulness als abhängige Variablen, Brand ausgeklammert, mehr Fokus auf „Erlebnis“) » Zielvariablen: Weiterempfehlung Produkt / Marke, Weiternutzung/Wiederkauf, Wettbewerbsvorteil GfK / SirValUse » Nächste Charts 10
  11. 11. 25.05.2011 Workshop „UX Messung“ UX-Modelle GfK / SirValUse Brand Task-oriented Self-oriented Aesthetic qualities qualities qualitites Learnability Identity Visual Haptic Functionality Operability Stimulation Competence Acoustic "hygiene factors" Needed in order to avoid a negative experience. "motivators" Do not, however, create a positive experience. Able to create a positive experience. 11
  12. 12. 25.05.2011 Workshop „UX Messung“ UX-Modelle GfK / SirValUse: Task-Oriented Qualities The qualities of an interactive product that determine its suitability for an intended task. • Functionality – The products fulfils its purpose without problems. – Detailed definition: The interactive system supports the user in completing a task effectively and efficiently. There are no errors or technical problems. Faulty input does not lead to critical consequences and can be easily reverted. – Contains suitability for the task and error tolerance from ISO 9241-110 – e.g.: A smartphones e-mail program provides all the necessary options and works error-free. • Operability – The products features can be easily accessed by the user. He is in control of the product. – Detailed def.: The user can understand the interactive product, it works in compliance with his or her expectations and he/she may choose the order in which to perform tasks. – Contains conformity with user expectations, self descriptiveness and controllability from ISO 9241-110. – e. g.: The smartphones e-mail program does not have a nested menu, the user can interrupt the writing of a new e-mail at any time, … • Learnability – The operation of an interactive system is easy to learn. – Detailed def.: The product support the users learning of its handling. – Contains suitability for learning from ISO 9241-110. – e.g.: the smartphone provides tooltips, suggestions, meaningful feedback, … cf. Schneider, W. (2008). Ergonomische Gestaltung von Benutzungsschnittstellen: Kommentar zur Grundsatznorm DIN EN ISO 9241-110. (Deutsches Institut für Normung e. V. (DIN), Eds.) (2nd ed.). Berlin Wien Zürich: Beuth Verlag GmbH. 12
  13. 13. 25.05.2011 Workshop „UX Messung“ UX-Modelle GfK / SirValUse: Self-Oriented Qualities The qualities of an interactive product that are able to induce certain feelings in a user. • Competence – The feeling of being able to act competently and effectively, i.e. to take pride in ones actions and to draw confidence from them. – E.g. after using the iPhone for 15 minutes, a user may begin to feel that he or she will be able to carry out more complex tasks on the iPhone in the future. He or she associates the interaction with the product with positive feelings of competence and self-confidence. In contrast, trying certain other smartphones (e. g. by Nokia) may result in feelings of shame and incompetence, because the user may have been unable to master the phones handling. The user will probably avoid the cause of these feelings (the interaction with the phone) in the future. • Stimulation – The feeling of enjoyment, pleasure and stimulation, i.e. to have fun and to experience novel things that encourage to try out and find out more. – E.g. in past usability experiments, users would effortlessly accomplish a given task (e. g. connecting to a WiFi-router) on a Samsung Galaxy S smartphone. However, the interaction would not cause further reactions. Whereas, after performing the same task on an iPad, users would make comments like "I really enjoyed that!" and "Thats interesting, can I try this/tap here?". • Identity – The feeling of belongingness and affiliation, while at the same being special and having a unique personality. I.e. feeling affiliated to a group of people one likes and respects (and who return these feelings), as well as being seen and highly regarded as an individual. – E.g. a new drill may not only be a tool, but may also make its new owner feel part of the craftsman- or DIY- (do it yourself) community (affiliation). Also, after trying several models, the new owner may feel that the new tool is right up his street (expression of unique identity). Furthermore, other people may start to seek advice on DIY-issues from the new owner, since he obviously uses professional tools (standing in high regard). This line of thought seems especially plausible when used with regard to e. g. the purchase of a Porsche. Vgl. Hassenzahl, M., Diefenbach, S., & Göritz, A. (2010). Needs, affect, and interactive products – Facets of user experience. Interacting with Computers, 22(5), 353-362. 13
  14. 14. 25.05.2011 Workshop „UX Messung“ UX-Modelle GfK / SirValUse: UX Profile Identity Competence Stimulation Critical area Product X Aesthetics Task- oriented qualities 14
  15. 15. 25.05.2011 Workshop „UX Messung“ UX-Messinstrument: Ideales Tool / Ideales Setting » Messung der „subjektiven“ UX über validierten User-Fragebogen » Verschiedene methodische Settings » Online ohne Produktnutzung » Im Lab nach offener Produktnutzung » Im Lab nach aufgaben-basierter Produktnutzung (Prototypen) » Entwicklung von „Offset“-Werten für die Settings » Messung der „objektiven“ Usability über Experten-Fragebogen » Angelehnt an ISO 9241-110 » 10 Usability-Experten bewerten das Produkt » Allgemein » Für beide Ansätze Aufbau einer Benchmark-Datenbank zur Anwendung in verschiedenen „Bereichen“ (international, Produktentwicklungsphasen, Produktklassen, Abfrage-Settings, …) 15