Das Thema: KPIs vs. UX. Man könnte auch sagen alte Welt trifft auf neue Welt. User Experience (UX) ist– zumindest in der Wahrnehmung – noch eine junge Disziplin. UX ist als Begriff mittlerweile natürlich etabliert, trotzdem existiert bei vielen Unternehmen noch eine große Unsicherheit gegenüber Tätigkeiten die im Sinne einer Nutzerzentrierung empfohlen und durchgeführt werden. Es stellt sich die Frage nach der Messbarkeit der Wirksamkeit der UX Methoden durch tradierte Messwerkzeuge wie KPIs.
Autor: Matthias Feit - die firma . experience design GmbH
Webthinking "Digitale Strategien" - Präsentation von Marco Fischer von Die Fi...
KPIs vs. UX - Ist User Experience messbar?
1. KPIs vs. UX
Ist User Experience messbar?
die firma . experience design / Matthias Feit
2. „Mit dem engl. Begriff key performance
indicators (KPI) werden in der
Betriebswirtschaftslehre allgemeine
Kennzahlen bezeichnet, die sich auf den
Erfolg, die Leistung oder Auslastung des
Betriebs, seiner einzelnen organisatorischen
Einheiten oder einer Maschine beziehen“
http://wirtschaftslexikon.gabler.de/Definition/key-performance-indicator-kpi.html
6. „User experience
encompasses all aspects of
the end-user's interaction
with the company, its
services, and its products.“
– Don Norman, Jakob Nielsen
https://www.nngroup.com/articles/definition-user-experience/
13. Elemente des UX Strategy Blueprints
• Challenges (welche Probleme müssen wir lösen)
• Aspirations (welches Ergebnis streben wir an)
• Focus Areas (welche Kunden/Märkte/Kanäle sind im Fokus)
• Guiding Principles (auf welche Prinzipen achten wir)
• Activities (welche Tätigkeiten fallen voraussichtlich an)
• Measurements (wie messen wir den Erfolg unserer Maßnahmen)
15. Klassische KPIs der Versicherungsbranche
. Revenue per Policyholder
. Average cost per claim
. Average time to settle a claim
. Return on surplus
. Loss ratio
. Frequency
. Severity
. Average policy size
. …
Quelle: https://guidingmetrics.com/content/insurance-industrys-18-most-critical-metrics/
19. Einige der wichtigsten (quantitativen) UX Metriken
Statistische Auswertungen
• Task Success Rate
• Time on Task
• Verwendung der Suche vs. Navigation
• Error (Occurence) Rate
Umfrage
• System Usability Scale (SUS)
20. Task Success Rate (Task Completion Rate)
• Prozentueller Anteil erfolgreich abgeschlossener
Aufgaben durch den Nutzer
• Nur möglich wenn es ein klares Ziel oder Endpunkt gibt
(z.B. Schadensmeldung, Einrichten eines Accounts)
Anzahl erfolgreich abgeschlossener Aufgaben
Anzahl Versuche (gesamt)
21. Time On Task
• Wie lange benötigt einer Nutzer – in Minuten und
Sekunden ausgedrückt – um eine Aufgabe zu erledigen
• Üblicherweise betrachtet man den durchschnittlichen
Wert (z.B. Neukundenregistrierung 2:45 Min)
• Nützlich um Verbesserungen zwischen
Versionen/Iterationen zu bewerten
22. Suche vs. Navigation
• Bewertungskriterium für die Effektivität der
Informationsarchitektur bzw. Navigation
Anzahl erfolgreich abgeschlossener Aufgaben durch
Verwendung der Suche (Navigation)
Anzahl abgeschlossener Aufgaben (gesamt)
23. User Error Rate
• Guter Indikator im Hinblick auf die generelle
Verwendbarkeit eines Systems
• Hilfreich beim Auffinden versteckter Usability Issues
• Unterschiedliche Varianten möglich z.B. Error Occurrence
Rate (s. Beispiel unten)
Anzahl aufgetretener Fehler für alle Nutzer (gesamt)
Anzahl möglicher Fehler für alle Nutzer (gesamt)
24. Error Occurrence Rate (Beispiel)
• Fünf Benutzer haben eine Kreditkartenzahlung
durchgeführt. Es gibt sieben Stellen im Prozess an
denen bei der Eingabe Fehler gemacht werden können.
• Folgende Fehler wurden pro User verursacht: 2,4,1,2, und
3
• Die durchschnittliche Error Occurence Rate berechnet
sich folgendermaßen:
(2+4+1+2+3) / 7 * 5 = 0.34 à 34%
25. System Usability Scale (SUS)
• Keine Auswertung statistischer Nutzungsdaten sondern
Nutzer-Umfrage
• Etabliertes Werkzeug um die Verwendbarkeit und
Nützlichkeit eines Systems durch Nutzer bewerten zu
lassen
• Zehn Statements zu denen die Zustimmungswerte der
Nutzer erfasst werden (0–4 Punkte)
• Der maximale Score liegt bei 100 (Summe * 2,5)
26. • Ich kann mir sehr gut vorstellen, das System regelmäßig zu nutzen.
• Ich empfinde das System als unnötig komplex.
• Ich empfinde das System als einfach zu nutzen.
• Ich denke, dass ich technischen Support brauchen würde, um das System zu nutzen.
• Ich finde, dass die verschiedenen Funktionen des Systems gut integriert sind.
• Ich finde, dass es im System zu viele Inkonsistenzen gibt.
• Ich kann mir vorstellen, dass die meisten Leute das System schnell zu beherrschen lernen.
• Ich empfinde die Bedienung als sehr umständlich.
• Ich habe mich bei der Nutzung des Systems sehr sicher gefühlt.
• Ich musste eine Menge Dinge lernen, bevor ich mit dem System arbeiten konnte.
34. Zusammenfassung
• Gute UX schafft durch Verständigung zwischen
Nutzerbedürfnissen und Unternehmenszielen einen
Mehrwert für beide Seiten
• Um mittels UX Unternehmensziele befördern zu können
brauchen wir klare strategische Vorgaben und eine
genaue Vorstellung, was Erfolg für uns bedeutet
35. Zusammenfassung (2)
• Mit KPIs messen wir die betriebswirtschaftliche
Performance eines Unternehmens
• Mit UX Metriken messen wir die Performance von
Interaktionen (Usability)
• Statistische Auswertungen alleine reichen nicht aus
• Umfragen (z.B. SUS), Customer Lifecycles, User
Interviews vervollständigen das Bild im Hinblick auf
Kundenbedürfnisse
36. Ein Rat zum Schluss
Bevor wir mit
Verbesserungen
starten...
41. Diese Ausarbeitung beinhaltet geistiges Eigentum von Die Firma GmbH und ist ausschließlich für
Präsentationszwecke bestimmt. Soweit die Ausarbeitung nicht durch eine vertragliche Vereinbarung in das
Eigentum des Kunden übergeht, kann jede Verwendung von Teilen der Konzeption, Design und der
zugrundeliegenden Ideen nur mit schriftlichem Einverständnis von Die Firma erfolgen. Eine Nutzung ohne
Vereinbarung bzw. Einverständnis ist nicht zulässig
(vgl. geltendes Urheber- und Nutzungsrecht) ebenso wie eine Weitergabe dieses Dokumentes an Dritte
(sowohl als Gesamtdokument wie auch in Auszügen).
Diese Ausarbeitung beinhaltet geistiges Eigentum von Die Firma GmbH und ist ausschließlich für
Präsentationszwecke bestimmt. Soweit die Ausarbeitung nicht durch eine vertragliche Vereinbarung in das
Eigentum des Kunden übergeht, kann jede Verwendung von Teilen der Konzeption, Design und der
zugrundeliegenden Ideen nur mit schriftlichem Einverständnis von Die Firma erfolgen. Eine Nutzung ohne
Vereinbarung bzw. Einverständnis ist nicht zulässig (vgl. geltendes Urheber- und Nutzungsrecht) ebenso wie
eine Weitergabe dieses Dokumentes an Dritte (sowohl als Gesamtdokument wie auch in Auszügen).
Schwalbacher Straße 78
D-65183 Wiesbaden
Tel +49 611 2385010
www.diefirma.de
@matthiasfeit
0611-2385012
m.feit@diefirma.de
Matthias Feit
Kontakt