12. Graz 25.09.2019David Prott
Motivation / Hintergrund
12
Problem
• Große Datenmengen in Form von Textantworten notwendig
• Zielgenauere Analysen und Auswertungen, Statistiken und
Verbesserungsvorschläge
• Mehr Feedbacks mit Textanworten
• Vollständigere Fragebögen
• Lösung: Gamification?
13. Graz 25.09.2019David Prott
Vorgehensweise / Medothik
13
Datenerhebung durch Literaturrecherche und Analyse
• Analyse des bestehenden TeLLers-Fragebogentools und Findung von
ähnlichen Systemen.
• Findung von Anreizen zur Aktivierung von bestimmten Tätigkeiten. Analyse
von bestimmten Spielen wie Candy-Crush oder Plattformen wie Google-
Bewertungen und Tripadvisor
• Findung von Spielelementen für die Gamifizierung:
– Sammlung von ausgewählten Spielelementen (Bücher: For the win bzw. actionable gamification)
– Analyse der Spielelemente anhand deren Wirkung und Eigenschaften über Literaturrecherche
14. Graz 25.09.2019David Prott
Vorgehensweise / Medothik
14
Konzepterstellung eines gamifizierten Fragebogens
• Erstellen eines narrativen Hintergrunds
• Definieren der einzusetzenden Spielelemente
• Definieren der Grafiken und der visuellen Darstellung des gamifizierten
Systems gemeinsam mit einem Grafiker
• Einbetten der einzelnen Spielelemente und der Grafiken in das TeLLers-
System in Form eines Mockups
• Implementieren der Spielelemente und der Grafiken im bestehenden
TeLLers-System
15. Graz 25.09.2019David Prott
Vorgehensweise / Medothik
15
Empirische Untersuchung und Auswertung
• Einsatz des klassischen und des gamifizierten Fragebogens
• Live-Betrieb - Unternehmen Dean & David
• Aufruf des klassischen und des gamifizierten Fragebogens durch
Zufallsprinzip
• Auswerten der Ergebnisse
• Vergleichen der Ergebnisse zwischen klassischen und gamifizierten
Fragebogen
16. Graz 25.09.2019David Prott
Hypothese
16
• Hypothese 1: Wenn der bestehende TeLLers-Fragebogen mit
spielerischen Elementen erweitert wird, steigt das Engagement
der NutzerInnen.
• Hypothese 2: Wenn der bestehende TeLLers-Fragebogen mit
spielerischen Elementen erweitert wird, bleibt die
Kundenzufriedenheit gleich.
17. Graz 25.09.2019David Prott
Forschungsfragen
17
• Forschungsfrage 1: Um wie viel steigt im Median die Bearbeitungszeit
beim gamifizierten Fragebogen im Vergleich zum klassischen Fragebogen?
• Forschungsfrage 2: Wie verändert sich die Rücklaufquote durch den
Einsatz eines gamifizierten Fragebogens im Vergleich zum klassischen
Fragebogen?
• Forschungsfrage 3: Um wie viel steigt der Median der Anzahl an
Zeichen in Textantworten im gamifizierten Fragebogen im Vergleich zum
klassischen Fragebogen?
• Forschungsfrage 4: Um wie viel sinkt die Abbruchrate beim gamifizierten
Fragebogen im Vergleich zum klassischen Fragebogen?
• Forschungsfrage 5: Welcher Unterschied besteht bei der
Kundenzufriedenheit bei der Beantwortung des gamifizierten Fragebogens
im Vergleich zum klassischen Fragebogen?
18. Graz 25.09.2019David Prott
Gamification - Definition
18
• Gemäß Deterding, et al. (2011) wird der Begriff Gamification
als „the use of game design elements in non-game contexts“
• Gemäß Werbach, et al. (2012) wird der Begriff Gamification
als „the use of game elements and game-design techniques
in non-game contexts“
• Gemäß Kapp (2012): „Using game-based mechanics,
aesthetics and game thinking to engage people, motivate
action, promote learning and solve problems“
• Zichermann und Cunningham (2011) definieren Gamification
als „process of game thinking and game mechanics to
engage users and solve problems“.
• Sailer (2016) definiert Gamification als „process of making
activities in non-game contexts more game-like by using
design elements”.
19. Graz 25.09.2019David Prott
Gamification - Abgrenzung
19
• Serious games: Spiele mit ernsthaften Zweck. Nicht die
Unterhaltung steht im Vordergrund, sondern die Vermittlung
von wesentlichen Informationen
• Pervasive game: Ein Spielgenre, welches systematisch die
traditionellen Spielgrenzen aufbricht und verschwimmen
lässt. Lokal-basierte Games in der Öffentlichkeit mit digitalen
Geräten.
• Advergame: Spiel, welches auf bestimmte Art und Weise ein
Produkt, einen Dienst oder das Unternehmen selbst
beinhaltet.
• Unterscheidung nicht immer leicht:
Stichwort Foursquare
20. Graz 25.09.2019David Prott
Gamification - Praxisbeispiele
20
Volkswagen – piano stairs
The fun theory - The Wolrd's Deepest Bin
Nike - Badges in Form von Trophäen
The fun theory - The Wolrd's Deepest Bin
21. Graz 25.09.2019David Prott
Gamification
21
Spieldesignelemente und Darstellungsmöglichkeiten
• MDA Rahmenmodell (Hunicke, et al. 2014): Zum besseren Verständnis von
Spielen, sowie zur Formalisierung von Spieldesignelementen. Mechanik,
Dynamik und Ästhetik. Betrachtung von Spieldesignelementen aus zwei
Blickwinkeln (1).
• Hierarchie von Spielelementen - Werbach, et al. (2012): Drei Kategorien
(Dynamiken, Mechaniken und Komponenten) zur Organisation von
Spieldesignelementen (2).
• Octalysis framework - Chou (2015): Beschreiben von menschlichen
Kernantriebe, sowie Spieldesignelmente und wie diese wirken (3)
(1)
(2) (3)
22. Graz 25.09.2019David Prott
Gamification
22
Octalysis framework - Chou (2015):
Octalysis framework - Kernantriebe
Points
Badges
Progress bar
Narrative
Elitism
Instant Feedback
Milestone Unlock
Real-Time Control
Social Invite/Friending
Soical Treasure/Gifting
Mentorship
Glowing Choice
Easter Eggs
Random Rewards
Progress Loss
Fixed Intervals
Prize Pacing
Virtual Goods
Avatar
29. Graz 25.09.2019David Prott
Gamification
29
Einbettung der Spieldesignelemente: Punkte & Fortschrittsbalken
Punkte
FortschrittsbalkenKlassischer Fragebogen
Frage zum Servicepersonal
Gamifizierter Fragebogen
Frage zum Servicepersonal
37. Graz 25.09.2019David Prott
Empirische Untersuchung
37
Technische Details
• Web-App
• Open-Source-Programme und Bibliotheken
• Frontend-Webentwicklung: Angular basierend auf Typescript
• Backendentwicklung: Django Webframework basierend auf
Python
• Datenbankmangementsystem: MariaDB basierend auf MySQL
• CSS3: Für Animationen
38. Graz 25.09.2019David Prott
Empirische Untersuchung
38
Messung der Stichprobe
• Zeitraum zwischen 01.06.2019 – 21.07.2019
• 150 TeilnehmerInnen
• Live-Betrieb im Dean & David
• Aufruf des Fragebogens über die KUBO-App
• Erweiterung des Fragebogens um drei Fragen zur
Vergleichbarkeit der zwei unterschiedlichen
Fragebogenversionen
• Bewertung des Fragebogentools, Elemente des Fragebogens und
Verbesserungsvorschläge zum Fragebogen
40. Graz 25.09.2019David Prott
Empirische Untersuchung
40
Forschungsfrage 1: Um wie viel steigt der Median der
Bearbeitungszeit beim gamifizierten Fragebogen im Vergleich zum
klassischen Fragebogen?
Fragebogentyp Durchschnitt Median Min Max
Klassisch 00:01:04 00:00:40 00:00:10 00:19:31
Gamifiziert 00:03:25 00:01:26 00:00:15 00:48:02
Auswertung des klassischen und des gamifizierten Fragebogens hinsichtlich der Zeitwerte
Antwort: Die Bearbeitungszeit hat sich im Median um 46 Sekunden
erhöht verglichen mit dem klassischen Fragebogen
41. Graz 25.09.2019David Prott
Empirische Untersuchung
41
Forschungsfrage 2: Wie verändert sich die Rücklaufquote durch den
Einsatz eines gamifizierten Fragebogens im Vergleich zum klassischen
Fragebogen?
Auswertung der Rücklaufquote für den klassischen und den gamifizierten Fragebogen
Antwort: Die Rücklaufquote hat sich im Vergleich zum klassischen
Fragebogen mit 5,27 % Prozentpunkten auf 14,22 Prozentpunkten
verringert
Fragebogentyp
Rücklaufquote
abgebrochene und
abgeschlossene
Feedbacks
Rücklaufquote mit
abgeschlossenen
Feedbacks
Rücklaufquote
(1x Rechnung und
1x Feedback von
gleichen
NutzerInnen)
Rücklaufquote mit
Feedbacks
hochskaliert auf
Rechnungszahl
Klassisch 21,01% 19,49% 27,46% 27,34%
Gamifiziert 14,89% 14,22% 28,09% 20,22%
42. Graz 25.09.2019David Prott
Empirische Untersuchung
42
Forschungsfrage 3: Um wie viel steigt der Median der Anzahl von
Zeichen in Textantworten im gamifizierten Fragebogen im Vergleich
zum klassischen Fragebogen?
Auswertungsergebnisse von Textantworten beim klassischen und gamifizierten Fragebogen
Antwort: Der Median der Anzahl an Zeichen in Textantworten im
gamifizierten Fragebogen stieg im Vergleich zum klassischen
Fragebogen von neun auf 25 Zeichen.
Fragebogen-
typ
Anzahl von
Feedbacks
Anzahl an
Textantworten
Textantwort-
quote
Durchschnitt
an verwendeten
Zeichen
Median an
verwendeten
Zeichen
Max Min
Klassisch 77 39 57,53% 15,23 9 89 1
Gamifiziert 64 35 54,69% 44,53 25 629 2
43. Graz 25.09.2019David Prott
Empirische Untersuchung
43
Auszug an Textantworten
Textantworten aus dem gamifizierten
Fragebogen
Textantworten aus dem klassischen
Fragebogen
Tofu wiedereinführen Günstiger
Manchmal werden Kleinigkeiten vergessen.
Doppelter check bei der Übergabe wäre gut.
Größere Portionen
So weiterführen wie es ist! Nichts
Die Portionen etwas größer machen. Weiß nicht
Viel obst Hz
Alle Zutaten zum Salat geben was auch auf
der Liste steht!
Hg
Mehr magische Pinsel. Gerösste nüsse und
Kerne in allen Salaten. Mehr urbane Drinks.
Nix
Auszug an Textantworten aus dem klassischen Fragebogen und dem gamifizierten
Fragebogen
44. Graz 25.09.2019David Prott
Empirische Untersuchung
44
Forschungsfrage 4: Um wie viel sinkt die Abbruchrate beim
gamifizierten Fragebogen im Vergleich zum klassischen Fragebogen?
Verteilung der Abschlüsse und der Abbrüche klassischer Fragebogen
Antwort: Die Abbruchrate ist beim gamifizierten Fragebogen um drei
Prozentpunkte geringer als beim klassischen Fragebogen.
Häufigkeit Prozent
Gültig Abschluss 77 93%
Abbruch 6 7%
Gesamt 83 100%
Häufigkeit Prozent
Gültig Abschluss 64 96%
Abbruch 3 4%
Gesamt 67 100%
Verteilung der Abschlüsse und der Abbrüche gamifizierter Fragebogen
45. Graz 25.09.2019David Prott
Empirische Untersuchung
45
Forschungsfrage 5: Welcher Unterschied besteht bei der
Kundenzufriedenheit bei der Beantwortung des gamifizierten
Fragebogens im Vergleich zum klassischen Fragebogen?
Antwort: Hinsichtlich der Kundenzufriedenheit und der Bewertung des
Fragebogentools gibt es keinen Unterschied im Vergleich zwischen den
klassischen und gamifizierten Fragebogen.
Kundenzufriedenheit
Bewertung des
Fragebogentools
Klassischer Fragebogen 4.4 4.1
Gamifizierter Fragebogen 4.4 4.1
Verteilung der Abschlüsse und der Abbrüche gamifizierter Fragebogen
46. Graz 25.09.2019David Prott
Empirische Untersuchung
46
Elemente im Fragebogen #Anzahl an Nennungen Prozentanteil
Benutzerfreundlichkeit 22 38%
Die Einfachheit 33 57%
Das Design 9 16%
Die Schnelligkeit 15 26%
Eigene Antwort 0 0%
Elemente im Fragebogen #Anzahl an Nennungen Prozentanteil
Avatare/Charaktere 15 31%
Die Geschichte 8 16%
Das Design 28 57%
Die Animationen 15 31%
Die Benutzerfreundlichkeit 22 45%
Eigene Antwort 1 2%
Frage mit Mehrfachauswahl zum Thema Elemente im klassischen Fragebogen
Frage mit Mehrfachauswahl zum Thema Elemente im gamifizierten Fragebogen
47. Graz 25.09.2019David Prott
Empirische Untersuchung
47
Kernaussagen mit der Anzahl an Nennungen im klassischen Fragebogen
Kernaussagen mit der Anzahl an Nennungen im gamifizierten Fragebogen
Textantwort Anzahl der Nennungen
Keine Verbesserungen notwendig 8
Fragebogen zu lange 3
QR-Code-Scanner funktioniert nicht 1
Textantwort Anzahl der Nennungen
Das Design 11
Animationen 3
Fragebogen passt 3
Anzeige von Textfeldern 2
48. Graz 25.09.2019David Prott
Empirische Untersuchung
48
• Hypothese 1: Wenn der bestehende TeLLers-Fragebogen mit
spielerischen Elementen erweitert wird, steigt das Engagement
der NutzerInnen.
Antwort: Bei der durchgeführten Untersuchung hat sich gezeigt, dass der Einsatz
von Spielelementen in Fragebögen vor allem bei offenen Fragen zu keiner
Verschlechterung des Engagements von NutzerInnen führte.
• Hypothese 2: Wenn der bestehende TeLLers-Fragebogen mit
spielerischen Elementen erweitert wird, bleibt die
Kundenzufriedenheit gleich.
Antwort: Der Einsatz von Spielelementen in Fragebögen hatte keinen negativen
Einfluss auf die Kundenzufriedenheit.
49. Graz 25.09.2019David Prott
Zusammenfassung / Ausblick
49
• Geringe Anzahl von TeilnehmerInnen
• Tendenziell präzisere und längere Antworten im gamifizierten
Fragebogen
• Tendenziell längere Bearbeitungszeit
• Vollständigere Feedbacks beim gamifizierten Fragebogen
• TeilnehmerInnen bevorzugten eher das Design des gamifizierten
Fragebogens
• Feststellen, welche Spieldesignelemente konkret Einfluss hatten
• Thinking Aloud Test
50. Graz 25.09.2019David Prott
Referenzen
50
• Deterding, Sebastian, et al. (2011). From game design elements to
gamefulness: defining gamification. In Proceedings of the 15th international
academic MindTrek conference: Envisioning future media environments (pp.
9-15). ACM. New York : ACM, 2011.
• Werbach, Kevin und Hunter, Dan. 2012. For the Win: How Game Thinking
Can Revolutionize Your Business. Philadelphia : Wharton Digital Press,
2012.
• Kapp, Karl M. 2012. The Gamification of Learning and Instruction: Game-
based Methods and Strategies for Training and Education. San Francisco :
Wiley, 2012. ISBN 1118096347.
• Sailer, Michael. 2016. Die Wirkung von Gamification auf Motivation und
Leistung. München : Springer, 2016.
• ITELL.SOLUTIONS GmbH. 2018. TeLLers-Dashboard. ITELL.SOLUTIONS.
[Online] 10. Oktober 2018. [Zitat vom: 15. Mai 2019.]
https://dashboard.itell.solutions/backend/tellers/survey-list.
51. Graz 25.09.2019David Prott
Referenzen
51
• Hunicke, Robin, LeBlanc, Marc und Zubek, Robert. 2004. MDA: A formal
approach to game design and game research. In: Proceedings of the AAAI
Workshop on Challenges in Game AI. . 2004.
• Chou, Yu-Kai. 2015. Actionable Gamification. Beyond Points, Badges, and
Leaderboards. Fremont : Octalysis Media, 2015. ISBN 978-1511744041.
• Kapp, Karl M. 2012. The Gamification of Learning and Instruction: Game-
based Methods and Strategies for Training and Education. San Francisco :
Wiley, 2012. ISBN 1118096347.
• Sailer, Michael. 2016. Die Wirkung von Gamification auf Motivation und
Leistung. München : Springer, 2016.
• ITELL.SOLUTIONS GmbH. 2018. TeLLers-Dashboard. ITELL.SOLUTIONS.
[Online] 10. Oktober 2018. [Zitat vom: 15. Mai 2019.]
https://dashboard.itell.solutions/backend/tellers/survey-list.
• https://king.com/de/game/candycrush
• Volkswagen (2009): The Fun Theory 1 – an initiative of Volkswagen: Piano
Staircase. https://www.youtube.com/watch?v=SByymar3bds
53. Graz 25.09.2019David Prott
Kennzahlen/Info – TeLLers-System
53
• Beantwortung offene Fragen zu 43%
• Im Durchschnitt verwendete Zeichen 16
• Abbruchrate im Schnitt 16%
• Rücklaufquote bei 36%
• Individualgastronomie: Persönlichkeit des Betreibers steht im
Vordergrund
• Systemgastronomie: Vereinheitlichung und Standardisierung
mehrerer Betriebe
54. Graz 25.09.2019David Prott
C/D-Paradigma
54
• Ermittlung von Kundenzufriedenheit bzw. Kundenunzufriedenheit
• Vergleich zwischen Ist-Leistung und Erwarteter-Leistung
• Je nach Kundschaft ist das Verhältnis zwischen Wahrnehmung
und Erwartung unterschiedlich
C/D-Paradigma
57. Graz 25.09.2019David Prott 57
Es ist mir eine Freude euch hier wieder zu erblicken. Ich bin es wieder, Arthur, das „Kleine
Feedback“. Mit meinem magischen Schwert habe ich mit deiner Hilfe die Plattformen
zerschlagen und die Welt zu einem konstruktiven Ort gemacht. Du hast dich tapfer
geschlagen und uns in der Schlacht große Dienste erwiesen. So sei es mir eine Ehre, Euch,
unserem König vorzustellen, damit euch dieser zum Ritter schlage. Werdet Teil unserer
Tafelrunde und lasset uns gemeinsam ein Fest feiern zu euer Ehren.
Hi du *zwinker*, ich bin Lusy. Ich nehm dich mit auf eine Reise voller Abenteuer durch den
Feedbackjungle. Wir werden mit meinem Flugzeug hoch in die Lüfte empor fliegen, gegen
wilde Plattformen kämpfen, gefährliche Feedbacks zähmen und mit unseren Freunden
unserem König den Weg frei machen zu Mr. Annonymus, der ihm seine Weisheiten
offenbaren wird, damit er das Königreich zu einem besseren Ort macht. Hast du Lust mir
dabei zu helfen Schätzchen?
Bonjour, isch bin Jacque. Für misch wird jedes leere Feedback zur Leinwand, die mit meine
magische Pinsel befüllt werden muss. Gemeinsam mit meine Freunde helfe isch dem König
in der Feedback Schlacht. Isch bin ein magischer Künstler und helfe dir dabei kreative
Antworten zu geben. Lass uns gemeinsam die Pinsel schwingen, qui?
Hahahah ich bin die Hexe Fidenix. Ich helfe dem König alle in Kröten zu verwandeln, die
nicht Feedbacken wollen. Ich fliege mit meinem Zauberbesen über das Königreich und
suche die leeren Feedbacks um sie zu verzaubern. Nur wer viel schreibt schafft es gegen
mich anzukommen hexhex. Also sei ruhig faul, dann quackst du bald durch das Land mein
kleiner Freund hahahha
Arthur Das Kleine
Feedback
Lusy – Die
Abenteuerlustige
Jacque - Der Spieler
Fidenix - Die Hexe
58. Graz 25.09.2019David Prott 58
Das Fellas-Bronze-Abzeichen wird vergeben, wenn ein Gast mindestens zehn Feedbacks
beim König Dean & David hinterlassen hat.
Das Fellas-Silber-Abzeichen vergeben, wenn ein Gast mindestens 50 Feedbacks beim
König Dean & David hinterlassen hat.
Das Abzeichen Geschichtenerzähler wird vergeben, wenn ein Gast die:
Angenommen, du führst unser Lokal für einen Tag, was würdest du verändern / verbessern
(z.B. Salatzutaten, Gerichte, etc.)?
Mit mindestens 300 Zeichen beantwortet hat.
Das Abzeichen Vollständigkeit wird vergeben, wenn der Gast alle Fragen im Fragebogen
erfolgreich beantwortet hat.
Abzeichen - Fella
Bronze
Abzeichen - Fella
Silber
Abzeichen -
Geschichtenerzähler
Abzeichen -
Vollständigkeit
59. Graz 25.09.2019David Prott 59
Der Status der Frage ist undefiniert. Dieses Symbol wird dann angezeigt, wenn die Frage
noch nicht besucht wurde.
Die Frage wurde angezeigt, allerdings nicht beantwortet. Zusätzlich wird ein X als Symbol
verwendet. Die Farbe Rot signalisiert, dass die Frage nicht beantwortet wurde.
Die Frage wurde angezeigt und es wurde eine Antwort ausgewählt. Der Kreis färbt sich
somit grün und es wird ein Häkchen angezeigt.
Dieses Symbol erscheint nur bei den Fragen zu den Kontaktdaten und zum
Alter/Geschlecht. Da Anonymität wichtig ist, wird hier auf ein rotes X verzichtet, um kein
unbefriedigendes Gefühl bei den BenutzerInnen zu erzeugen, wenn die Frage
unbeantwortet bleibt. Die Angabe von Alter, Geschlecht und Kontaktdaten sind freiwillig und
sollen nicht erzwungen werden.
Frage ist weder beantwortet
noch unbeantwortet
Frage ist
unbeantwortet
Frage wurde
beantwortet
Kontakten oder
Alter/Geschlecht ist
unbeantwortet
60. Graz 25.09.2019David Prott
User: Max Kore
Date: 15.11.2018
Review:
„Gutes Essen, aber
die Kellnerin ist
unfreundlich.“
Auswertungs
-
Pipeline
pre-
processing
topic
modeling
aspect
extraction
AI-
evaluation
DB DB
Aspekt: „Essen“
Bewertung: „gut“
Sentiment: positiv
Aspekt: „Kellnerin“
Bewertung: „unfreundlich“
Sentiment: negativ
Struktur
61. Graz 25.09.2019David Prott
Review:
„Gutes Schnitzel,
aber die Kellnerin
ist unfruendlich.“
„Gutes Schnitzel,
aber die Kellnerin
ist unfreundlich.“
„gut“, „Schnitzel“,
„aber“, „Kellnerin“,
„ist“, „unfreundlich“
„gut“, „Essen“,
„aber“, „Bedienung“,
„ist“, „unfreundlich“
Aspekt: „Essen“
Bewertung: „gut“
Sentiment: positiv
Aspekt: „Bedienung“
Bewertung: „unfreundlich“
Sentiment: negativ
Rechtschreibkorrek
tur
Token, Lemma, POS-
tagging
topic-modeling aspect extraction
62. Graz 25.09.2019David Prott
BenutzerID Antwort Frage 7 – klassisch Antwort Frage 7 – gamifiziert
d704-afb4 3 5
6d3c-cf3b 3 1
5fcd-050d 5 4
ece9-e207 3 4
7859-48da 4 5
1bbc-dba1 5 5
Anzahl an Nennungen 6 6
Summe der Ratingwerte 23 24
Durchschnittsrating 3,8 4
Rating Median 3,5 4,5
62
Abzeichentyp Anzahl an Freischaltungen
Perfektionist 8
Fella Bronze 1
Story-Teller 1
Antwortverhalten beim klassischen und gamifizierten Fragebogen vom selben Benutzer
bzw. von der selben Benutzerin
Abzeichen plus Anzahl an Freischaltungen