Kompetenz messen, Wissen überprüfen, Erfolg evaluieren.
•Als PPTX, PDF herunterladen•
0 gefällt mir•2,317 views
Die Überprüfung des Erfolgs gehört auch bei digitalen Weiterbildungs- oder Personalentwicklungsmaßnahmen mittlerweile zum Standard. Oft hängen Entscheidungen über die Weiterführung einer Maßnahme von der Evaluation ab, oder die Ergebnisse können zur Weiterentwicklung genutzt werden. Damit Sie Ergebnisse interpretieren können und daraus gültige Aussagen über Zufriedenheit, Lernerfolg oder erworbenen Handlungskompetenzen ableiten können, müssen einige Grundregeln beachtet werden. In diesem Workshop lernen Sie, • worauf es bei einer Evaluation ankommt, • welche Möglichkeiten es gibt, Zufriedenheit, Lernerfolg und erworbene Kompetenzen zu messen, • welche typischen Fehler bei der Formulierung von Fragen es gibt, • welche methodischen Schwierigkeiten auftreten können, • was bei der computerbasierten Testung zu beachten ist, und was bei der Interpretation der Ergebnisse berücksichtigt werden muss
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Ähnlich wie Kompetenz messen, Wissen überprüfen, Erfolg evaluieren.
Ähnlich wie Kompetenz messen, Wissen überprüfen, Erfolg evaluieren. (20)
Mehr von Johannes Moskaliuk
Mehr von Johannes Moskaliuk (20)
Kürzlich hochgeladen
Kürzlich hochgeladen (7)
Kompetenz messen, Wissen überprüfen, Erfolg evaluieren.
- 1. Kompetenz messen, Wissen überprüfen, Erfolg evaluieren. PROF. DR. JOHANNES MOSKALIUK 24.01.2017 | LEARNTEC KONGRESS | KARLSRUHE WORKSHOP 1 Johannes Moskaliuk | Workshop Evaluation
- 2. In diesem Workshop lernen Sie ... worauf es bei einer Evaluation ankommt, welche Möglichkeiten es gibt, Zufriedenheit, Lernerfolg und erworbene Kompetenzen zu messen, welche typischen Fehler bei der Formulierung von Fragen es gibt, welche methodischen Schwierigkeiten auftreten können, was bei der computerbasierten Testung zu beachten ist, und was bei der Interpretation der Ergebnisse berücksichtigt werden muss. 2 Johannes Moskaliuk | Workshop Evaluation
- 3. Inhalt Was ist eine Evaluation? Messmethoden Aufgabenformate Was ist eine gute Beurteilungsaufgabe? Formulierung von Items Fehlerquellen bei der Messung Testarten Computerbasiertes Testen Einblick in die Praxis 3 Johannes Moskaliuk | Workshop Evaluation
- 4. Happy Sheet 5% 9% 21% 36% 29% Zufriedenheit der Teilnehmenden geht so in Ordnung hervorragend sehr hervorragend äußerst hervorragend Die Location für das Seminar war ... Der Trainer, die Trainerin war mir sympathisch. Das Seminar war anstrengend für mich. Ich möchte gerne mehr zu diesem Thema lernen. Das Seminar hat mit gut gefallen. Wichtige Fragen, aber ... Johannes Moskaliuk | Workshop Evaluation 4
- 5. Zu Beginn müssen deshalb die Ziele des Projekts definiert werden und dann die Frage geklärt werden, was in der Evaluation gemessen werden soll. ... viele Evaluationsprojekte scheitern*, weil zu Beginn nicht klar ist, was gemessen werden soll. *gemeint ist: Die Ergebnisse können nicht genutzt werden. 5 Johannes Moskaliuk | Workshop Evaluation
- 6. Ihre Beispiele aus der Praxis In welchem Ihrer aktuellen Projekte würde sich eine Evaluation anbieten? Was ist das zentrale Erfolgskriterium? Woran erkennen Sie, dass Ihr Projekt erfolgreich war. Wer hat Interesse an den Ergebnissen der Evaluation? Welche Konsequenzen haben die Ergebnisse der Evaluation für das Projekt? 6 Johannes Moskaliuk | Workshop Evaluation und Fragen
- 7. Was ist eine Evaluation? Welche Ziele und welche Erfolgskriterien werden verwendet? Wurde das intendierte Ziel erreicht? War eine Maßnahme wirksam? Haben die Teilnehmenden etwas gelernt? Soll Ist Bewertung der Ergebnisse von Projekten oder Prozessen summativ formativ Johannes Moskaliuk | Workshop Evaluation 7
- 8. Was sind die Kriterien für Erfolg? Kirkpatrick, 1959 Johannes Moskaliuk | Workshop Evaluation 8
- 9. Inhalt Was ist eine Evaluation? Messmethoden Aufgabenformate Was ist eine gute Beurteilungsaufgabe? Formulierung von Items Fehlerquellen bei der Messung Testarten Computerbasiertes Testen Einblick in die Praxis 9 Johannes Moskaliuk | Workshop Evaluation
- 10. Welche Methoden gibt es? Wissenstest ............................. Längsschnittstudie festgelegter Zielwert vorher / nachher Womit wird verglichen? vorhandene Kennwerte langfristig kurzfristig Johannes Moskaliuk | Workshop Evaluation 10
- 11. Welche Messmethoden gibt es? Ein Fragebogen ist nur eine von vielen Möglichkeiten! 11 Johannes Moskaliuk | Workshop Evaluation
- 12. Was ist eine gute Messung? Objektivität Validität Reliabilität Die Ergebnisse sind unabhängig von der durchführenden, auswertenden und interpretierenden Person. Der Test misst, was er messen soll. Der Test misst genau, d.h. mit geringem Messfehler. 12 Johannes Moskaliuk | Workshop Evaluation
- 13. Projektive Verfahren Rorschach - Test Thematischer Apperzeptionstest (TAT) OMT (Operanter Motiv-Test) Johannes Moskaliuk | Workshop Evaluation 13
- 14. Apparative Tests DrahtbiegeprobeWiener Testsystem Johannes Moskaliuk | Workshop Evaluation 14
- 15. Fragebogen | Befragungen papierbasiertcomputerbasiert Johannes Moskaliuk | Workshop Evaluation 15 online ©RaimondSpekkingviaWikimediaCommons
- 16. Inhalt Was ist eine Evaluation? Messmethoden Aufgabenformate Was ist eine gute Beurteilungsaufgabe? Formulierung von Items Fehlerquellen bei der Messung Testarten Computerbasiertes Testen Einblick in die Praxis 16 Johannes Moskaliuk | Workshop Evaluation
- 17. Aufgaben mit freiem Format Geben Sie so viele kreative Ideen wie möglich an, was man mit einer Garnrolle und einem Nagel machen könnte. _________________________________ Kurzsatzaufgaben Vorteile Nachteile Reproduktion von Wissen eigene Antwort mehr Aufwand für den Probanden zufällig richtige Antworten sind ausgeschlossen Mehr Aufwand für die Auswertung gut zur Erfassung von Motiven und Gründen Auswertungsobjektivität eingeschränkt bei projektiven Verfahren Sehr abhängig von sprachlicher Kompetenz des Probanden Johannes Moskaliuk | Workshop Evaluation 17
- 18. Aufgaben mit freiem Format Atheist verhält sich zu Religion wie Pazifist zu ____________ Specht und Ente sind ____________ Die Hauptstadt von Deutschland ist ____________ 2 4 8 16 ____________ Ergänzungsaufgaben Vorteile Nachteile Reproduktion von Wissen statt nur Wieder-erkennung meist nur Faktenwissen prüfbar zufällig richtige Antworten sind ausgeschlossen Abhängig von Lesefähigkeit und Intelligenz Wenn Auswerteschema: Objektivität hoch Mehr Zeitaufwand für Durchführung und Auswertung Johannes Moskaliuk | Workshop Evaluation 18
- 19. Aufgaben mit gebundenem Antwortformat Zuordnungsaufgaben Umordnungsaufgaben Johannes Moskaliuk | Workshop Evaluation 19
- 20. Aufgaben mit gebundenem Antwortformat ZuordnungsaufgabenUmordnungsaufgaben Vorteile Nachteile einfach, ökonomisch, objektiv Keine Reproduktion von Wissen Zufällig richtige Antwort im Prinzip ausgeschlossen Antwortalternativen nicht unabhängig. Freiheitsgrade sinken mit jeder richtigen Zuordnung Gut für Wissenstests / Kenntnistests geeignet Mehr Zeitaufwand für Durchführung und Auswertung Johannes Moskaliuk | Workshop Evaluation 20
- 21. Aufgaben mit gebundenem Antwortformat Auswahlaufgaben Johannes Moskaliuk | Workshop Evaluation 21
- 22. Aufgaben mit gebundenem Antwortformat Dichotome Aufgaben Vorteile Nachteile einfach, ökonomisch, objektiv Keine Reproduktion von Wissen Kurze Lösungszeit Hohe Ratewahrscheinlichkeit Angela Merkel ist ... ☐ Bundeskanzlerin der BRD. ☐ Ministerpräsidentin von Berlin. Ich würde gerne mehr über das Thema wissen. ☐ Stimmt. ☐ Stimmt nicht. Johannes Moskaliuk | Workshop Evaluation 22
- 23. Mehrfachwahl-Aufgaben Multiple-Choice Aufgaben eine vs. mehrere korrekte Antwortalternativen Vorteile Nachteile einfach, ökonomisch, objektiv Keine Reproduktion von Wissen Ratewahrscheinlichkeit verringert, da mehr Antwortalternativen Nicht immer sinnvoll, z.B. nicht für Kreativität Verzerrungen, wenn Distraktoren nicht gut gewählt oder Hinweis auf richtige Antwort enthalten Welche Personen sind Mitglied des aktuellen Bundeskabinetts? ☐ Angela Merkel ☐ Barack Obama ☐ Sigmar Gabriel ☐ Winfried Kretschmann Johannes Moskaliuk | Workshop Evaluation 23Aufgaben mit gebundenem Antwortformat
- 24. Ihre Beispiele aus der Praxis Formulieren Sie einige Beispielfragen (Items), die Sie in Ihrem Evaluationsprojekt einsetzen möchten. Machen Sie sich Notizen! Diskutieren Sie: Welche Problem könnten sich bei der Frage ergeben? Welche Lösungsmöglichkeiten sehen Sie? 24 Johannes Moskaliuk | Workshop Evaluation und Fragen
- 25. Inhalt Was ist eine Evaluation? Messmethoden Aufgabenformate Was ist eine gute Beurteilungsaufgabe? Formulierung von Items Fehlerquellen bei der Messung Testarten Computerbasiertes Testen Einblick in die Praxis 25 Johannes Moskaliuk | Workshop Evaluation
- 26. Problem: Nicht disjunkte Antwortalternativen Problem: Nicht exhaustive Antwortalternativen Vollständigkeit der Antwortalternativen Antwortalternativen schließen sich gegenseitig aus Exhaustivität bei Persönlichkeitstest wichtig Alternative: Forced Choice Wie groß ist 1/5 von 10? a.) kleiner als 1,5 b.) 1,5 bis 2 c.) 2,0 bis 2,5 d.) größer als 2,5 Wählen Sie die Antwort aus, die auf Sie am besten zutrifft. a.) Ich bevorzuge harte, realistische Action-Thriller b.) Ich bevorzuge gefühlvoll, feinsinnig Filme. Johannes Moskaliuk | Workshop Evaluation 26
- 27. Konstruktion von Beurteilungsaufgaben Skalenstufen visuelle Analogskala diskret gestufte Ratingskala Polarität unipolar vs. bipolar Johannes Moskaliuk | Workshop Evaluation 27
- 28. Konstruktion von Beurteilungsaufgaben Skalenpunkte Numerische Skala Intervallskala Verbale Ratingskala Optische Skalen Johannes Moskaliuk | Workshop Evaluation 28
- 29. Konstruktion von Beurteilungsaufgaben Mittelkategorie Weiß nicht Kategorie gerade / ungerade Anzahl Skalenpunkte asymmetrische Skalen Boden- / Deckeneffekte Johannes Moskaliuk | Workshop Evaluation 29
- 30. Welche Probleme sehen Sie bei folgenden Items? o Finden Sie keinen Gefallen an der Abholzung des Regenwaldes? o Ich finde nicht, dass ich häufig nicht hungrig bin! o Wenn ich mit meinem Auto zu einem wichtigen Meeting fahre, so wü̈rde ich mich, falls es dann noch einen Stau aufgrund der Rush Hour gäbe, aufregen. o Ich neige zur Prokrastination. o Mein Kind kann sich nie auf nur eine Aufgabe konzentrieren. o Ich gehe gerne auf Parties und trinke gerne Alkohol. o Die jü̈ngsten Erfolge der transkraniellen Magnetstimulation im Bereich der alternativen Therapien affektiver Störungen halte ich für ein sehr wichtiges Forschungsergebnis. o In letzter Zeit war ich häufig in der Oper. Johannes Moskaliuk | Workshop Evaluation 30
- 31. Itemformulierung direkt Sind Sie ängstlich? indirekt Fühlen Sie sich unsicher, wenn Sie nachts allein auf der Straße sind? hypothetisch biografiebezogen Stellen Sie sich vor, es gäbe immer wieder Konflikte zwischen den Mitarbeitern in ihrer Abteilung. Wie haben Sie sich bei der letzten Auseinandersetzung mit einem Kollegen verhalten? Exkurs Johannes Moskaliuk | Workshop Evaluation 31
- 32. Itemformulierung konkret abstrakt Wie verhalten Sie sich, wenn Sie einen Streit zwischen Kollegen schlichten müssen? Wie belastend schätzen Sie die Arbeit in einem konfliktreichen Arbeitsumfeld ein personalisiert depersonalisiert Treiben Sie regelmäßig Sport? Halten Sie es für sinnvoll, regelmäßig Sport zu treiben? Exkurs Johannes Moskaliuk | Workshop Evaluation 32
- 33. Itemformulierung Qualität / Intensität Halten Sie sich für einen ängstlichen Menschen? Bekommen Sie Herzrasen, wenn Ihnen nachts jemand auf der Straße folgt? Selbstbeschreibung Ich bin ein fröhlicher Mensch. Fremdbeschreibung Andere halten mich für einen fröhlichen Menschen. Traitzuschreibung Ich lache oft und gern. Wünsche Interesse Ich interessiere mich für Psychologie. Einstellungen Meinungen Es gibt wichtigeres als beruflichen Erfolg Biografie Ich war schon oft im Ausland. Exkurs Johannes Moskaliuk | Workshop Evaluation 33
- 34. Regeln für die Formulierung von Items positiv formuliert Keine Verneinung klare Konstruktion keine Abkürzungen keine Fachbegriffe Angaben zur Intensität oder Häufigkeit können problematisch sein. Ich trinke häufig Wein. trifft zutrifft nicht zu Ich entspanne mich gern mit einem alkoholischen Getränk. besser: Verständlichkeit Johannes Moskaliuk | Workshop Evaluation 34
- 35. Regeln für die Formulierung von Items Eindeutigkeit keine Universalausdrücke immer, nie, alle ... Schwieriges definieren keine Mehrdeutigkeit eine Aussage pro Item Vorwissen beachten Bezugsgrößen definieren Zeitspannen klar angeben Johannes Moskaliuk | Workshop Evaluation 35
- 36. Was ist eine gute Aufgabe? Leichte Verständlichkeit einfache Durchführbarkeit kurze Lösungszeit Geringer Material und Papierverbrauch Leichte Auswertbarkeit Geringe Häufigkeit von Zufallslösungen Johannes Moskaliuk | Workshop Evaluation 36
- 37. Ihre Beispiele aus der Praxis Prüfen Sie die Items, die Sie notiert haben. Sind alle Regeln für die Formulierung von Items berücksichtigt? Finden Sie alternative Formulierungen. 37 Johannes Moskaliuk | Workshop Evaluation und Fragen
- 38. Inhalt Was ist eine Evaluation? Messmethoden Aufgabenformate Was ist eine gute Beurteilungsaufgabe? Formulierung von Items Fehlerquellen bei der Messung Testarten Computerbasiertes Testen Einblick in die Praxis 38 Johannes Moskaliuk | Workshop Evaluation
- 39. Fehlerquellen Soziale Erwünschtheit Selfdeceptive Enhancement Impression Management Kontrollskalen / Lügenskalen Anonymität Gründe Lösung Akquieszenz Ja-Sage-Tendenz Lösung Inventierung von Items Tendenz zur Mitte 0 20 40 -2 -1 0 1 2 Tendenz zur Mitte 0 20 40 -2 -1 0 1 2 Tendenz zu extremen Urteil Antwortkategorie Antworthäufigkeit Antworthäufigkeit Antwortkategorie Lösung keine Mittelkategorie Johannes Moskaliuk | Workshop Evaluation 39
- 40. Konstruktvalidität Konstrukt latente Variable | Trait Kriterium beobachtbares Verhalten z.B. Item ankreuzen Nomologisches Netzwerk Faktorenanalyse konvergente divergente diskriminante Exkurs Johannes Moskaliuk | Workshop Evaluation 40
- 41. Kriteriumsvalidität Kriterium beobachtbares Verhalten z.B. Item ankreuzen konkurrente prognostisch Übereinstimmung Vorhersage zeitgleich zukünftig Verhalten Exkurs Johannes Moskaliuk | Workshop Evaluation 41
- 42. Inhalt Was ist eine Evaluation? Messmethoden Aufgabenformate Was ist eine gute Beurteilungsaufgabe? Formulierung von Items Fehlerquellen bei der Messung Testarten Computerbasiertes Testen Einblick in die Praxis 42 Johannes Moskaliuk | Workshop Evaluation
- 43. Testarten Leistungstests Intelligenz Konzentration Speed vs. Power Persönlichkeitstests Trait vs. State Interesse Selbstauskunft verhaltensnahe Tests projektive Verfahren Fragebogen objektive Tests apparativ Computer Exkurs Johannes Moskaliuk | Workshop Evaluation 43
- 44. Testökonomie Ist der finanzielle und zeitliche Aufwand dem diagnostischen Erkenntnisgewinn angemessen? Testmaterial Hard-/Software Lizenzgebühren Finanzieller Aufwand zeitlicher Aufwand Bearbeitungszeit Vorbereitung Auswertung Ausblick: Internetgestütztes Testen Adaptives Testen Johannes Moskaliuk | Workshop Evaluation 44
- 45. Itemschwierigkeit Ziel: Items eines Fragebogen sollen individuelle Unterschiede abbilden. zu leichte und zu schwere Aufgaben Ich halte Umweltverschmutzung für schädlich. Sonderfall sehr seltene Merkmale z.B. in der klinischen Psychologie Problem Itemvarianz Itemschwierigkeit Statistische Kenngrößen Exkurs Johannes Moskaliuk | Workshop Evaluation 45
- 46. Weitere Aspekte Aktualität Wertungen Wie heißt der Ministerpräsident von Baden-Württemberg? Warum ist es besser, Geld einer Wohltätigkeitsorganisation zu spenden als einem Bettler? Suggestion Sie stimmen doch zu, dass der Nichtraucherschutz in Deutschland sehr wichtig ist? Gendergerechtigkeit Ich ärgere mich oft über meinen Chef. Johannes Moskaliuk | Workshop Evaluation 46
- 47. Inhalt Was ist eine Evaluation? Messmethoden Aufgabenformate Was ist eine gute Beurteilungsaufgabe? Formulierung von Items Fehlerquellen bei der Messung Testarten Computerbasiertes Testen Einblick in die Praxis 47 Johannes Moskaliuk | Workshop Evaluation
- 48. Computerbasiertes Testen Volljährigkeit der TeilnehmerInnen Ethische Aspekte Einverständnis- erklärung Anonymisierung verdeckte Datenerhebung? Kontrollierbarkeit Identität der TN Angaben korrekt? Verhalten Ablenkung? Absichtliches Fehlverhalten Mehrfachteilnahme meistens höhere Stichprobe notwendig Definition von Ausreißern verzerrte Stichprobe Dropouts 48 Johannes Moskaliuk | Workshop Evaluation
- 49. Inhalt Was ist eine Evaluation? Messmethoden Aufgabenformate Was ist eine gute Beurteilungsaufgabe? Formulierung von Items Fehlerquellen bei der Messung Testarten Häufige Fehler Computerbasiertes Testen Beispiele aus der Praxis 49 Johannes Moskaliuk | Workshop Evaluation
- 50. Beispiel aus der Praxis Johannes Moskaliuk | Workshop Evaluation 50 Virtuelle Polizei
- 51. Feldstudie | Warum ist virtuelles Training erfolgreich? Standard-Training Virtuelles TrainingVerhaltensempfehlung Wissenstest Subjektive Maße Wissenstest Transfertest 51
- 52. Feldstudie | Methode Ich würde meinen KollegInnen den Besuch dieses Trainings empfehlen. Akzeptanz Ich bin mit dem virtuellen Training zufrieden. Zufriedenheit Lernerfolg Ich habe in dem Training sehr viel Neues gelernt. Subjektive Maße Wissenstest mit 20 Items Wie wird die Person genannt, die vom Hubschrauber hauptsächlich angesprochen wird? A Leiter B Lenker C Führer D Identifizierungsbeamter 52
- 53. Feldstudie | WissenWissenstest* 0 2 4 6 8 10 12 14 16 18 20 VE Reales Training Virtuelles Training WissenVorher WissenNachher Standard Virtuellkein Training 53
- 54. Feldstudie | Transfer Standard Virtuellkein Training 54
- 55. Beispiel aus der Praxis Johannes Moskaliuk | Workshop Evaluation 55 Patongo Fokus - Gruppe Plattform zum Austausch von Best-Practices Forschungsfrage: Welche Hürden bestehen für den Informationsaustausch? Logfile-Analyse Befragung
- 56. Beispiel aus der Praxis Johannes Moskaliuk | Workshop Evaluation 56 Generation Y 0 1 2 3 4 5 6 persönliche Sicherheit Leistung Mitgefühl Verantwortung Wertschätzung Konformität Das Gesicht wahren Genuss/Hedonismus BescheidenheitFührung übernehmen Macht Selbstbestimmung… Selbstbestimmung… gesellschaftliche… Stimulation Tradition Universalismus
- 57. 57 Vielen Dank für Ihr Interesse. Johannes Moskaliuk post@moskaliuk.com Folien und weiterführende Links unter: http://www.moskaliuk.com/evaluationLT twitter.com/moskaliuk slideshare.net/moskaliuk facebook.com/moskaliuk