SlideShare a Scribd company logo
1 of 94
Download to read offline
Chancen und Fallstricke bei der Einführung von E-
Assessments an der Universität

Karsten D. Wolf
Fachbereich 12
Didaktische Gestaltung multimedialer Lernumgebungen

eBologna – eStrategien an den Fakultäten
Friday Lectures, WiSe 2007/08 14.12.2007
Universität Wien




                                                      © Karsten D. Wolf 2007
Agenda

 • Notwendigkeiten & Trends
 • Haken & Ösen
 • Chancen & Ausblicke


 • Implementation
 • Organisation
 • TestCenter


 • Gender Mainstreaming
 • Empfehlungen


                          Karsten D. Wolf ©2007
Umstellung
Bachelor-/Master-
Struktur




  by: CarbonNYC     © Karsten D. Wolf 2007
We want
credit points!




                 © Karsten D. Wolf 2007
Quelle: Johannes Hartig & Nina Jude 2007, S.30




                                                 © Karsten D. Wolf 2007
© Karsten D. Wolf 2007
http://tinyurl.com/2esxkd
   Martin Ripley 2006

                            © Karsten D. Wolf 2007
mündliche
                            und „alternative“
                            Prüfungsformate?




http://tinyurl.com/2esxkd
   Martin Ripley 2006

                                © Karsten D. Wolf 2007
mündliche
                            und „alternative“
                            Prüfungsformate?




http://tinyurl.com/2esxkd
   Martin Ripley 2006

                                © Karsten D. Wolf 2007
+



    © Karsten D. Wolf 2007
Pro und contra: Studenten

• Sofortige Bereitstellung des             • Benachteiligung von Personen mit
  Prüfungsergebnisses                        geringerer Computerkompetenz
                                             (digital literacy, 10-Finger-
                                             Schreiben)
• Objektive, transparente und
  fehlerfreie Klausurbewertung
                                           • Benachteiligung von Personen mit
                                             negativer Einstellung zu
• differenziertes Feedback
                                             Computern

• vereinfachte Vorbereitung durch
                                           • Probleme bei der Konzentration
  online-Training unter Verwendung
                                             (Computermonitor, Lüfterlärm,
  der gleichen Fragenkataloge
                                             Tastaturgeklapper…) ➙ Stress?


                                           • Datenschutz?
                     in Anlehnung an Bücking / Schwedes 2005
                                                                 © Karsten D. Wolf
Akzeptanz durch Studierende: Benutzbarkeit




               Bücking / Schwedes (2005)
                                           © Karsten D. Wolf
Akzeptanz durch Studierende: Raum




                                           - Lüftung
                                           - Lautstärke
                                           - Temperatur
                                           - Platzangebot



               Bücking / Schwedes (2005)
                                                 © Karsten D. Wolf
Akzeptanz durch Studierende: Rückmeldung



                                   35,5% Generelle
                                   Zustimmung

                                   4% Totalablehnung

                                   Achtung: FB WiWi


               Bücking / Schwedes (2005)
                                             © Karsten D. Wolf
Pro und contra: Lehrende / Prüfungsautor(inn)en

• Enorme Arbeitsentlastung durch           • Hoher Initialaufwand zur
  automatische Auswertungsverfahren          Digitalisierung vorhandener Fragen
  & Verwaltung                               und Aufbau eines hinreichend
                                             großen Fragenkataloges
• Effiziente Unterstützung bei
  Freitextfragen-Korrektur                 • Prüfungsdesign wird durch
                                             Technik beschränkt
• Wiederverwendbare und
  „kollaborative“ Fragenkataloge           • technische
                                             Manipulationsmöglichkeiten
                                             (während und vor der Prüfung)
• Qualitätssicherung und -
  verbesserung



                     in Anlehnung an Bücking / Schwedes 2005
                                                                   © Karsten D. Wolf
Pro und contra: Prüfungsverwaltung

• Vereinfachte                            • Initiale Zusatzbelastung durch
  Organisationsabläufe durch Im-            Umstellung auf neue Arbeitsabläufe
  und Export von
                                          • Rechtliche Absicherung
  • Teilnehmer(innen)listen und
                                          • Durchführungsorganisation
  • Ergebnissen
                                          • Datenschutz & -sicherheit
 zwischen
 Prüfungsverwaltungssoftware
 (FlexNow!) und Prüfungssoftware




                    in Anlehnung an Bücking / Schwedes 2005
                                                                 © Karsten D. Wolf
Pro und contra: Allgemein

• Kosteneinsparung                         • Stabilität & Zuverlässigkeit


• Mögliche Erstellung komplexer            • Qualitätsverlust des Studiums
  und interaktiver Fragen durch              durch reine Wissenstests
  Multimediaelemente




                     in Anlehnung an Bücking / Schwedes 2005
                                                                   © Karsten D. Wolf
Simulationsrechnungen: Wann lohnt es?




             Bücking (2006) / ZMML Uni Bremen
                                                © Karsten D. Wolf
Simulationsrechnungen: Wann lohnt es?




             Bücking (2006) / ZMML Uni Bremen
                                                © Karsten D. Wolf
Simulationsrechnungen: Wann lohnt es?




             Bücking (2006) / ZMML Uni Bremen
                                                © Karsten D. Wolf
Simulationsrechnungen: Wann lohnt es?




             Bücking (2006) / ZMML Uni Bremen
                                                © Karsten D. Wolf
Simulationsrechnungen: Wann lohnt es?




             Bücking (2006) / ZMML Uni Bremen
                                                © Karsten D. Wolf
Simulationsrechnungen: Wann lohnt es?




             Bücking (2006) / ZMML Uni Bremen
                                                © Karsten D. Wolf
Vergleich der drei Szenarien: Break-Even




              Bücking (2006) / ZMML Uni Bremen
                                                 © Karsten D. Wolf
Durchführung: Wer ist beteiligt?

• Lehrkräfte / Autor(inn)en (Profs, Mitarbeiter)
• Aufsichtskräfte (Lehrstühle)
• Verwaltung (Prüfungsamt)


• Editoren für E-Aufgaben (Lehrstühle ↔ zentrale Einrichtung)
• E-Assessment Beauftragte (Fachbereiche)
• E-Learning Support (zentrale Einrichtung)




                                                                © Karsten D. Wolf
Lehrkräfte / Autor(inn)en

• Entwicklung
  • Fragen
  • Antworten
  • Distraktoren
  • Beurteilungsschema
• Qualitätskontrolle
  • Fragen
  • Umsetzung der Fragen
• Endgültige Abnahme des Fragenkataloges
• Analyse und Überarbeiten der Fragen nach Klausuren


                                                       © Karsten D. Wolf
Lehrkräfte / Autor(inn)en

• Entwicklung
  • Fragen                      Woh
  • Antworten               diese er ko
  • Distraktoren
                                 Qual    mmt
  • Beurteilungsschema
                                     ifika
• Qualitätskontrolle
  • Fragen
                                           tion?
  • Umsetzung der Fragen
• Finales Absegnen des Fragenkataloges
• Analyse und Überarbeiten nach Klausuren


                                            © Karsten D. Wolf
© Karsten D. Wolf 2007
Alternative Assessment
Formative Verfahren
E-Portfolio




               © Karsten D. Wolf 2007
© Karsten D. Wolf 2007
Alternative Assessment




               © Karsten D. Wolf 2007
Alternative Assessment
Formative Verfahren




               © Karsten D. Wolf 2007
Alternative Assessment
Formative Verfahren
E-Portfolio




               © Karsten D. Wolf 2007
Alternative Assessment
Formative Verfahren
E-Portfolio

Learning about




                 © Karsten D. Wolf 2007
Alternative Assessment
Formative Verfahren
E-Portfolio

Learning about
Learning by Assessment



               © Karsten D. Wolf 2007
Alternative Assessment
Formative Verfahren
E-Portfolio

Learning about
Learning by Assessment
Learning by Design


               © Karsten D. Wolf 2007
Alternative Assessment
Formative Verfahren
E-Portfolio

Learning about
Learning by Assessment
Learning by Design
Learning by Assessing

               © Karsten D. Wolf 2007
Alternative Assessment
Formative Verfahren
E-Portfolio

Learning about
Learning by Assessment
Learning by Design
Learning by Assessing
Learning to be
               © Karsten D. Wolf 2007
Quelle: Falko Rheinberg


                          © Karsten D. Wolf 2007
Innovationsbereiche beim E-Assessment

• Simulation
  • Realitätsnähe
  • Feedbackkomponenten
  • Explorationsmöglichkeiten
• Automatisierte Bewertung von Essays
• Data Mining der Lösungsprozesse von Experten zur Erstellung von
  K.modellen / -profilen.
• Autorenwerkzeuge für fachspezifische Tests/Sims
• Einbindung in E-Portfolios
• Kompetenzmessung in Gruppen



                                                             © Karsten D. Wolf
Innovationsbereiche beim E-Assessment

• Verbesserung der Messmodelle (Rasch Skalierung)
• Tests werden in den Lehr-Lern-Prozess integriert
• Transfer wird durch authentische Aufgaben erleichtert
• Erreichen eines Kompetenz„levels“ kann beim Lernen & Arbeiten erreicht
  werden
• Keine speziellen Prüfungen mehr notwendig
• Durch Testbänke keine festen Prüfungstermine mehr
• Kombination in Form von Blended Assessment




                                                              © Karsten D. Wolf
© Karsten D. Wolf 2007
Collegiate Learning Assessment
(Klein / Benjamin / Shavelson / Bolus 2007)




                 http://www.cae.org/content/pro_collegiate.htm
                                                                 © Karsten D. Wolf
E-Selection / E-Recruitment & Recrutainment

• Auswahlverfahren für BA und MA

• Uni Bremen WiSe 2006: 2355 Studienanfänger
❖ wachsende Anzahl von Master-Studiengänge




                                               © Karsten D. Wolf
© Karsten D. Wolf 2007
Implementation




                 © Karsten D. Wolf 2007
Neue Personen

• Editoren
  • Entwicklung Fragevorlagen
  • Umsetzung der Fragen in Editor
  • Qualitätskontrolle
  • Fragekatalog pflegen
• E-Assessment Beauftragte
  • Projektmanagement (120 Tage Vorlauf!)
  • Administration des E-Assessment-Servers (mandantenfähig)
  • Einweisung Autoren, Editoren und Aufsichtspersonal
  • Testläufe organisieren


                                                               © Karsten D. Wolf
Änderungen für bestehende Rollen

• Verwaltung (Prüfungsamt)
  • Administration der Prüfungen im System (Buchungen, Termine)
  • Anpassung des Materials für die Durchführung von Examen
  • Archivierung der Examensdaten
     • Resultate
     • Protokolle
     • Logfiles
• Aufsichtspersonal
  • Vorbereitung der PC-Pools
  • Technische Assistenz und Problembehebung


                                                              © Karsten D. Wolf
Fülle von Arbeitsplänen: Überblick




              Bücking (2006) / ZMML Uni Bremen
                                                 © Karsten D. Wolf
Arbeitsplan „Lehrstuhl“:
Fragenkatalog erstellen




             Bücking (2006) / ZMML Uni Bremen
                                                © Karsten D. Wolf
Arbeitsplan „Prüfungsamt“:
Vorbereitung eines E-Examens




            Bücking (2006) / ZMML Uni Bremen
                                               © Karsten D. Wolf
Beispiel: eExaminations an der Uni Bremen

• Dezember 2004 - April 2006
• 14 E-Examen (11 in BWL/WiWi)
• 5669 Studenten (ø 405 Kandidaten pro Examen, 47–962)
• ø 20 PCs pro Raum (10–54)
• ø 24 Wiederholungen / Examen (5–64)
• Max. 7 Räume / Tag und 6 „Slots“ pro Tag
• Hoher Organisations-Overhead




                          Quelle: ZMML Uni Bremen
                                                         © Karsten D. Wolf
Beispiel: Durchführungsplan




             Bücking (2006) / ZMML Uni Bremen
                                                © Karsten D. Wolf
30            30




           30            30




ZMML Uni Bremen - Realisierung WiSe 2007
                                           © Karsten D. Wolf 2007
PC-Pool oder E-Testcenter?

• Starke Reduzierung der Aufsichtsstunden
• Höhere Sicherheit
• Autonome LANs
• Arbeitsabläufe können optimiert werden
• Leichtere Unterstützung z.B. von Simulationen als Testumgebung
• Ggf. Nutzung für Forschungsfragen
• Rückkehr zum „alten“ CIP-Pool?
• Nutzung außerhalb der Prüfungszeiten?




                                                             © Karsten D. Wolf
© Karsten D. Wolf 2007
© Karsten D. Wolf 2007
© Karsten D. Wolf 2007
© Karsten D. Wolf 2007
© Karsten D. Wolf 2007
© Karsten D. Wolf 2007
© Karsten D. Wolf 2007
© Karsten D. Wolf 2007
E-Learning Support: ZMML Uni Bremen

• E-Assessment als Dienst einführen und anbieten
• Beratung und Training der beteiligten Personen
• Technische Vorbereitung der PC-Pools
• Anbindung an andere IT-Dienste
• Zusammenarbeit mit Softwarefirma (Anpassung)
• Notfallteam für die Dauer der Prüfungsperiode zusammenstellen


• Implementation zunächst nur mit einem Fachbereich
• Kooperation mit einer Softwarefirma




                                                              © Karsten D. Wolf
Testumgebung L-Plus




                      © Karsten D. Wolf 2007
L-Plus Demo (www.lplus.de)
                             © Karsten D. Wolf 2007
L-Plus Demo (www.lplus.de)
                             © Karsten D. Wolf 2007
L-Plus Demo (www.lplus.de)
                             © Karsten D. Wolf 2007
L-Plus Demo (www.lplus.de)
                             © Karsten D. Wolf 2007
L-Plus Demo (www.lplus.de)
                             © Karsten D. Wolf 2007
L-Plus Demo (www.lplus.de)
                             © Karsten D. Wolf 2007
L-Plus Demo (www.lplus.de)
                             © Karsten D. Wolf 2007
L-Plus Demo (www.lplus.de)
                             © Karsten D. Wolf 2007
Komplexere Aufgabe




            Bücking (2006) / ZMML Uni Bremen
                                               © Karsten D. Wolf
Zusammenfassung: Wann ist das sinnvoll?

• Mehr als 300 Kandidaten pro Prüfung
• Mehr als 50 Rechner pro Raum
• Lange Korrekturzeiten pro Frage (> 30 Sekunden / Frage)
• Kurze Klausuren (bis 2 Stunden) mit vielen Fragen


• mögliche Alternative: Scanlösung Paper&Pencil MC Test


• Alternativen: Kooperation von Autorinnen und Autoren
• Alternativen: (Vor-)Erstellung von Items durch Studierende




                                                               © Karsten D. Wolf
Gender Mainstreaming von eAssessment?




                                        © Karsten D. Wolf 2007
American Airlines, ca. April 2007
Chancen Fallstricke E Assessment
Chancen Fallstricke E Assessment
Chancen Fallstricke E Assessment
Gender spezifische
Computer Einstellungen und Fertigkeiten




                    nach Whitley 1997
Chancen Fallstricke E Assessment
PISA 2003 - Gender Differences


                                Mädchen   Jungen
           Computerspiele        35%       70%
         Software runterladen    25%       51%
          Musik runterladen      40%       56%
        Informationen suchen     50%       59%
           Zusammenarbeit        27%       36%
           Kommunikation         55%       56%
            Programmieren        16%       30%
         Graphikprogramme        26%       34%
          Tabellenkalkulation    18%       24%
           Textverarbeitung      49%       48%
Chancen Fallstricke E Assessment
Chancen Fallstricke E Assessment
Keine Unterschiede der Internet Expertise

      computer expertise              computer usage




     internet expertise               internet usage




                      n=108 (Wolf 2007)
Evaluation der Lernumgebung
      Kompliziert                       Wisse wie…




                                     Schaue mehr
        Spaß                       andere Arbeiten an




                    n=108 (Wolf 2007)
Prozessunterschiede:
Kommunikation




                n=36 (Wolf/Prasser 2006)
So wie das Internet eine Alltagstechnologie wird…




                Pew Institute 2005
Gender-sensitive Sprache und Lernmaterial
(Auszug aus Pravda 2003)

• Sexistische Sprache vermeiden / austauschen

• In Beispielen Gender und deren Reihenfolge abwechseln

• Möglichst Gender-neutrale Begriffe verwenden

• Inhalte aus mehreren Perspektiven beschreiben

• Lebenserfahrung beider Gender integrieren

• Gender Hierarchien und Stereotype entfernen

• Neue Rollenmodelle für beide Gender anbieten
Zusammenfassung: Erfahrungen bisher

• Entlastung und Verbesserung
• Uni Bremen als Vorreiterin
• Dauerhaftes Thema an Hochschulen (Trend)
• Technische und organisatorische Professionalisierung
• Verstetigung statt Pilotprojekte
• Hohes Innovationspotenzial für Hochschullehre
• Aktuelles Forschungsthema
• TestCenter bietet ideale Voraussetzungen




                                                         © Karsten D. Wolf
FB 12 Erziehungs- und Bildungswissenschaften
                                Didaktische Gestaltung
                        multimedialer Lernumgebungen


http://www.ifeb.uni-bremen.de/wolf


      wolf@uni-bremen.de


http://www.zmml.uni-bremen.de/
Literaturempfehlungen

                        Thomas M. Haladyna (2004).
                        Developing and Validating Multiple-
                        Choice Test Items. Lawrence
                        Erlbaum Associates.

                        Steven M. Downing & Thomas M.
                        Haladyna (2006). Handbook of Test
                        Developing. Lawrence Erlbaum
                        Associates.

                        Jürgen Rost (2004). Lehrbuch
                        Testtheorie – Testkonstruktion.
                        Huber.




                                               © Karsten D. Wolf
Literaturempfehlungen

                        Trevor G. Bond & Christine M. Fox
                        (2007) Applying The Rasch Model.
                        Lawrence Erlbaum Associates.



                        Mark Wilson (2005). Constructing
                        Measures. Lawrence Erlbaum
                        Associates.



                        Albert Maydeu-Olivares & John J.
                        McArdle (2005). Contemporary
                        Psychometrics. Lawrence Erlbaum
                        Associates.


                                               © Karsten D. Wolf

More Related Content

Viewers also liked

Social Media für Anwälte
Social Media für AnwälteSocial Media für Anwälte
Social Media für AnwälteHenning Krieg
 
Wie ScanCorner Ihre alten Fotos restauriert
Wie ScanCorner Ihre alten Fotos restauriertWie ScanCorner Ihre alten Fotos restauriert
Wie ScanCorner Ihre alten Fotos restauriertScanCorner
 
Présentation reso 2012
Présentation reso 2012Présentation reso 2012
Présentation reso 2012Philippe Cabon
 
Exploiter au mieux les medias sociaux Facebook Twitter Forums Blogs Youtube D...
Exploiter au mieux les medias sociaux Facebook Twitter Forums Blogs Youtube D...Exploiter au mieux les medias sociaux Facebook Twitter Forums Blogs Youtube D...
Exploiter au mieux les medias sociaux Facebook Twitter Forums Blogs Youtube D...Catherine Epstein
 
Jesus the Christ in FRENCH
Jesus the Christ in FRENCHJesus the Christ in FRENCH
Jesus the Christ in FRENCHdearl1
 
La météo 2
La météo 2La météo 2
La météo 2Allywon
 
Soft fluent@md day2011
Soft fluent@md day2011Soft fluent@md day2011
Soft fluent@md day2011MDDAY11
 
Umstellung der Normierung des Kostengewichts 2012- Jörk Volbracht (Universitä...
Umstellung der Normierung des Kostengewichts 2012- Jörk Volbracht (Universitä...Umstellung der Normierung des Kostengewichts 2012- Jörk Volbracht (Universitä...
Umstellung der Normierung des Kostengewichts 2012- Jörk Volbracht (Universitä...Paianet - Connecting Healthcare
 
BizTalk Summit L'intégration en mutation
BizTalk Summit   L'intégration en mutationBizTalk Summit   L'intégration en mutation
BizTalk Summit L'intégration en mutationMichel HUBERT
 
Weihnachten
WeihnachtenWeihnachten
Weihnachtenpipi350
 
Neues Dienstrecht aps
Neues Dienstrecht apsNeues Dienstrecht aps
Neues Dienstrecht apsThomas Be
 

Viewers also liked (15)

Social Media für Anwälte
Social Media für AnwälteSocial Media für Anwälte
Social Media für Anwälte
 
Wie ScanCorner Ihre alten Fotos restauriert
Wie ScanCorner Ihre alten Fotos restauriertWie ScanCorner Ihre alten Fotos restauriert
Wie ScanCorner Ihre alten Fotos restauriert
 
Présentation reso 2012
Présentation reso 2012Présentation reso 2012
Présentation reso 2012
 
Fi bi partiel 3
Fi bi partiel 3Fi bi partiel 3
Fi bi partiel 3
 
Exploiter au mieux les medias sociaux Facebook Twitter Forums Blogs Youtube D...
Exploiter au mieux les medias sociaux Facebook Twitter Forums Blogs Youtube D...Exploiter au mieux les medias sociaux Facebook Twitter Forums Blogs Youtube D...
Exploiter au mieux les medias sociaux Facebook Twitter Forums Blogs Youtube D...
 
Jesus the Christ in FRENCH
Jesus the Christ in FRENCHJesus the Christ in FRENCH
Jesus the Christ in FRENCH
 
La météo 2
La météo 2La météo 2
La météo 2
 
Groupes témoins
Groupes témoinsGroupes témoins
Groupes témoins
 
Objectif Fibre - Guide raccordement du Logement Neuf
Objectif Fibre - Guide raccordement du Logement NeufObjectif Fibre - Guide raccordement du Logement Neuf
Objectif Fibre - Guide raccordement du Logement Neuf
 
Soft fluent@md day2011
Soft fluent@md day2011Soft fluent@md day2011
Soft fluent@md day2011
 
Umstellung der Normierung des Kostengewichts 2012- Jörk Volbracht (Universitä...
Umstellung der Normierung des Kostengewichts 2012- Jörk Volbracht (Universitä...Umstellung der Normierung des Kostengewichts 2012- Jörk Volbracht (Universitä...
Umstellung der Normierung des Kostengewichts 2012- Jörk Volbracht (Universitä...
 
BizTalk Summit L'intégration en mutation
BizTalk Summit   L'intégration en mutationBizTalk Summit   L'intégration en mutation
BizTalk Summit L'intégration en mutation
 
Essai rp
Essai rpEssai rp
Essai rp
 
Weihnachten
WeihnachtenWeihnachten
Weihnachten
 
Neues Dienstrecht aps
Neues Dienstrecht apsNeues Dienstrecht aps
Neues Dienstrecht aps
 

More from Karsten D. Wolf

Forschend Lehren mit Digitalen Medien
Forschend Lehren mit Digitalen MedienForschend Lehren mit Digitalen Medien
Forschend Lehren mit Digitalen MedienKarsten D. Wolf
 
Warum nicht?! Selbstdarstellung von Kindern und Jugendlichen im Internet
Warum nicht?! Selbstdarstellung von Kindern und Jugendlichen im InternetWarum nicht?! Selbstdarstellung von Kindern und Jugendlichen im Internet
Warum nicht?! Selbstdarstellung von Kindern und Jugendlichen im InternetKarsten D. Wolf
 
Wie und von wem lernen Jugendliche auf YouTube? PB21 Talk
Wie und von wem lernen Jugendliche auf YouTube? PB21 TalkWie und von wem lernen Jugendliche auf YouTube? PB21 Talk
Wie und von wem lernen Jugendliche auf YouTube? PB21 TalkKarsten D. Wolf
 
Erklärvideos als Medium der Aneignung von YouTube durch Kinder und Jugendliche
Erklärvideos als Medium der Aneignung von YouTube durch Kinder und JugendlicheErklärvideos als Medium der Aneignung von YouTube durch Kinder und Jugendliche
Erklärvideos als Medium der Aneignung von YouTube durch Kinder und JugendlicheKarsten D. Wolf
 
Pädagogische Online-Diagnostik funktionaler Analphabeten – technisch machbar...
Pädagogische Online-Diagnostik funktionaler Analphabeten –  technisch machbar...Pädagogische Online-Diagnostik funktionaler Analphabeten –  technisch machbar...
Pädagogische Online-Diagnostik funktionaler Analphabeten – technisch machbar...Karsten D. Wolf
 
Aneignung und Transformation massenmedialer 
 und schulischer Erklärstrukture...
Aneignung und Transformation massenmedialer 
 und schulischer Erklärstrukture...Aneignung und Transformation massenmedialer 
 und schulischer Erklärstrukture...
Aneignung und Transformation massenmedialer 
 und schulischer Erklärstrukture...Karsten D. Wolf
 
Virtualisierung von Bildungsprozessen
Virtualisierung von BildungsprozessenVirtualisierung von Bildungsprozessen
Virtualisierung von BildungsprozessenKarsten D. Wolf
 
Video communities and collectives for learning
Video communities and collectives for learningVideo communities and collectives for learning
Video communities and collectives for learningKarsten D. Wolf
 
Fun Games For Serious Learning? F.R.O.G. 2012 Keynote
Fun Games For Serious Learning?  F.R.O.G. 2012 KeynoteFun Games For Serious Learning?  F.R.O.G. 2012 Keynote
Fun Games For Serious Learning? F.R.O.G. 2012 KeynoteKarsten D. Wolf
 
Social media in higher education
Social media in higher education Social media in higher education
Social media in higher education Karsten D. Wolf
 
Lernen durch Erklären mit Video - EduCamp Bielefeld
Lernen durch Erklären mit Video - EduCamp BielefeldLernen durch Erklären mit Video - EduCamp Bielefeld
Lernen durch Erklären mit Video - EduCamp BielefeldKarsten D. Wolf
 
How Video Communities Transform Learning and Teaching
How Video Communities Transform Learning  and TeachingHow Video Communities Transform Learning  and Teaching
How Video Communities Transform Learning and TeachingKarsten D. Wolf
 
YouTube - das neue Bildungsfernsehen
YouTube - das neue BildungsfernsehenYouTube - das neue Bildungsfernsehen
YouTube - das neue BildungsfernsehenKarsten D. Wolf
 
Lernerfolg und Lernmotivation fördern mit E-Assessment
Lernerfolg und Lernmotivation fördern mit E-AssessmentLernerfolg und Lernmotivation fördern mit E-Assessment
Lernerfolg und Lernmotivation fördern mit E-AssessmentKarsten D. Wolf
 
MirandaMod: Learning with Video
MirandaMod: Learning with VideoMirandaMod: Learning with Video
MirandaMod: Learning with VideoKarsten D. Wolf
 
Kompetent Prüfen am PC Workshop 2010
Kompetent Prüfen am PC Workshop 2010Kompetent Prüfen am PC Workshop 2010
Kompetent Prüfen am PC Workshop 2010Karsten D. Wolf
 
Bremen sommer universität-2010-partizipativedidaktik20
Bremen sommer universität-2010-partizipativedidaktik20Bremen sommer universität-2010-partizipativedidaktik20
Bremen sommer universität-2010-partizipativedidaktik20Karsten D. Wolf
 

More from Karsten D. Wolf (20)

Forschend Lehren mit Digitalen Medien
Forschend Lehren mit Digitalen MedienForschend Lehren mit Digitalen Medien
Forschend Lehren mit Digitalen Medien
 
Warum nicht?! Selbstdarstellung von Kindern und Jugendlichen im Internet
Warum nicht?! Selbstdarstellung von Kindern und Jugendlichen im InternetWarum nicht?! Selbstdarstellung von Kindern und Jugendlichen im Internet
Warum nicht?! Selbstdarstellung von Kindern und Jugendlichen im Internet
 
Wie und von wem lernen Jugendliche auf YouTube? PB21 Talk
Wie und von wem lernen Jugendliche auf YouTube? PB21 TalkWie und von wem lernen Jugendliche auf YouTube? PB21 Talk
Wie und von wem lernen Jugendliche auf YouTube? PB21 Talk
 
Erklärvideos als Medium der Aneignung von YouTube durch Kinder und Jugendliche
Erklärvideos als Medium der Aneignung von YouTube durch Kinder und JugendlicheErklärvideos als Medium der Aneignung von YouTube durch Kinder und Jugendliche
Erklärvideos als Medium der Aneignung von YouTube durch Kinder und Jugendliche
 
Pädagogische Online-Diagnostik funktionaler Analphabeten – technisch machbar...
Pädagogische Online-Diagnostik funktionaler Analphabeten –  technisch machbar...Pädagogische Online-Diagnostik funktionaler Analphabeten –  technisch machbar...
Pädagogische Online-Diagnostik funktionaler Analphabeten – technisch machbar...
 
Aneignung und Transformation massenmedialer 
 und schulischer Erklärstrukture...
Aneignung und Transformation massenmedialer 
 und schulischer Erklärstrukture...Aneignung und Transformation massenmedialer 
 und schulischer Erklärstrukture...
Aneignung und Transformation massenmedialer 
 und schulischer Erklärstrukture...
 
Virtualisierung von Bildungsprozessen
Virtualisierung von BildungsprozessenVirtualisierung von Bildungsprozessen
Virtualisierung von Bildungsprozessen
 
Video communities and collectives for learning
Video communities and collectives for learningVideo communities and collectives for learning
Video communities and collectives for learning
 
Fun Games For Serious Learning? F.R.O.G. 2012 Keynote
Fun Games For Serious Learning?  F.R.O.G. 2012 KeynoteFun Games For Serious Learning?  F.R.O.G. 2012 Keynote
Fun Games For Serious Learning? F.R.O.G. 2012 Keynote
 
The two sides of MOOCs
The two sides of MOOCsThe two sides of MOOCs
The two sides of MOOCs
 
ZMML
ZMMLZMML
ZMML
 
Social media in higher education
Social media in higher education Social media in higher education
Social media in higher education
 
Lernen durch Erklären mit Video - EduCamp Bielefeld
Lernen durch Erklären mit Video - EduCamp BielefeldLernen durch Erklären mit Video - EduCamp Bielefeld
Lernen durch Erklären mit Video - EduCamp Bielefeld
 
How Video Communities Transform Learning and Teaching
How Video Communities Transform Learning  and TeachingHow Video Communities Transform Learning  and Teaching
How Video Communities Transform Learning and Teaching
 
YouTube - das neue Bildungsfernsehen
YouTube - das neue BildungsfernsehenYouTube - das neue Bildungsfernsehen
YouTube - das neue Bildungsfernsehen
 
Lernerfolg und Lernmotivation fördern mit E-Assessment
Lernerfolg und Lernmotivation fördern mit E-AssessmentLernerfolg und Lernmotivation fördern mit E-Assessment
Lernerfolg und Lernmotivation fördern mit E-Assessment
 
MirandaMod: Learning with Video
MirandaMod: Learning with VideoMirandaMod: Learning with Video
MirandaMod: Learning with Video
 
Kompetent Prüfen am PC Workshop 2010
Kompetent Prüfen am PC Workshop 2010Kompetent Prüfen am PC Workshop 2010
Kompetent Prüfen am PC Workshop 2010
 
Bremen sommer universität-2010-partizipativedidaktik20
Bremen sommer universität-2010-partizipativedidaktik20Bremen sommer universität-2010-partizipativedidaktik20
Bremen sommer universität-2010-partizipativedidaktik20
 
Lea Dialog Bremen
Lea Dialog BremenLea Dialog Bremen
Lea Dialog Bremen
 

Chancen Fallstricke E Assessment

  • 1. Chancen und Fallstricke bei der Einführung von E- Assessments an der Universität Karsten D. Wolf Fachbereich 12 Didaktische Gestaltung multimedialer Lernumgebungen eBologna – eStrategien an den Fakultäten Friday Lectures, WiSe 2007/08 14.12.2007 Universität Wien © Karsten D. Wolf 2007
  • 2. Agenda • Notwendigkeiten & Trends • Haken & Ösen • Chancen & Ausblicke • Implementation • Organisation • TestCenter • Gender Mainstreaming • Empfehlungen Karsten D. Wolf ©2007
  • 3. Umstellung Bachelor-/Master- Struktur by: CarbonNYC © Karsten D. Wolf 2007
  • 4. We want credit points! © Karsten D. Wolf 2007
  • 5. Quelle: Johannes Hartig & Nina Jude 2007, S.30 © Karsten D. Wolf 2007
  • 6. © Karsten D. Wolf 2007
  • 7. http://tinyurl.com/2esxkd Martin Ripley 2006 © Karsten D. Wolf 2007
  • 8. mündliche und „alternative“ Prüfungsformate? http://tinyurl.com/2esxkd Martin Ripley 2006 © Karsten D. Wolf 2007
  • 9. mündliche und „alternative“ Prüfungsformate? http://tinyurl.com/2esxkd Martin Ripley 2006 © Karsten D. Wolf 2007
  • 10. + © Karsten D. Wolf 2007
  • 11. Pro und contra: Studenten • Sofortige Bereitstellung des • Benachteiligung von Personen mit Prüfungsergebnisses geringerer Computerkompetenz (digital literacy, 10-Finger- Schreiben) • Objektive, transparente und fehlerfreie Klausurbewertung • Benachteiligung von Personen mit negativer Einstellung zu • differenziertes Feedback Computern • vereinfachte Vorbereitung durch • Probleme bei der Konzentration online-Training unter Verwendung (Computermonitor, Lüfterlärm, der gleichen Fragenkataloge Tastaturgeklapper…) ➙ Stress? • Datenschutz? in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf
  • 12. Akzeptanz durch Studierende: Benutzbarkeit Bücking / Schwedes (2005) © Karsten D. Wolf
  • 13. Akzeptanz durch Studierende: Raum - Lüftung - Lautstärke - Temperatur - Platzangebot Bücking / Schwedes (2005) © Karsten D. Wolf
  • 14. Akzeptanz durch Studierende: Rückmeldung 35,5% Generelle Zustimmung 4% Totalablehnung Achtung: FB WiWi Bücking / Schwedes (2005) © Karsten D. Wolf
  • 15. Pro und contra: Lehrende / Prüfungsautor(inn)en • Enorme Arbeitsentlastung durch • Hoher Initialaufwand zur automatische Auswertungsverfahren Digitalisierung vorhandener Fragen & Verwaltung und Aufbau eines hinreichend großen Fragenkataloges • Effiziente Unterstützung bei Freitextfragen-Korrektur • Prüfungsdesign wird durch Technik beschränkt • Wiederverwendbare und „kollaborative“ Fragenkataloge • technische Manipulationsmöglichkeiten (während und vor der Prüfung) • Qualitätssicherung und - verbesserung in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf
  • 16. Pro und contra: Prüfungsverwaltung • Vereinfachte • Initiale Zusatzbelastung durch Organisationsabläufe durch Im- Umstellung auf neue Arbeitsabläufe und Export von • Rechtliche Absicherung • Teilnehmer(innen)listen und • Durchführungsorganisation • Ergebnissen • Datenschutz & -sicherheit zwischen Prüfungsverwaltungssoftware (FlexNow!) und Prüfungssoftware in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf
  • 17. Pro und contra: Allgemein • Kosteneinsparung • Stabilität & Zuverlässigkeit • Mögliche Erstellung komplexer • Qualitätsverlust des Studiums und interaktiver Fragen durch durch reine Wissenstests Multimediaelemente in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf
  • 18. Simulationsrechnungen: Wann lohnt es? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 19. Simulationsrechnungen: Wann lohnt es? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 20. Simulationsrechnungen: Wann lohnt es? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 21. Simulationsrechnungen: Wann lohnt es? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 22. Simulationsrechnungen: Wann lohnt es? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 23. Simulationsrechnungen: Wann lohnt es? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 24. Vergleich der drei Szenarien: Break-Even Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 25. Durchführung: Wer ist beteiligt? • Lehrkräfte / Autor(inn)en (Profs, Mitarbeiter) • Aufsichtskräfte (Lehrstühle) • Verwaltung (Prüfungsamt) • Editoren für E-Aufgaben (Lehrstühle ↔ zentrale Einrichtung) • E-Assessment Beauftragte (Fachbereiche) • E-Learning Support (zentrale Einrichtung) © Karsten D. Wolf
  • 26. Lehrkräfte / Autor(inn)en • Entwicklung • Fragen • Antworten • Distraktoren • Beurteilungsschema • Qualitätskontrolle • Fragen • Umsetzung der Fragen • Endgültige Abnahme des Fragenkataloges • Analyse und Überarbeiten der Fragen nach Klausuren © Karsten D. Wolf
  • 27. Lehrkräfte / Autor(inn)en • Entwicklung • Fragen Woh • Antworten diese er ko • Distraktoren Qual mmt • Beurteilungsschema ifika • Qualitätskontrolle • Fragen tion? • Umsetzung der Fragen • Finales Absegnen des Fragenkataloges • Analyse und Überarbeiten nach Klausuren © Karsten D. Wolf
  • 28. © Karsten D. Wolf 2007
  • 30. © Karsten D. Wolf 2007
  • 31. Alternative Assessment © Karsten D. Wolf 2007
  • 35. Alternative Assessment Formative Verfahren E-Portfolio Learning about Learning by Assessment © Karsten D. Wolf 2007
  • 36. Alternative Assessment Formative Verfahren E-Portfolio Learning about Learning by Assessment Learning by Design © Karsten D. Wolf 2007
  • 37. Alternative Assessment Formative Verfahren E-Portfolio Learning about Learning by Assessment Learning by Design Learning by Assessing © Karsten D. Wolf 2007
  • 38. Alternative Assessment Formative Verfahren E-Portfolio Learning about Learning by Assessment Learning by Design Learning by Assessing Learning to be © Karsten D. Wolf 2007
  • 39. Quelle: Falko Rheinberg © Karsten D. Wolf 2007
  • 40. Innovationsbereiche beim E-Assessment • Simulation • Realitätsnähe • Feedbackkomponenten • Explorationsmöglichkeiten • Automatisierte Bewertung von Essays • Data Mining der Lösungsprozesse von Experten zur Erstellung von K.modellen / -profilen. • Autorenwerkzeuge für fachspezifische Tests/Sims • Einbindung in E-Portfolios • Kompetenzmessung in Gruppen © Karsten D. Wolf
  • 41. Innovationsbereiche beim E-Assessment • Verbesserung der Messmodelle (Rasch Skalierung) • Tests werden in den Lehr-Lern-Prozess integriert • Transfer wird durch authentische Aufgaben erleichtert • Erreichen eines Kompetenz„levels“ kann beim Lernen & Arbeiten erreicht werden • Keine speziellen Prüfungen mehr notwendig • Durch Testbänke keine festen Prüfungstermine mehr • Kombination in Form von Blended Assessment © Karsten D. Wolf
  • 42. © Karsten D. Wolf 2007
  • 43. Collegiate Learning Assessment (Klein / Benjamin / Shavelson / Bolus 2007) http://www.cae.org/content/pro_collegiate.htm © Karsten D. Wolf
  • 44. E-Selection / E-Recruitment & Recrutainment • Auswahlverfahren für BA und MA • Uni Bremen WiSe 2006: 2355 Studienanfänger ❖ wachsende Anzahl von Master-Studiengänge © Karsten D. Wolf
  • 45. © Karsten D. Wolf 2007
  • 46. Implementation © Karsten D. Wolf 2007
  • 47. Neue Personen • Editoren • Entwicklung Fragevorlagen • Umsetzung der Fragen in Editor • Qualitätskontrolle • Fragekatalog pflegen • E-Assessment Beauftragte • Projektmanagement (120 Tage Vorlauf!) • Administration des E-Assessment-Servers (mandantenfähig) • Einweisung Autoren, Editoren und Aufsichtspersonal • Testläufe organisieren © Karsten D. Wolf
  • 48. Änderungen für bestehende Rollen • Verwaltung (Prüfungsamt) • Administration der Prüfungen im System (Buchungen, Termine) • Anpassung des Materials für die Durchführung von Examen • Archivierung der Examensdaten • Resultate • Protokolle • Logfiles • Aufsichtspersonal • Vorbereitung der PC-Pools • Technische Assistenz und Problembehebung © Karsten D. Wolf
  • 49. Fülle von Arbeitsplänen: Überblick Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 50. Arbeitsplan „Lehrstuhl“: Fragenkatalog erstellen Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 51. Arbeitsplan „Prüfungsamt“: Vorbereitung eines E-Examens Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 52. Beispiel: eExaminations an der Uni Bremen • Dezember 2004 - April 2006 • 14 E-Examen (11 in BWL/WiWi) • 5669 Studenten (ø 405 Kandidaten pro Examen, 47–962) • ø 20 PCs pro Raum (10–54) • ø 24 Wiederholungen / Examen (5–64) • Max. 7 Räume / Tag und 6 „Slots“ pro Tag • Hoher Organisations-Overhead Quelle: ZMML Uni Bremen © Karsten D. Wolf
  • 53. Beispiel: Durchführungsplan Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 54. 30 30 30 30 ZMML Uni Bremen - Realisierung WiSe 2007 © Karsten D. Wolf 2007
  • 55. PC-Pool oder E-Testcenter? • Starke Reduzierung der Aufsichtsstunden • Höhere Sicherheit • Autonome LANs • Arbeitsabläufe können optimiert werden • Leichtere Unterstützung z.B. von Simulationen als Testumgebung • Ggf. Nutzung für Forschungsfragen • Rückkehr zum „alten“ CIP-Pool? • Nutzung außerhalb der Prüfungszeiten? © Karsten D. Wolf
  • 56. © Karsten D. Wolf 2007
  • 57. © Karsten D. Wolf 2007
  • 58. © Karsten D. Wolf 2007
  • 59. © Karsten D. Wolf 2007
  • 60. © Karsten D. Wolf 2007
  • 61. © Karsten D. Wolf 2007
  • 62. © Karsten D. Wolf 2007
  • 63. © Karsten D. Wolf 2007
  • 64. E-Learning Support: ZMML Uni Bremen • E-Assessment als Dienst einführen und anbieten • Beratung und Training der beteiligten Personen • Technische Vorbereitung der PC-Pools • Anbindung an andere IT-Dienste • Zusammenarbeit mit Softwarefirma (Anpassung) • Notfallteam für die Dauer der Prüfungsperiode zusammenstellen • Implementation zunächst nur mit einem Fachbereich • Kooperation mit einer Softwarefirma © Karsten D. Wolf
  • 65. Testumgebung L-Plus © Karsten D. Wolf 2007
  • 66. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • 67. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • 68. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • 69. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • 70. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • 71. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • 72. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • 73. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • 74. Komplexere Aufgabe Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 75. Zusammenfassung: Wann ist das sinnvoll? • Mehr als 300 Kandidaten pro Prüfung • Mehr als 50 Rechner pro Raum • Lange Korrekturzeiten pro Frage (> 30 Sekunden / Frage) • Kurze Klausuren (bis 2 Stunden) mit vielen Fragen • mögliche Alternative: Scanlösung Paper&Pencil MC Test • Alternativen: Kooperation von Autorinnen und Autoren • Alternativen: (Vor-)Erstellung von Items durch Studierende © Karsten D. Wolf
  • 76. Gender Mainstreaming von eAssessment? © Karsten D. Wolf 2007
  • 81. Gender spezifische Computer Einstellungen und Fertigkeiten nach Whitley 1997
  • 83. PISA 2003 - Gender Differences Mädchen Jungen Computerspiele 35% 70% Software runterladen 25% 51% Musik runterladen 40% 56% Informationen suchen 50% 59% Zusammenarbeit 27% 36% Kommunikation 55% 56% Programmieren 16% 30% Graphikprogramme 26% 34% Tabellenkalkulation 18% 24% Textverarbeitung 49% 48%
  • 86. Keine Unterschiede der Internet Expertise computer expertise computer usage internet expertise internet usage n=108 (Wolf 2007)
  • 87. Evaluation der Lernumgebung Kompliziert Wisse wie… Schaue mehr Spaß andere Arbeiten an n=108 (Wolf 2007)
  • 88. Prozessunterschiede: Kommunikation n=36 (Wolf/Prasser 2006)
  • 89. So wie das Internet eine Alltagstechnologie wird… Pew Institute 2005
  • 90. Gender-sensitive Sprache und Lernmaterial (Auszug aus Pravda 2003) • Sexistische Sprache vermeiden / austauschen • In Beispielen Gender und deren Reihenfolge abwechseln • Möglichst Gender-neutrale Begriffe verwenden • Inhalte aus mehreren Perspektiven beschreiben • Lebenserfahrung beider Gender integrieren • Gender Hierarchien und Stereotype entfernen • Neue Rollenmodelle für beide Gender anbieten
  • 91. Zusammenfassung: Erfahrungen bisher • Entlastung und Verbesserung • Uni Bremen als Vorreiterin • Dauerhaftes Thema an Hochschulen (Trend) • Technische und organisatorische Professionalisierung • Verstetigung statt Pilotprojekte • Hohes Innovationspotenzial für Hochschullehre • Aktuelles Forschungsthema • TestCenter bietet ideale Voraussetzungen © Karsten D. Wolf
  • 92. FB 12 Erziehungs- und Bildungswissenschaften Didaktische Gestaltung multimedialer Lernumgebungen http://www.ifeb.uni-bremen.de/wolf wolf@uni-bremen.de http://www.zmml.uni-bremen.de/
  • 93. Literaturempfehlungen Thomas M. Haladyna (2004). Developing and Validating Multiple- Choice Test Items. Lawrence Erlbaum Associates. Steven M. Downing & Thomas M. Haladyna (2006). Handbook of Test Developing. Lawrence Erlbaum Associates. Jürgen Rost (2004). Lehrbuch Testtheorie – Testkonstruktion. Huber. © Karsten D. Wolf
  • 94. Literaturempfehlungen Trevor G. Bond & Christine M. Fox (2007) Applying The Rasch Model. Lawrence Erlbaum Associates. Mark Wilson (2005). Constructing Measures. Lawrence Erlbaum Associates. Albert Maydeu-Olivares & John J. McArdle (2005). Contemporary Psychometrics. Lawrence Erlbaum Associates. © Karsten D. Wolf