Projekt Digital tentamen II - SUNET Inkubator, våren 2018
Presentation e-tenta och Dugga för Södertörns högskola
1. Om e-tenta med Dugga
Exempel på olika typer av lösningar för att komma
igång med digitala prov och digital examination.
Samverkansgruppen IKT/Lärmiljöer –
Mats Brenner, IKT-pedagog
Presentation SH, 2020-06-18
2. Presentationen idag för SH
• Analys av salstentafrågor, för att skapa
bättre e-tentor
• Fallbeskrivningar, tre (3) pilottentor
• Rättssäker examination online,
systemlösningar
• Om Dugga
• Frågor & Svar
3. Salstentan – en av flera
examinationsformer
Papperstentamen är endast en av över 30-
tal examinationsformer.
Hemtentor och inlämningsuppgifter är ofta
digitala.
Dock så har flera andra examinationsformer
inte digitaliserats.
Framförallt så sker nu digitalisering av
papperstentamen till digital tentamen.
Gruppinlämningar t ex görs ofta i en och
samma Wordfil istället för Wiki – med
spårbarhet i historik.
Inlämning och feedback med video, ljudfiler,
digitala poster etc sker ännu i begränsad
form
Hantering av öppen offentlig data – för mer
autentisk examination är ännu begränsad.
REF: http://www.provainfact.se/publish/examination/9127-
Examinationsformer___vanliga_och_mindre_vanliga/index.html#/929
1
5. Salstentan – fördelar och nackdelar
och nackdelar
Fördelar
• Salsskrivningar är rättssäkra då det exempelvis
minskar riskerna för olika former av fusk.
• Formen är välbekant för de flesta studenter.
• Med genomtänkta strategier, uppgifter och
bedömningsgrunder kan djupinlärning stimuleras.
Nackdelar
• Salsskrivning kan vid ovarsamhet uppmuntra
ytinlärning.
• Studenterna kan vara pressade av
tidsbegränsningar och att vara i form vid tillfället
för salsskrivning
• Uppgifter som stimulerar djupinlärning kan ge
hög rättningsbörda för läraren.
6. Uppgiftstyper – olika i tester/prov
och studieuppgifter
Vilka uppgifter man kan fånga kunskaper med
prov/test, med olika uppgiftstyper eller tester och
prov t ex för studieuppgifter kan ju vara:
• Iterativa (bygga på varandra)
• Ipsativa (krav på förbättring mellan versioner)
• Kumulativa (bygga på en ansamling)
7. Aktiviteter för undervisning och lärande
Inhämta kunskap
Studenter kan inhämta kunskap
via föreläsningar, genom att läsa
litteratur, lyssna på podcast,
genomgångar och
demonstrationer på campus eller
i digitalt format.
Samarbeta
Studenter lär sig via samarbeten,
gemensamma övningar och
diskussioner. Studenternas
kunskap utvecklas genom ett
utforskande arbetssätt.
Resultatet redovisas i ett
gemensamt grupparbete.
Diskutera
I en diskussion uppmuntras
studenten att själv formulera sina
idéer och frågor. Studenten
argumenterar, utmanar och ger
respons på andra studenters
och/eller lärares idéer och frågor.
Utforska
Lärandet sker genom att
studenten undersöker, utforskar,
jämför och kritiserar texter och
andra resurser vilka speglar olika
begrepp, modeller och tankesätt.
Tillämpa och praktisera
När studenten tillämpar och
praktiserar sin kunskap, tränas
förmågan att ta sig an olika
uppgifter och att utifrån feedback
förbättra sin prestation. Feedback
kommer från studiekamrater,
lärare, via självreflektion eller via
aktiviteten i sig själv.
Skapa
Den kunskap studenten tillägnat
sig bekräftas och befästs genom
studentens eget skapande.
Studenten motiveras att
formulera och uttrycka sin
nuvarande begreppsmässiga
förståelse och att visa hur den
praktiskt kan tillämpas.
Learning types, Diana Laurillard, IoE 2012 | Connected Curriculum, Dilly Fung, CALT, 2014 | ABC curriculum design workshop and resources, Clive Young and Natasa Perovic, Digital
Adapted from ABC workshop resources, ABC Learning Design,
UCL.
By Clive Young and Natasa Perovic. Available at:
https://blogs.ucl.ac.uk/abc-ld
8. Aktiviteter för undervisning och lärande
Inhämta Samarbeta Diskutera
Utforska
Skapa
läsa böcker, artiklar
lyssna på lärares presentationer
vid fysiska möten, föreläsningar
demonstrationer, master classes
Läsa
multimediapresentationer,
websajter, digitala dokument
och andra digitala resurser
lyssna på podcaster
se på animationer,
videopresentationer
❑ Läsa litteratur,
böcker, artiklar
❑ Aktivt deltagande vid
föreläsningar och
presentationer
❑ Aktivt deltagande vid
demonstrationer,
master class
❑ Inspelade föreläsningar,
poddar och presentationer
❑ Ta in föreläsare på distans
(nyttja videosalar)
❑ Webbinarier
❑ Digitala böcker, artiklar,
dokument…
❑ Webbsidor, multimedia
❑ Videobaserat material,
animationer, digitala
förevisningar
❑ Mindre grupprojekt
❑ Diskutera och utveckla
varandras arbeten
❑ Skapa och utveckla
gemensamma resurser,
texter, presentationer,
demonstrationer
❑
❑
❑
❑
❑
❑
❑ Bygga gemensamma wikis
Nyttja onlineforum,
videomötesteknik mm
❑ för att diskutera varandras
arbeten i mindre grupper
❑ Utvecklagemensamma
arbeten med hjälp av
digitala verktyg
❑ Presentera resultat i olika
digitala format
❑
❑
❑
❑ Handledning
❑ Diskussionsgrupper
❑ Seminarier
❑ Kurs- och/eller
programgemensamma
diskussioner
❑
❑
❑
❑
❑
❑
❑
❑ Diskussionsforum
❑ Seminarier via webb/video-
konferens
❑ Webbinarier
❑ Synkron och asynkron
kommunikation via digitala
verktyg
❑ Handledning på distans
❑
❑
❑
❑
❑ Insamling och analys av
data (intervju, enkät,
fokusgrupper mm)
❑ Söka fram och utvärdera
relevant information och
fakta
❑ Jämföra och analysera
text- eller sifferbaserat
innehåll,
konstnärliga
uttrycksformer,
olika typer av produkter
❑ Utforska med hjälp av
digitala guider och resurser
❑ Analysera idéer och
information som hämtas
via digitala resurser
❑ Använda digitala verktyg
för att samla in och
analysera data
❑ Jämföra digitala texter
❑ Använda digitala verktyg
för utvärderingar
❑ Verksamhetsförlagd
utbildning
❑ Tillämpa sin kunskap via
olika typer av övningar och
laborationer
❑ Utveckla projekt där
teoretisk kunskap
tillämpas praktiskt
❑ Studiebesök
❑ Rollspel
❑ Pappertentor
❑
❑
❑ Webbaserade övningar
❑ Simuleringar
❑ Virtuella labmiljöer
❑ Övningar i 3D-miljöer
❑ Självrättande tester
❑ Rollspel – online
❑ Digitala modeller
❑ Virtual reality
❑ E-tenta (High Stake Exam)
❑
❑
❑
❑
❑ Skapa och producera:
❑ Design/konstruktion
❑ Performance/förevisning
❑ Framträdanden
❑ Artefakter
❑ Modeller
❑ Skapa och producera
texter i olika former:
❑ Essäer
❑ Rapporter
❑ Redogörelser/referat
❑ Digitala dokument och
presentationer
❑ Spela in/digitalisera
framträdanden, modeller
❑ Skapa animationer
❑ Skapa bilder,
videoproduktioner
❑ Digitala artefakter
❑ Bloggar, vloggar
❑ Sammanställa e-portfolios
❑ Open Book-exam
❑
Skapa
Traditionell metod Digital teknik Traditionell metod Digital teknik
Traditionell metod Digital teknik
Traditionell metod Digital teknik
Traditionell metod Digital teknik
Tillämpa och praktisera
Traditionell metod Digital teknik
Learning types, Diana Laurillard, IoE 2012 | Connected Curriculum, Dilly Fung, CALT, 2014 | ABC curriculum design workshop and resources, Clive Young and Natasa Perovic, Digital Education,
Adapted from ABC workshop resources, ABC Learning Design,
UCL.
By Clive Young and Natasa Perovic. Available at:
https://blogs.ucl.ac.uk/abc-ld
9. Aktiviteter för undervisning och lärande, S – Synligt lärande. B – kan Bedömas (F eller S)
Utforska
Intervjua en expert (video / forum / chatt) S
Kritisk granskning av litteratur (forum / blogg /
wiki / RSS) S / B
Utveckla flervalsfrågor - med automatisk
återkoppling S / B
Utveckla gemensamt resursbibliotek
(databas/ ordbok / wiki) S / B
Utveckla presentationer, posterpresentationer
S / B
Redovisa utveckling och resultat i e-portfolio
(It¨s Learning) S / B
Fallstudier (forum, lektion) S / B
Sammanfattning av uppgifter (ladda upp
texter - enskilt eller i grupp) S / B
Skapa mindmaps (extern) S
Spela in presentationer (multimedia) S / B
Spela in kommentarer eller blogga om
ditt/gruppens framförande (media) S / B
Gör en presentation av ditt ämne i valfritt
medium (extern) S / B
Videoblogg (webb) S / B
Skriv en rapport (webb) S / B
Gör en analys (webb) S / B
Fallstudier S / B
Avancerat rollspel - du är konsult etc. S
Handlingsplan för vidare studier S / B
Skriv ett paper S / B
Förbered en professionell presentation S / B
Gör en fältstudie och dokumentera (studie) S
/ B
Skapa podcast (media) S / B
Intervjua specialister inom området S / B
Utveckla områden, och former för
samarbeten S / B
Open Book Exam S / B
Tillämpa och praktisera Skapa
Websökning (forum, wiki) S
Öppna lärresurser (webb) S
Kritisk granskning av litteratur (forum / blogg /
wiki / RSS) S
Fältstudier / observationer (media / blogg /
wiki) S
Aktionsforskning S
Forskning/dataanalys - skriva paper S
Leda grupprojekt S
MCQs - formativ med automatisk
återkoppling S / B
Online rollspel (forum, lärplattform) S
Reflekterande uppgifter – i grupp eller
individuellt (forum) S / B
Fallstudier (forum, lektion) S / B
Fältstudier(forum) S / B
Avancerat rollspel - du är konsult etc. S
E-tenta S / B
;
Inhämta kunskap
Inläsning (biblioteksresurser mm)
Öppna lärresurser (webb)
Podcast (mediaspelare) S
Webbinarer (virtuella rum) S
Q & A forum (forum där lärare svarar på
studenternas frågor) S
Inspelade föreläsningar (lärplattform mm)
YouTube-inspelningar (mediaspelare)
Fält-/lab observationer (media/blogg/wiki) S
Flervalsfrågor - frågebank med
automatisk återkoppling S
Samarbeta
Samarbete i wiki - vad vet vi om ...? S / B
Utveckla gemensam resurs (databas / ordbok
/ wiki) S
Sociala nätverk – aktivt deltagande (webb) S
Intressegrupper - dela kunskap inom ett visst
område (forum) S
Agera mentor för andra studenter S
Intervjua en expert (forum / chatt) S
Webbinarer (virtuella rum) S
Diskutera exempelsvar / exempel från
tidigare uppgifter (forum) S
Arbetsrelaterat / professionella reflektioner
(blogg) S / B
Ämnesrelaterade gruppdiskussioner,
problem, problemlösning (chatt / blogg / wiki)
S / B
Sociala nätverk – aktivt deltagande (webb) S
Reflekterande uppgifter – i grupp eller
individuellt (forum) S / B
Diskutera
Adapted from ABC workshop resources, ABC Learning Design,
UCL.
By Clive Young and Natasa Perovic. Available at:
https://blogs.ucl.ac.uk/abc-ld
10. Onlinetentor – stor spännvidd
Många
flersvars-
frågor på
kort tid.
Automat-
rättas
Open Book
exam.
Hem-tentor
med få
långa essä-
frågor.
12. Har våra papperstentor
validitet & reliabilitet?
• Standard error of measurement (SEM),
Analyzing individual questions (items).
Discriminator (incorrect options) discrimination,
Difficulty index, Cronbach-alpha, Writing Good
Multiple Choice Test Questions,
• Multifactor evaluation (Learning Analytic) - With
Exam overview (i realtid, faktabaserat
beslutsunderlagstyrka valet av
examinationsfrågorna)
• Pass marks, pass/fail, Grade, pass mark, pass
rate, discrimination
• Question preformance (Pearson’s % item
discrimination)
• Candidate performance, score discrimination
Avarage SD
• Difficulty vs Discrimination
• Excluded items
Reliability consistency,
reproducibility - a reliable
test (repeat the test with
the same results).
Cronbach-alpha, measure
over 0.0 considered good
.90 and up excellent
.80-.89 good
.70-79 adequate
Below .70 lower or
acceptable
Item discrimination is
measured in two
different ways. 20%
low and 20% highest.
The range are +1 to -1.
Above 0.4 very good
Above 0.2 OK
Below 0.1 Little or no
value
Below 0.0 Negative
impact on test, should
be removed
Discriminator (incorrect options) discrimination
Measure how well the incorrect answers distract from the correct
answer
If distractor is never or seldom chosen, then why have them
Rewriting distractor can improve a question
Difficulty index
Easy or difficult
Different from item
discrimination
Q close to 100% correct don’t
add not any value
Incorrect most are also poor
question
20% (in 1 out of 5) means 80-
40% is good, an indicator that
the question has a problem
13. Projekt Digital tentamen II projekt –
Digital tentamen II
Rapporten Datoriserad
tentamen (170 sidor) –
som ger en översikt hur
digitalisering av
arbetsprocesserna kan
genomföras från ax till
limpa av den traditionella
papperstentamen med
salsskrivning.
Webbplats:
http://bit.ly/2zmN4y6
14. Fördelarna – digital examination
Fördelarna – flera representationsformer för både formativ och
summativ examination, feedback och bedömning.
• Att använda video, ljudfiler, simuleringar (multimedia)
• Att använda digitala annoteringar, kommentarer, feedback i
t ex pdf-filer eller webbsidor
• Att använda kommenterar från andra studenter - peer
review / kamratbedömning, kollegial bedömning
• Att använda digitala bedömningsmallar (Rubrics)
• Att lärarna enklare och flexiblare kan ge samma feedback
till flera/alla studenter som har liknande svar
• Utveckla digital examination på distans (Online Proctoring)
15. Fördelarna – digital tentamen
Fördelarna (Brenner & Sandström, 2015) med datoriserad
tentamen är bl a att bedömning/rättning kan ske snabbare
(30-70%) och bättre med högre kvalitet utförd, då det blir
enklare när studenternas svar är digitala – då framförallt
genom:
• Att använda digitala bedömningsmallar
• Att fler lärare är med och granskar/gör bedömning med
rättningsprotokoll (Moderation)
• Att studenternas svar är och lärarnas bedömning är
anonym
• Att lärarna kan sitta var som helst för att göra sin
rättning/bedömning
• Att lärarna enklare och flexiblare kan kommentera i
dokument, markera på bilder m m som feedback till
studenter
16. Fler fördelar än nackdelar…
lärare/examinator
• Översiktligt och enkelt med fler representationsformer
• Tidsbesparande, mindre arbetstid behövs emot
manuellt för rätta/bedöma
• Enklare bedöma, hitta de som gjort samma fel och
därmed få en bättre och mer likvärdig bedömning
• Sparar tid i utformning och poängsättning
• Kan ha flera examinatorer (rättningsprotokoll)
• Kan ha negativa poäng, ge extra poäng
• Använda plausibla svar och goda distraktorer
• Kan ha mallar för tenta (antal frågor, typ av frågor,
begränsar/standardiserar)
• Kan använda 3:djeparts applikationer – streaming av
programvara för autentisk tenta
• Spara och återanvända frågor i frågebank
• Enklare utvärdera frågor och frågetyper
• Plagiatkontroll går genomföra
• Prestationerna bättre – läsbart, omdisponerad text, kan
infoga bilder/skisser
• Anpassning för studenter med funktionsvariationer
förbättras
18. Analysera först salstentorna
• Randomiserat urval, 10 till 20 st räcker
• Ger en bild och insikt i typer av tentor
och typer av tentafrågor
• Ger underlag för kompetensutveckling
kring förbättra konstruktion av frågor
19. Läge att ändra frågetyperna
Öppna frågetyper Automaträttade frågetyper
Öppen fråga (antal ord från max 100
– 400)
Flerval (3 – 4 alternativ)
Case, öppen fråga Flersvarsfråga (3-6 alternativ, t ex 2
rätt)
Para ihop (matcha)
Matematik (Läkemedelsberäkning) Bildfråga, markera (anatomi)
Undersökningsmaterial – data: Randomiserat urval, 12 papperstentor, flertal ämnen representerade.
20. Frågetyper – lärnivå (taxonomi)
Frågetyp Ord i tentorna
(aktiva verb)
Blooms
Taxonomi
(kunskaps-
dimensionen)
SOLO
Taxonomi
Öppen fråga (antal
ord från max 100 –
400)
Ange, Nämn, Beskriv,
Begrepp, Ange olika
sorter, Vad menas,
innebär, Verkar, Råd,
Vilka, Skillnad, Typ av,
Innebär, o/påverkbara
faktorer, Dominerad
orsak, typ, Viktigaste,
Observerbar, Exempel,
Vilka instrument,
bedömningar, Betyder,
Vilket
Faktakunskap
Begreppskunskap
Procedurkunskap
Metakognitiv
kunskap
Jämföra
Kontrastera
Förklara samband
Analysera
Relatera
Tillämpa
21. Case-frågor i tentorna – kvarstå
Case, öppen fråga SOLO Taxonomi
Aktiva verb, ord i tentafrågorna Jämföra
Kontrastera
Förklara samband
Analysera
Relatera
Tillämpa
22. Automaträttande frågetyperna
Frågetyp SOLO taxonomi
Flerval (3 – 4 alternativ) Numrera
Beskriva
Lista
Kombinera
Flersvarsfråga (3-6 alternativ,
t ex 2 rätt)
Numrera
Beskriva
Lista
Kombinera
Para ihop (matcha) Identifiera
Göra enkla procedurer
Bildfråga, markera (anatomi) Identifiera
Göra enkla procedurer
24. Konsten skriva bra flervalsfrågor
Skilj mellan Single
Best Answer (SBA)
och nyare
scenariobaserade
frågetypen Extended
matching questions
(EMQ)
REF. How to write good multiple-
choice questions, Dianne E Campbell
(2011)
25. Fallbeskrivning: 3 onlinetentor
• Juristenta i 6 tim med online-
tentavakter via Teams (Teams i mobilen
för tentanderna)
• Vårdtenta om Djur i vården, avancerad
hemexmination på tid med referenser
enligt APA
• Läkemedelsräkning, examinator back-
office. Inlämna verifikat på uträkningar
26. Juristentan
• Både FUNKA och icke funka studenter
• ReadSpeaker, för talsynktes
• Code of conduct – Uppförandekod
• Känna sig bevakad eller inte
• 13 essäfrågor i 6 tim
27. Hemtenta - avancerad
• Fick frågor en vecka innan
• Rättstavning på svenska
• 4 öppna frågor (med plagiatkontroll)
• Fick samma tid och referera enligt APA
• Nu 4 sätt ge återkoppling och feedback
28. Läkemedelsräkning
• Frågetypen ”Lucktext” – skriv rätt svar i
en text
• Övervaka: Team i mobilen för tentanden
• Lång tenta – tentavakt behöver avbytare
• Uppförandekod behövs för tentanden
• Uträkningarna verifieras med lämna in
en bild, foto taget med mobilen
29. Rättssäker examination
• Vem skriver
• Sker fusk när den skriver
• Behövs online-tenta eller salstentavakt
• Systemlösningar som stöd
• Uppförandekod vid online-tenta
30. Säkerhet -
Level of
Assurance
MINSKA FUSK - PUBLICERINGFORM
MINSKA FUSK - EXAMINATIONSFORM
Randomisera frågor med frågebank
En fråga åt gången
Låsa skärm – ingen
internet
Övervaka dataskärm
Ej kunna backa
Avskärma
32. Säkerhet i systemlösningen – med låst skärm. Student kan inte
komma åt Internet eller andra resurser på datorn
Säker webbläsare:
1.Respondus Lockdown
Browser (Licens)
2.SEB (Open Source)
35. Varför Dugga?
• Frågetyper, 20 st (plagiatkontroll URKUND)
• Många återkopplings-/feedbacktyper (4 st)
• Enkel Onboarding – Hjälpwiki på svenska med färdiga
instruktionsfilmer
• Enkelt för tentavakter
• Flera säkerhetslösningar
• Enkel navigering, intuitivt mjukvarugränssnitt och Usability
• Accessibility, rättstavning/talsyntes (Readspeker)
• Utformat av lärare för lärare
• Finns i Stockholm, Sverige (närstöd)
• Integrering med Teams och LMS
36. Frågetyperna
Essä - Flerval - Korrekt svar - Begrepp
• Matematik (avancerad typ i höst)
Matcha - Klicka text - Rätt plats - Ordna
Markera - Lucktext - Luckmeny Sant/Falskt
• Uppgift
• GeoGebra
37. Kritiska design-principer –
digitalisering
• Underhållsmässighet: Om lösningen kan anpassas eller återa
nvändas för att möta mer än ett behov/möta flera behov.
• Kompatibilitet: Om lösningen kan dela information med andra
lösningar så att användare kan dra fördel.
• Effektivitet: Om lösningen driver kostnads-
och tidsbesparingar.
• Maintainability: Whether the solution can be adapted or
reused to meet more than one need.
• Compatibility: Whether the solution can share information with
other solutions such that users can benefit.
• Efficiency: Whether the solution drives cost and time savings.
REF: When.. ”decide that the fundamental design principles for supporting educational technology are agility and
interoperability – all technology must enable adaptation to changing environments.” URL: https://encoura.org/helping-
institution-realize-vision-five-edtech-companies-watch/ och http://pubs.opengroup.org/architecture/togaf8-
doc/arch/chap29.html
38. De kritiska faktorerna vid
införandet
Ledarskap från toppen
Institutionellt engagemang och investeringar
Robust och tillförlitlig infrastruktur
Effektivt och tillgängligt stöd & utveckling för akademisk
personal
Förmåga att demonstrera fördelarna av upplevelse för
student, lärare och administrativ personal
Evidensbaserat beslutsfattande och en kontinuerlig
förbättringscykel