Slides bij de keynote op het SBO-congres

1. EFFECTIEF LEREN EN
FORMATIEF EVALUEREN
TOETSEN EN
EXAMINEREN IN
HET HO
Tim Surma
@timsurma

2. WIE BEN IK?
LERAAR/DOCENT EN ONDERZOEKER

3. Georges Seurat

4. Georges Seurat

5. Georges Seurat

6. Georges Seurat

7. Georges Seurat
CiprianStratulat
MarilynMylrea
Ron Schlorff

8. ENKELE PROBLEMEN MET ONZE PRESTATIE
VERONDERSTELLINGEN WAAROM WE TOCH NIET HOEVEN TE JUICHEN
Studenten en docenten
• verwarren prestatie tijdens het oefenen met
langetermijnleren.
• zien vlot kunnen oefenen als een comfortabele geruststelling.
• zien toetsen als een assessment van wat al geleerd is.
• zien gemaakte fouten als tekortkomingen.
Keynote presented at the Columbia University Science of Learning Symposium, New York, NY.

9. PRINCIPES DIE HET LABO OVERLEEFDEN
EVEN DUIKEN IN DE EVIDENCE BASE VAN DE COGNITIEVE PSYCHOLOGIE
1
2
3 LEERSTRATEGIE EN FORMATIEF EVALUEREN
RICHTLIJNEN VOOR DE PRAKTIJK
WAAROM WE OOK VANDAAG NOG LEREN

10. Verschil in soorten conclusies uit beoordelingsresultaten.
• FORMATIEF - acties die de student het beste kunnen helpen
om te leren.
• SUMMATIEF - status van de student, toekomstig potentieel.
Black, P., & Wiliam, D. (2018). Classroom assessment and pedagogy. Assessment in Education: Principles, Policy &
Practice, 25(6), 551-575.
LEREN EN FORMATIEF EVALUEREN
SIMPELE DEFINITIES VAN FORMATIEF EN SUMMATIEF EVALUEREN

11. LEREN EN FORMATIEF EVALUEREN
EEN NOG SIMPELER DEFINITIE VAN LEREN
Leren binnen cognitieve wetenschappen als een
verandering in het langetermijngeheugen.
Leren moet effectief, efficiënt en aangenaam zijn.
Kirschner, P. A., Sweller, J., & Clark, R. E. (2006). Why minimal guidance during instruction does not work: An analysis of
the failure of constructivist, discovery, problem-based, experiential, and inquiry-based teaching. Educational
psychologist, 41(2), 75-86.

12. Moeten we dat
nog kennen?
De student (heden)

15. Chase, W. G., & Simon, H. A. (1973). Perception in chess. Cognitive psychology, 4(1), 55-81.
WAAROM WE OOK VANDAAG NOG LEREN
WAT JE WEET BEPAALT WAT JE ZIET2

16. 610894121158
106614921815
Memoriseer deze reeks cijfers.
198520162019
Popov, V., & Reder, L. (2018, June 6). Frequency effects on memory: A resource-limited theory.
http://doi.org/10.17605/OSF.IO/DSX6Y
WAAROM WE OOK VANDAAG NOG LEREN
EEN HERSENBREKER OF HET MATTHEUSEFFECT2

17. Indien ik de hele onderwijspsychologie
zou moeten herleiden tot slechts één
principe, zou ik zeggen:
De belangrijkste factor die het leren
beïnvloedt is
wat de leerling nu al weet.
Ausubel (1968)

18. 1
2 PRINCIPES DIE HET LABO OVERLEEFDEN
DRIE COGNITIEVE LEERSTRATEGIEEN ONDER DE LOEP
1
2
3
WAAROM WE OOK VANDAAG NOG LEREN

20. Rohrer, D., & Taylor, K. (2006). The effects of overlearning and distributed practise on the retention of mathematics
knowledge. Applied Cognitive Psychology, 20, 1209-1224.
PRINCIPES DIE HET LABO OVERLEEFDEN
EXPERIMENT 12

21. → 5 + 5 oefeningen
o → 10 oefeningen
PRINCIPES DIE HET LABO OVERLEEFDEN
EXPERIMENT 12

22. PRINCIPES DIE HET LABO OVERLEEFDEN
EXPERIMENT 12
Rohrer, D., & Taylor, K. (2006). The effects of overlearning and distributed practise on the retention of mathematics
knowledge. Applied Cognitive Psychology, 20, 1209-1224.

23. Spacing effect: het spreiden van leer- en oefenmomenten
in de tijd heeft een positief effect op het langetermijngeheugen.
→ 5 + 5 oefeningen
o → 10 oefeningen
PRINCIPES DIE HET LABO OVERLEEFDEN
EXPERIMENT 12

24. MEER OPSLAG IN
LANGETERMIJNGEHEUGEN
HERHALINGSMOMENTEN
Onthouden
Dagen
ONZE COGNITIEVE ARCHITECTUUR
VERGETEN IS NORMAAL2 PRINCIPES DIE HET LABO OVERLEEFDEN
PRINCIPE 1: GESPREID LEREN

25. Eén van de meest betrouwbare en bestudeerde cognitieve fenomenen.
• Van simpele tot complexe leerinhouden (zie o.a. Gluckman et al., 2014; Moulton et al., 2006)
• Verschillende doelgroepen (Riches et al., 2005)
• Verschillende kennisdomeinen (wiskunde, wetenschap, geschiedenis, motorische vaardigheden, taalverwerving
Wetenschappelijke reviewstudies (vb,Carpenter, 2012, 2014, 2017; Cepeda et al., 2008; Toppino & Gerbier, 2014)
Spacing effect: het spreiden van oefenmomenten in de tijd
heeft een positief effect op het langetermijngeheugen.
2 PRINCIPES DIE HET LABO OVERLEEFDEN
PRINCIPE 1: GESPREID LEREN

26. 1
2 PRINCIPES DIE HET LABO OVERLEEFDEN
DRIE COGNITIEVE LEERSTRATEGIEEN ONDER DE LOEP
1 GESPREID LEREN
2
3
WAAROM WE OOK VANDAAG NOG LEREN

27. 2
Taylor, K., & Rohrer, D. (2010). The effects of interleaved practice. Applied Cognitive Psychology, 24(6),
837 848.
PRINCIPES DIE HET LABO OVERLEEFDEN
EXPERIMENT 2

28. 2
Taylor, K., & Rohrer, D. (2010). The effects of interleaved practice. Applied Cognitive Psychology, 24(6),
837 848.
BLOCKING
INTERLEAVING
OEFENSESSIE 1 OEFENSESSIE 2
TEST
TEST
TEST1 week 1 week
PRINCIPES DIE HET LABO OVERLEEFDEN
EXPERIMENT 2

29. 2
Taylor, K., & Rohrer, D. (2010). The effects of interleaved practice. Applied Cognitive Psychology, 24(6),
837 848.
0.87
0.91
0.2
0.43
0.78
0.63
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Oefensessie 1 Oefensessie 2 Test
Proportiecorrecteantwoorden
Prestaties op oefeningen in de les en op een test
Blocked Interleaved
Interleaving effect: het wisselen van oefentypes leidt tot betere
langetermijnprestaties dan het groeperen van dezelfde oefentypes.
PRINCIPES DIE HET LABO OVERLEEFDEN
EXPERIMENT 2

30. 1
2 PRINCIPES DIE HET LABO OVERLEEFDEN
COGNITIEVE LEERSTRATEGIEEN ONDER DE LOEP
1 GESPREID LEREN
AFWISSELEND OEFENEN2
3
WAAROM WE OOK VANDAAG NOG LEREN

31. PRINCIPES VOOR EFFECTIEVE INSTRUCTIE
EXPERIMENT 32
Roediger III, H. L., & Karpicke, J. D. (2006). Test-enhanced learning: Taking memory tests improves long-
term retention. Psychological science, 17, 249-255.

32. PRINCIPES DIE HET LABO OVERLEEFDEN
EXPERIMENT 32
Testing effect: het maken van een oefentest (trachten iets te
herinneren) heeft een positief effect op het langetermijngeheugen
(meer dan herlezen).

33. 2
• Van simpele tot complexe materialen (Karpicke & Aue, 2015, maar ook van Gog & Sweller, 2015)
• Verschillende populaties
• Verschillende kennisdomeinen
• Feedback versterkt het testing-effect (zie o.a. Butler et al., 2013)
Veel reviewstudies
(Carpenter, 2012; Dunlosky et al, 2013; Karpicke et al, 2014; Roediger & Karpicke
Het maken van een oefentest (trachten iets te herinneren) heeft een
positief effect op het langetermijngeheugen (meer dan herlezen).
PRINCIPES DIE HET LABO OVERLEEFDEN
PRINCIPE 3 RETRIEVAL PRACTICE

34. 2 PRINCIPES DIE HET LABO OVERLEEFDEN
PRINCIPE 3 RETRIEVAL PRACTICE

35. 2
1. Testing effect:het proberenherinnerenvan informatieversterkt het langetermijnleren.
2. Het testen identificeertde lacunes in watje weet.
3. Door het testen lerenleerlingenmeer van een volgendeleersessie.
4. Het testen verbetert de organisatie
5. Het testen verbetertde transfervan kennisnaar nieuwe concepten.
6. Het testen helptje zelfs niet-geteste inhouden beter te herinneren.
7. Door te testen kan je jezelf beter monitoren (metacognitief).
8. Het testen voorkomtinterferentievan eerdereinhouden bij het leren van nieuwe inhouden.
9. Het testen geeft feedbackaanleraren.
10. Door regelmatigte testen stimuleer je leerlingenom te studeren.
11. Door regelmatiglow-stakes testen vermindert de toetsangst.*
Vertaald en aangepast (*) uit Roediger III, H. L., Putnam, A. L., & Smith, M. A. (2011). Ten benefits of testing and their
applications to educational practice. Psychology of learning and motivation, 55, 1-36
PRINCIPES DIE HET LABO OVERLEEFDEN
PRINCIPE 3 RETRIEVAL PRACTICE

36. 1
2 PRINCIPES DIE HET LABO OVERLEEFDEN
COGNITIEVE LEERSTRATEGIEEN ONDER DE LOEP
1 GESPREID LEREN
AFWISSELEND OEFENEN
TESTEN ALS LEERSTRATEGIE
2
3
WAAROM WE OOK VANDAAG NOG LEREN

37. Wat hebben de drie
principes
gemeenschappelijk?

39. Leerstrategieën die de prestatie snel verbeteren, zijn
vaak niet bevorderlijk voor langetermijnleren.
Desirable difficulties =
gewenste moeilijkheden
Schmidt, R. A., & Bjork, R. A. (1992). New conceptualizations of practice: Common principles in three paradigms suggest new concepts for
training. Psychological science, 3(4), 207-218.

40. 1
2 PRINCIPES DIE HET LABO OVERLEEFDEN
COGNITIEVE LEERSTRATEGIEEN ONDER DE LOEP
1 GESPREID LEREN
AFWISSELEND OEFENEN
TESTEN ALS LEERSTRATEGIE
2
3
3 LEERSTRATEGIE EN FORMATIEF EVALUEREN
RICHTLIJNEN VOOR DE PRAKTIJK
WAAROM WE OOK VANDAAG NOG LEREN

41. • Gebruik de voordelen van het testing effect.
• Weet welke formatieve informatie de test je geeft.
(soms is dat niks en dat is niet erg)
• Geef feedback
(omdat je studenten die troost verdienen)
LEERSTRATEGIE EN FORMATIEF EVALUEREN
INZETTEN VAN DESIRABLE DIFFICULTIES KLEUREN DE MOMENTANE PRESTATIES3

42. LEERSTRATEGIE EN FORMATIEF EVALUEREN
TOETS ZO VEEL MOGELIJK - OPEN EN/OF GESLOTEN VRAGEN3

43. LEERSTRATEGIE EN FORMATIEF EVALUEREN
TOETS GESPREID EN NIET NET VOOR SUMMATIEVE TOETS3
Rosenshine, B. (2012). Principles of instruction: Research-based strategies that all teachers should
know. American Educator, 36(1), 12-19. Illustrations by Oliver Caviglioli (@olicav)
Retrieved from https://www.aft.org/sites/default/files/periodicals/Rosenshine.pdf

44. LEERSTRATEGIE EN FORMATIEF EVALUEREN
GOOCHEL MET OPDRACHTEN EN EXAMENS3
A
A
B C
B
A
D
B
A
C
Cumulatief toetsen?

45. LEERSTRATEGIE EN FORMATIEF EVALUEREN
INTEGREER PRINCIPES IN ELEKTRONISCHE LEEROMGEVING3

46. 1
2
WAAROM NOG IETS LEREN?
BETEKENISVOLLE KENNIS
PRINCIPES DIE HET LABO OVERLEEFDEN
COGNITIEVE LEERSTRATEGIEEN ONDER DE LOEP
1 GESPREID LEREN
AFWISSELEND OEFENEN
TESTEN ALS LEERSTRATEGIE
2
3
3 LEERSTRATEGIE EN FORMATIEF EVALUEREN
RICHTLIJNEN VOOR DE PRAKTIJK

47. Meer weten?
Ontwerprichtlijnen voor formatief toetsen
vanuit de geheugenpsychologie
Kim Dirkx, Desirée Joosten-ten Brinke, en Gino Camp

48. BEDANKT!
Seurat
Tim Surma
@timsurma