Aller plus loin avec les QCM grâce aux degrés de certitude

Aller plus loin avec les
QCM grâce aux
degrés de certitude
S Abry — B Bailly — JL Castaigne — E Sylvestre
dimanche 13 décembre 2015

A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Abraham Maslow
2
1943

Objectifs de l’atelier
À la fin de cet atelier, vous serez capable
de construire un argumentaire pour
l'utilisation des QCM avec Degrés de Certitude
de différencier différentes méthodes
d'utilisation des QCM avec Degrés de
Certitude
de choisir la méthode la plus adaptée aux
objectifs que vous vous fixez
3
À la fin de cet atelier, vous serez capable

Introduction
Activité
Mise en commun
Pause
Activité
Mise en commun
Conclusion
Plan
4

Plan
Introduction
Activité
Mise en commun
Pause
Activité
Mise en commun
Conclusion
5

Question à Choix Multiple
L’unité de mesure de la force
d’un piment est le
1. scoville.
2.thermoptim.
3.cherit.
4.hauy.
6
Amorce
Propositions
Réponse correcte
Distracteurs
L’unité de mesure de la force d’un piment est le scoville.
L’unité de mesure de la force d’un piment est le thermoptim.

2 étudiants ont 16 / 20
Sont-ils égaux ?
À ce degré de ﬁnesse de mesure oui,
mais…
si nous ajoutons la notion de certitude
des réponses choisies, nous augmentons
la ﬁnesse et dès lors, nous pouvons
imaginer…
7
Castaigne, 2006

2 étudiants ont 16 / 20
étudiant A
4 erreurs mais
chaque erreur avec
une certitude >60%
16 réponses
correctes mais
chaque fois avec
une certitude <40%
étudiant B
4 erreurs mais
chaque erreur avec
une certitude <40%
16 réponses
correctes mais
chaque fois avec
une certitude >60%
8
Castaigne, 2006

Ce qu’il ne faut pas faire
Ne jamais utiliser des expressions
verbales pour exprimer sa certitude
comme sûr, très sûr, sûr et certain, peu
sûr, pas sûr du tout, moyennement sûr...
9

2 stagiaires
Sur pour 10 questions
Pas sur pour 6 questions
0
2
4
6
0 % 20 % 40 % 60 % 80 % 100 %
Sur
Pas sur
10Castaigne, 2005

Shuford, Albert & Massengill
Ne pas utiliser d’expressions verbales (pas sûr, peu sûr,
moyennement sûr, très sûr, sûr et certain,...)
Utiliser des expressions numériques (probabilités
subjectives) comme
certitude de
0%, 20%, 40%, 60%, 80% ou à 100%
certitude entre
0 et 25%, 25-50, 50-70, 70-85, 85-95 et
entre 95 et 100%
11
Admissible Probability Measurement Procedures
Emir H. Shuford, Arthur Albert and H. Edward Massengill
1966, PSYCHOMETRIKA, Volume 31, Number 2, 125-145

Plan
Introduction
Activité
Mise en commun
Pause
Activité
Mise en commun
Conclusion
12
Auguste Rodin, 1880
Le Penseur, Bronze, Paris : Musée Rodin

Lorsque l’on cote les réponses de
l’étudiant, il reçoit plus de points pour
une réponse correcte donnée avec une
certitude plus élevée qu’une réponse
correcte donnée avec une certitude plus
basse.
Barème lié à chaque question
13
Certitude 0-25% 25-50% 50-70% 70-85% 85-95% 95-100%
RC +13 +16 +17 +18 +19 +20
RI +4 +3 +2 +0 -6 -20
Leclercq, 1975

Barème par test
14
Sur base d’un tarif pour les réponses
correctes, les réponses incorrectes et
les omissions, on calcule le score
d’exactitude de l’étudiant.
Score
d’exactitude
RI:-0,25
RC:+1
Omis:-0,50

Barème par test
15
correctes, les réponses incorrectes et
les omissions, on calcule le score
d’exactitude de l’étudiant. Ensuite, sur
base de calcul d’indices à partir des DC
portant sur l’ensemble des questions, on
ajoute des points (pas de perte).
indices
Score
d’exactitude
Score de
réalisme+ Leclercq, 2003
RI:-0,25
RC:+1
Omis:-0,50

Pas de barème
16
Tarif
Réponse Correcte (RC) = +1
Réponse Incorrecte (RI) = - 0,25
Omission = - 0,5
Les degrés de certitude n’inﬂuencent
pas le score (certitude de 0%, 20%,
40%, 60%, 80% ou à 100%)
Castaigne, 2005

Plan
Introduction
Activité
Mise en commun
Pause
Activité
Mise en commun
Conclusion
17
Escher M.C., 1935 Mains avec sphère

4 règles d’utilisation DC
1. Une consigne probabiliste
18

Probabilités de certitude
Admissible Probability Measurement Procedures
Emir H. Shuford, Arthur Albert and H. Edward Massengill
1966, PSYCHOMETRIKA, Volume 31, Number 2, 125-145
Ne pas utiliser
d’expressions
verbales
Utilisez des
pourcentages
0% 20% 40% 60% 80% 100%
0-25% 25-50% 50-70%
70-85% 85-95% 95-100%
19

2. Un barème respectant la théorie des
décisions
20
Certitude 0-25% 25-50% 50-70% 70-85% 85-95% 95-100%
RC +13 +16 +17 +18 +19 +20
RI +4 +3 +2 +0 -6 -20

Plan
Introduction
Activité
Mise en commun
Pause
Activité
Mise en commun
Conclusion
21
http://angiemcgovern.files.wordpress.com/2010/01/bigstockphoto_we_all_make_mistakes__131640.jpg

décisions
3. un feedback métacognitif (graphes,
indices,…)
22

Score avec les DC
Nombre de Réponses Correctes (RC)
23
Note et indices
Certitude 0-25% 25-50% 50-70% 70-85% 85-95% 95-100%
RC +13 +16 +17 +18 +19 +20
RI +4 +3 +2 +0 -6 -20
Leclercq, 1975

A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 24
Note et indices
Leclercq, 1975
+18
+4
Total = 22 / 40
= 11 / 20
Pourcentage de RC = 1 / 2
= 10 / 2O
FAUX
OK
0-25% 25-50% 50-70% 70-85% 85-95% 95-100%
+13 +16 +17 +18 +19 +20
+4 +3 +2 +0 -6 -20

Note et indices
Brown et Shuford (1973)
Leclercq et Gilles (1994)
Droite de réalisme idéal
Certitude choisie
Réalisme idéal
PourcentagedeRC

Réalisme par classe de certitude
26
Note et indices
Leclercq et Gilles (1994)Certitude choisie
PourcentagedeRC
Pour toutes les QCM
où vous avez choisi une
certitude de 20%
Vous avez pour ces
QCM 38% de
réponses correctes
Vous avez réussi
plus (38%)
qu’annoncé (20%)

Droite de réalisme idéal et sur- ou
sous-estimation
27
Note et indices
Leclercq et Gilles (1994)Certitude choisie
PourcentagedeRC
Vous avez réussi
moins qu’annoncé
SUR estimation
Vous avez réussi
plus qu’annoncé
SOUS estimation

Note et indices
correctes, les réponses incorrectes et les
omissions, on calcule le score d’exactitude
de l’étudiant. Ensuite, sur base du calcul
à partir des DC portant sur l’ensemble
des questions, on ajoute des points (pas
de perte de points).
Score
d’exactitude
Score de
réalisme+ Leclercq, 2003
indices
RI:-0,25
RC:+1
Omis:-0,50

Note et indices
Score de “réalisme” = bien utiliser les DC
DC élevés avec les RC
DC bas avec les RI
Indices : degré de certitude moyen
des Réponses Correctes (RC)
des Réponses Incorrectes (RI)

Note et indices
11
FAUX
OK

Note et indices
!"#$%&'& (%)$**')+'& ,'*+(+-.' )/$(&(' !"#$%&'& )$**')+'&
01 2()+$* 3-4$ '&+ 5&&$)(" 5- )$-*5%+ 6(++"*5(*'
!"" #" $" %" &" "
' ()*+,-.),/ 0 -)**12+3-4,/ "5 &"5 %"5
" &" %" $" #" !""
6 724)*2+3-4,/ 8 *9:2743.),/ $"5 #"5 !""5
71 85%& 65 9:+/$6$4(' 4*');-'< =%+(4$%' '&+ 65 >(66'
!"" #" $" %" &" "
' ;, <)=34,*/ 0 ;) >=?37@/ "5 &"5 %"5
" &" %" $" #" !""
6 ;AB;3=,/ 8 ;A':24,*2-)/ $"5 #"5 !""5
?1 @"*5*. .' A'*B56 5 &$->>'*+
!"" #" $" %" &" "
' ;, C*3-,- ;, D9+3,/ 0 ;, +2 E*3==, F ,-=2E79+, G/ "5 &"5 %"5
" &" %" $" #" !""
6 ;) >H'> I-J7;*9:, *,-=3*2493*, 23E) -1KL*,M/ 8 ;, -C?3N9=?*173,/ $"5 #"5 !""5
C1 D5*+(% E-+/'* F(%4 5 "+" 5&&5&&(%" '% 0GHI
!"" #" $" %" &" "
' 2)@ O;,- ;, P2*-/ 0 Q P,:=?3-/ "5 &"5 %"5
" &" %" $" #" !""
6 Q 82++2-/ 8 Q R2-?37E497/ $"5 #"5 !""5
J1 E5 .(B(&($% '&+ -%' 6$( .' )$9#$&(+($% ;-( K .'-L %$9M*'& 5&&$)(' 6' #*$.-(+ .- #*'9('* #5* 6N(%B'*&' .- &')$%.1 E' &')$%. '&+ %$99"
!"" #" $" %" &" "
' +, ;3K3;,7;,/ 0 +, =*9;)34/ "5 &"5 %"5
" &" %" $" #" !""
6 +, .)943,74/ 8 +, ;179:3724,)*/ $"5 #"5 !""5
H1 265.(9(* O6(+)/ P-6(5%$B '&+ #6-& )$%%- &$-& 6' %$9 .'
!"" #" $" %" &" "
' S3T342 >,*E),U,K34C? V?*9)C?4C?,K/ 0 W1737,/ "5 &"5 %"5
" &" %" $" #" !""
6 P3T?2U+ >,*E),U,K34C? X9*(24C?,K/ 8 >42+37,/ $"5 #"5 !""5
Q1 R% &'*#'%+ $#/($#/54' 95%4' .'&
!"" #" $" %" &" "
' 93-3++97-/ 0 9=?39+34,-/ "5 &"5 %"5
" &" %" $" #" !""
6 9,)D-/ 8 -,*=,74-/ $"5 #"5 !""5
I1 E5 )5#(+-65+($% 566'95%.' 5 "+" &(4%"' 6'
!"" #" $" %" &" "
' $ Y)37 !Z%%/ 0 # :23 !Z%[/ "5 &"5 %"5
" &" %" $" #" !""
6 :23 !Z%[/ 8 Z :23 !Z%[/ $"5 #"5 !""5
G1 =B5%+ 0GIG< 6NR%($% .' D:5%95*K &' %$995(+
!"" #" $" %" &" "
' +, 627E+2;,-?/ 0 +, W29-/ "5 &"5 %"5
" &" %" $" #" !""
6 +AO7;,/ 8 +, H9J2):, ;, >32:/ $"5 #"5 !""5
0S1 R% .'& 9$-B'9'%+& .' 4-"*(665 '% ,$6$9M(' &' %$99'
!"" #" $" %" &" "
' +,- 0?9)27-/ 0 '(9) S3;2+/ "5 &"5 %"5
" &" %" $" #" !""
6 +, ]2:2-/ 8 +,- ^2*C-/ $"5 #"5 !""5
001 E-.T(4 B5% U''+/$B'% 5 ")*(+ 6N$#"*5
!"" #" $" %" &" "
' ^3;,+39/ 0 W, H93 >9+,3+/ "5 &"5 %"5
" &" %" $" #" !""
6 W,- 79C,- ;, ^3E2*9/ 8 R,-4 >3;, >49*J/ $"5 #"5 !""5
071 A$-& 5(9'*($%& +$-& "B(+'* .' *'%)$%+*'* 6' 9$(%.*' #*$M6V9'
!"" #" $" %" &" "
' =1C)73,*/ 0 =1C)73L*,/ "5 &"5 %"5
" &" %" $" #" !""
6 =1C)731/ 8 =1C)7323*,/ $"5 #"5 !""5
0?1 E' B$6+ '&+ 6N-%(+" .'
!"" #" $" %" &" "
' C9)*274 1+,C4*3.),/ 0 *1-3-427C, 1+,C4*3.),/ "5 &"5 %"5
" &" %" $" #" !""
6 4,7-397 1+,C4*3.),/ 8 C2=2C341 1+,C4*3.),/ $"5 #"5 !""5
0C1 85%& 6' 9$%.' 9".()56< O1!1D1 &(4%(>(' (954'*('
!"" #" $" %" &" "
' =2* *2;39E*2=?3, :1;3C2+,/ 0 =9)* *,C?,*C?,- :1;3C2+,-/ "5 &"5 %"5
" &" %" $" #" !""
6 =2* *2J97- :2E7143.),-// 8 =2* *1-9727C, :2E7143.),/ $"5 #"5 !""5
0J1 E' #5&&54' .N-% )$*#& .' 6N"+5+ &$6(.' K 6N"+5+ 45W'-L &5%& #5&&'* #5* 6N"+5+ 6(;-(.' '&+
!"" #" $" %" &" "
' +A1()++34397/ 0 +2 -)(+3:24397/ "5 &"5 %"5
" &" %" $" #" !""
6 +A1K2=9*24397/ 8 +2 K2=9*3-24397/ $"5 #"5 !""5
0H1 E5 B56'-* .- #3 .- ,$)5 ,$65 '&+ .'
!"" #" $" %" &" "
' &_`/ 0 [_`/ "5 &"5 %"5
" &" %" $" #" !""
6 %_[/ 8 $_Z/ $"5 #"5 !""5
0Q1 E5 #'(%+-*' &-* +$(6' 65 #6-& )"6VM*' .- D-&"' .- E$-B*' '&+
!"" #" $" %" &" "
' +2 W3(,*41 E)3;274 +, =,)=+, ;ab)EL7, 8,+2C*93@ / 0 +2 <9C97;, ;, W1972*; 8, c37C3/ "5 &"5 %"5
" &" %" $" #" !""
6 O:=*,--397 -9+,3+ +,K274 ;, 0+2);, P97,4/ 8 +2 c17)- ;, P3+9/ $"5 #"5 !""5
0I1 A$-& 5B$%& .'& '-*$& '% #$)/' .'#-(&
!"" #" $" %" &" "
' !ZZZ/ 0 &""!/ "5 &"5 %"5
" &" %" $" #" !""
6 &"""/ 8 &""&/ $"5 #"5 !""5
0G1 X$6>45%4 =95.'-& D$W5*+< %" K Y56WM$-*4 '% 0QJH< '&+ .' %5+($%56(+"
!"" #" $" %" &" "
' '++,:27;,/ 0 ]97E*93-,/ "5 &"5 %"5
" &" %" $" #" !""
6 ')4*3C?3,77,/ 8 d9+9723-,/ $"5 #"5 !""5
7S1 E' &-))'&&'-* &-* 6' +*Z%' .' [/(6(##' 0'* '&+
!"" #" $" %" &" "
' 0?2*+,- c/ 0 d1=37 +, 6*,D/ "5 &"5 %"5
" &" %" $" #" !""
6 W9)3- cO/ 8 d?3+3==, OO ')E)-4,/ $"5 #"5 !""5
S9)- K9)- 37K3497- Q *1=97;*, Q +$-+'& +,- .),-4397-/ d9)* C?2.), .),-4397_
,749)*,N +2 *1=97-, .)3 K9)- -,:(+, C9**,C4,/ R%' &'-6' #*$#$&(+($% '&+ )$**')+'1
,749)*,N K94*, ;,E*1 ;, C,*434);, .), K94*, *1=97-, ,-4 C9**,C4,/ >3 K9)- 7, ;977,N
=2- ;, ;,E*1 ;, C,*434);,_ K94*, *1=97-, -,*2 C97-3;1*1, C9::, 37C9**,C4,/
62*L:, e
!"#$%&' )$**')+' ]0
!"#$%&' (%)$**')+' S<7J
P9(&&($% .N-%' *"#$%&' $- .- .'4*" .' )'*+(+-.' S<J
15 0 2 0 0 6 750 1 0 2 2 0
0 80 2000 80 40 0
0 x 100 = 01 x 80 = 80
1220 0 40 0 0 480 700
7 x 100 = 700
40 81
40<50 : +1 81>50 : +1
200 ÷ 5 = 50 1220 ÷ 15 = 81

RI:-0,25
RC:+1
Omis:-0,5
13,75
Note et indices
15
!"#$%&'& (%)$**')+'& ,'*+(+-.' )/$(&(' !"#$%&'& )$**')+'&
01 2()+$* 3-4$ '&+ 5&&$)(" 5- )$-*5%+ 6(++"*5(*'
!"" #" $" %" &" "
' ()*+,-.),/ 0 -)**12+3-4,/ "5 &"5 %"5
" &" %" $" #" !""
6 724)*2+3-4,/ 8 *9:2743.),/ $"5 #"5 !""5
71 85%& 65 9:+/$6$4(' 4*');-'< =%+(4$%' '&+ 65 >(66'
!"" #" $" %" &" "
' ;, <)=34,*/ 0 ;) >=?37@/ "5 &"5 %"5
" &" %" $" #" !""
6 ;AB;3=,/ 8 ;A':24,*2-)/ $"5 #"5 !""5
?1 @"*5*. .' A'*B56 5 &$->>'*+
!"" #" $" %" &" "
' ;, C*3-,- ;, D9+3,/ 0 ;, +2 E*3==, F ,-=2E79+, G/ "5 &"5 %"5
" &" %" $" #" !""
6 ;) >H'> I-J7;*9:, *,-=3*2493*, 23E) -1KL*,M/ 8 ;, -C?3N9=?*173,/ $"5 #"5 !""5
C1 D5*+(% E-+/'* F(%4 5 "+" 5&&5&&(%" '% 0GHI
!"" #" $" %" &" "
' 2)@ O;,- ;, P2*-/ 0 Q P,:=?3-/ "5 &"5 %"5
" &" %" $" #" !""
6 Q 82++2-/ 8 Q R2-?37E497/ $"5 #"5 !""5
J1 E5 .(B(&($% '&+ -%' 6$( .' )$9#$&(+($% ;-( K .'-L %$9M*'& 5&&$)(' 6' #*$.-(+ .- #*'9('* #5* 6N(%B'*&' .- &')$%.1 E' &')$%. '&+ %$99"
!"" #" $" %" &" "
' +, ;3K3;,7;,/ 0 +, =*9;)34/ "5 &"5 %"5
" &" %" $" #" !""
6 +, .)943,74/ 8 +, ;179:3724,)*/ $"5 #"5 !""5
H1 265.(9(* O6(+)/ P-6(5%$B '&+ #6-& )$%%- &$-& 6' %$9 .'
!"" #" $" %" &" "
' S3T342 >,*E),U,K34C? V?*9)C?4C?,K/ 0 W1737,/ "5 &"5 %"5
" &" %" $" #" !""
6 P3T?2U+ >,*E),U,K34C? X9*(24C?,K/ 8 >42+37,/ $"5 #"5 !""5
Q1 R% &'*#'%+ $#/($#/54' 95%4' .'&
!"" #" $" %" &" "
' 93-3++97-/ 0 9=?39+34,-/ "5 &"5 %"5
" &" %" $" #" !""
6 9,)D-/ 8 -,*=,74-/ $"5 #"5 !""5
I1 E5 )5#(+-65+($% 566'95%.' 5 "+" &(4%"' 6'
!"" #" $" %" &" "
' $ Y)37 !Z%%/ 0 # :23 !Z%[/ "5 &"5 %"5
" &" %" $" #" !""
6 :23 !Z%[/ 8 Z :23 !Z%[/ $"5 #"5 !""5
G1 =B5%+ 0GIG< 6NR%($% .' D:5%95*K &' %$995(+
!"" #" $" %" &" "
' +, 627E+2;,-?/ 0 +, W29-/ "5 &"5 %"5
" &" %" $" #" !""
6 +AO7;,/ 8 +, H9J2):, ;, >32:/ $"5 #"5 !""5
0S1 R% .'& 9$-B'9'%+& .' 4-"*(665 '% ,$6$9M(' &' %$99'
!"" #" $" %" &" "
' +,- 0?9)27-/ 0 '(9) S3;2+/ "5 &"5 %"5
" &" %" $" #" !""
6 +, ]2:2-/ 8 +,- ^2*C-/ $"5 #"5 !""5
001 E-.T(4 B5% U''+/$B'% 5 ")*(+ 6N$#"*5
!"" #" $" %" &" "
' ^3;,+39/ 0 W, H93 >9+,3+/ "5 &"5 %"5
" &" %" $" #" !""
6 W,- 79C,- ;, ^3E2*9/ 8 R,-4 >3;, >49*J/ $"5 #"5 !""5
071 A$-& 5(9'*($%& +$-& "B(+'* .' *'%)$%+*'* 6' 9$(%.*' #*$M6V9'
!"" #" $" %" &" "
' =1C)73,*/ 0 =1C)73L*,/ "5 &"5 %"5
" &" %" $" #" !""
6 =1C)731/ 8 =1C)7323*,/ $"5 #"5 !""5
0?1 E' B$6+ '&+ 6N-%(+" .'
!"" #" $" %" &" "
' C9)*274 1+,C4*3.),/ 0 *1-3-427C, 1+,C4*3.),/ "5 &"5 %"5
" &" %" $" #" !""
6 4,7-397 1+,C4*3.),/ 8 C2=2C341 1+,C4*3.),/ $"5 #"5 !""5
0C1 85%& 6' 9$%.' 9".()56< O1!1D1 &(4%(>(' (954'*('
!"" #" $" %" &" "
' =2* *2;39E*2=?3, :1;3C2+,/ 0 =9)* *,C?,*C?,- :1;3C2+,-/ "5 &"5 %"5
" &" %" $" #" !""
6 =2* *2J97- :2E7143.),-// 8 =2* *1-9727C, :2E7143.),/ $"5 #"5 !""5
0J1 E' #5&&54' .N-% )$*#& .' 6N"+5+ &$6(.' K 6N"+5+ 45W'-L &5%& #5&&'* #5* 6N"+5+ 6(;-(.' '&+
!"" #" $" %" &" "
' +A1()++34397/ 0 +2 -)(+3:24397/ "5 &"5 %"5
" &" %" $" #" !""
6 +A1K2=9*24397/ 8 +2 K2=9*3-24397/ $"5 #"5 !""5
0H1 E5 B56'-* .- #3 .- ,$)5 ,$65 '&+ .'
!"" #" $" %" &" "
' &_`/ 0 [_`/ "5 &"5 %"5
" &" %" $" #" !""
6 %_[/ 8 $_Z/ $"5 #"5 !""5
0Q1 E5 #'(%+-*' &-* +$(6' 65 #6-& )"6VM*' .- D-&"' .- E$-B*' '&+
!"" #" $" %" &" "
' +2 W3(,*41 E)3;274 +, =,)=+, ;ab)EL7, 8,+2C*93@ / 0 +2 <9C97;, ;, W1972*; 8, c37C3/ "5 &"5 %"5
" &" %" $" #" !""
6 O:=*,--397 -9+,3+ +,K274 ;, 0+2);, P97,4/ 8 +2 c17)- ;, P3+9/ $"5 #"5 !""5
0I1 A$-& 5B$%& .'& '-*$& '% #$)/' .'#-(&
!"" #" $" %" &" "
' !ZZZ/ 0 &""!/ "5 &"5 %"5
" &" %" $" #" !""
6 &"""/ 8 &""&/ $"5 #"5 !""5
0G1 X$6>45%4 =95.'-& D$W5*+< %" K Y56WM$-*4 '% 0QJH< '&+ .' %5+($%56(+"
!"" #" $" %" &" "
' '++,:27;,/ 0 ]97E*93-,/ "5 &"5 %"5
" &" %" $" #" !""
6 ')4*3C?3,77,/ 8 d9+9723-,/ $"5 #"5 !""5
7S1 E' &-))'&&'-* &-* 6' +*Z%' .' [/(6(##' 0'* '&+
!"" #" $" %" &" "
' 0?2*+,- c/ 0 d1=37 +, 6*,D/ "5 &"5 %"5
" &" %" $" #" !""
6 W9)3- cO/ 8 d?3+3==, OO ')E)-4,/ $"5 #"5 !""5
S9)- K9)- 37K3497- Q *1=97;*, Q +$-+'& +,- .),-4397-/ d9)* C?2.), .),-4397_
,749)*,N +2 *1=97-, .)3 K9)- -,:(+, C9**,C4,/ R%' &'-6' #*$#$&(+($% '&+ )$**')+'1
,749)*,N K94*, ;,E*1 ;, C,*434);, .), K94*, *1=97-, ,-4 C9**,C4,/ >3 K9)- 7, ;977,N
=2- ;, ;,E*1 ;, C,*434);,_ K94*, *1=97-, -,*2 C97-3;1*1, C9::, 37C9**,C4,/
62*L:, e
!"#$%&' )$**')+' ]0
!"#$%&' (%)$**')+' S<7J
P9(&&($% .N-%' *"#$%&' $- .- .'4*" .' )'*+(+-.' S<J
0 2 0 0 6 750 1 0 2 2 0
2000 80 0 80 40 0 1220 0 40 0 0 480 700
40 81
40<50 : +1 81>50 : +1
15,75
+1 +1
-1,25 +15

Note et indices
Tarif
Réponse Correcte (RC) = +1
Réponse Incorrecte (RI) = - 0,25
Omission = - 0,5
Les degrés de certitude n’inﬂuencent pas
le score
Castaigne, 2004

RI:-0,25
RC:+1
Omis:-0,5
Note et indices
FAUX
OK
7 0 0 1 0 3 3132 2 3 1 4 1
-3,25 +7
3,75

Note et indices
0 0 1 0 3 32 2 3 1 4 1
3,75
dʼaprès Hunt & Furustig (1989); Hunt (2003); Jans & Leclercq (1999); Leclercq (2003)

Plan
Introduction
Activité
Mise en commun
Pause
Activité
Mise en commun
Conclusion
36
"Escheresque Metacognition"
1998, Timothy R. Haldane

décisions
3. Un feedback métacognitif (graphes,
indices,…)
4. un entraînement des étudiants
37

Entraînement
38
Test-Wiseness
Examen “blanc”
Banque de questions en ligne
0 5 10 20 30 40 50
Samson, 1985
Berliner, 1986

Entraînement
39
Castaigne et Gilles, 2001

Plan
Introduction
Activité
Mise en commun
Pause
Activité
Mise en commun
Conclusion
40
"L'Angélus" 1858, Jean-François Millet
Courant Réaliste
Huile sur toile, 55 × 66 cm
Musée d'Orsay, Paris

Métacognitionrégulatrice(Noël1991)
Castaigne, 2005

Bruno De Finetti
42
“It is only subjective
probability that can give
an objective meaning to
every response and
scoring method.” (p. 111)
« Methods of discriminating levels of partial knowledge concerning a test item »
Brit. Journ. of Math. & Statist. Psychol., 1965, 18, 87-123.
(1906-1985)

Maslow, A. H. (1943). A theory of human motivation. Psychological review, 50(4), 370.
Castaigne, J.-L. (2006). Excel spreadsheet to support veterinary student’s metacognition. Presented at the Second bi-annual Conference of EARLI SIG
Metacognition, Cambridge, United Kingdom. Retrieved from http://orbi.ulg.ac.be/handle/2268/23434
Castaigne, J.-L. (2005). Recherches récentes sur l’utilisation des Degrés de Certitude Recherches récentes sur l’utilisation des Degrés de Certitude :
Directions de recherches dans le calcul des notes liant exactitude et réalisme. In Actes du 18ème colloque international de l’ADMEE : Comment
évaluer ? Outils, dispositifs et acteurs. Reims, France. Retrieved from http://orbi.ulg.ac.be/handle/2268/23416
Shuford, E., Albert, A., & Massengill, H. (1966). Admissible probability measurement procedures. Psychometrika, 31(2), 125–145.
Leclercq, D. (1975). L’évaluation subjective de la probabilité d’exactitude des réponses en situation pédagogique (Doctorat en Sciences de l’Education).
Université de Liège. Retrieved from http://orbi.ulg.ac.be/handle/2268/10119
Leclercq, D., & Poumay, M. (2003). Trois nouveaux indices de réalisme dans l’auto-évaluation des performances. Cahiers du Service de Pédagogie
Expérimentale (SPE), 15-16. Retrieved from http://orbi.ulg.ac.be/handle/2268/27518
Castaigne, J.-L. (2005). Un outil d’autoréflexion cognitive et métacognitive pour l’amélioration des performance. Presented at the Journée d’étude AIPU-
CFB -- AdAPTE : L’accompagnement pédagogique : Un outil pour favoriser la réussite dans l’enseignement supérieur., Gembloux, Belgique. Retrieved
from http://orbi.ulg.ac.be/handle/2268/23418
Brown, T. A., & Shuford, E. H. (1973). Quantifying uncertainty into numerical probabilities for the reporting of intelligence. DTIC Document. Retrieved
from http://oai.dtic.mil/oai/oai?verb=getRecord&metadataPrefix=html&identifier=AD0777063
Leclercq, D., & Gilles, J.-L. (1994). GUESS, un logiciel pour s’entraîner à l’auto-estimation de sa compétence cognitive. In QCM et questionnaires
fermés, actes du 3ème colloque international ESIEE (pp. 137–158). Marne-la-Vallée, France: Université Paris 7 Denis Diderot, Laboratoire d’Ingénierie
Didactique. Retrieved from http://orbi.ulg.ac.be/handle/2268/8953
Hunt, D. P., & Furustig, H. (1989). Being informed, being misinformed and disinformation: A human learning and performance approach. National
Defence Research Institute, Technical Report PM, 56(238), 1–17.
Hunt, D. P. (2003). The concept of knowledge and how to measure it. Journal of Intellectual Capital, 4(1), 100–113.
Jans, V., & Leclercq, D. (1999). Mesurer l’effet de l’apprentissage à l’aide de l’analyse spectrale des performances. In L’évaluation des compétences et
des processus cognitifs: modèles, pratiques et contextes (pp. 303–317). Bruxelles, Belgique: De Boeck Université. Retrieved from http://orbi.ulg.ac.be/
handle/2268/27553
Leclercq, D. (2003). Diagnostic cognitif et métacognitif au seuil de l’Université : le projet Mohican mené par les 9 universités de la Communauté
française Wallonie-Bruxelles. Liège, Belgique: Editions de l’Université de Liège. Retrieved from http://orbi.ulg.ac.be/handle/2268/17837
Samson, G. E. (1985). Effects of Training in Test-Taking Skills on Achievement Test Performance: A Quantitative Synthesis. The Journal of Educational
Research, 78(5), 261–266. http://doi.org/10.1080/00220671.1985.10885613
Berliner, D. C. (1986). In pursuit of the expert pedagogue. Educational Researcher, 5–13.
Castaigne, J.-L., Gilles, J.-L., & Hanzen, C. (2001). Application du cycle gestion qualité SMART des tests pédagogiques au cours d’obstétrique et
pathologie de la reproduction des ruminants, équidés et porcs. In Actes du 18e congrès de l’AIPU : Les stratégies de réussite dans l’enseignement
supérieur. Dakar, Sénégal: Université Cheikh Anta Diop. Retrieved from http://orbi.ulg.ac.be/handle/2268/23014
Castaigne, J.-L. (2005). Directions de recherches dans le calcul des notes liant exactitude et réalisme: illustration à travers une démarche en formation
à distance. In Actes du 22e congrès de l’association internationale de pédagogie universitaire (AIPU) : L’enseignement supérieur du {XXIe} siècle : de
nouveaux défis à relever. Genève, Switzerland. Retrieved from http://orbi.ulg.ac.be/handle/2268/23420
Finetti, B. de. (1965). Methods for Discriminating Levels of Partial Knowledge Concerning a Test Item. British Journal of Mathematical and Statistical
Psychology, 18(1), 87–123. http://doi.org/10.1111/j.2044-8317.1965.tb00695.x

Jean-Loup Castaigne,
04 78 79 43 24
jean-loup.castaigne@lyon.archi.fr
Yvan Pigeonnat
04 76 82 82 56
yvan.pigeonnat@grenoble-inp.fr
Mis à disposition selon les termes de la licence Creative Commons
Paternité - Pas d'Utilisation Commerciale - Pas de Modification.
44

Aller plus loin avec les QCM grâce aux degrés de certitude

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (20)

More from Jean-Loup Castaigne

More from Jean-Loup Castaigne (20)

Recently uploaded

Recently uploaded (20)

Aller plus loin avec les QCM grâce aux degrés de certitude