2. Phân tích được định nghĩa ngân hàng câu
hỏi trắc nghiệm
Sử dụng được máy chấm trắc nghiệm
theo bảng kiểm
Sử dụng được phần mềm làm ngân hàng
MCQ (EmpTest)
3. Đánh giá được độ khó, độ phân biệt, câu
nhiễu có giá trị của 1 câu MCQ
Chọn lựa được các câu MCQ có giá trị
Chỉnh sửa được các sai sót thường gặp về
mặt hình thức và nội dung
4. Là tập hợp các câu hỏi trắc nghiệm:
Đã sử dụng để thi
Đã đánh giá: độ khó, độ phân biệt, câu nhiễu
Đã chỉnh sửa
Đã quy định thời gian cho phép để trả lời
Đã ghi nhận số lần sử dụng
Đã ghi nhận thời điểm đưa vào
5. Độ khó
Độ phân biệt
Câu nhiễu có giá trị
Câu MCQ có giá trị
6. Phần trăm số người trả
lời đúng
Mức độ
70 -100 Khó I (câu dễ)
30 - 70 Khó II (câu trung bình)
0 – 30 Khó III (câu khó)
7. Không phụ thuộc vào đặc điểm nội tại của
câu hỏi mà phụ thuộc vào người dự thi.
Tính khó dễ thay đổi theo đối tượng dự
thi.
8. Trong đó:
G: nhóm học viên giỏi
KE: nhóm học viên kém
9. Chỉ số D Đánh giá câu trắc nghiệm
< 0.2 Kém, cần loại bỏ hoặc sửa chữa
0.2 – 0.3 Tạm được, cần sửa chữa cho hoàn chỉnh
0.3 – 0.4 Khá tốt, nhưng có thể làm cho tốt hơn
> 0.4 Rất tốt
10. Câu nhiễu có dưới 5% thí sinh lựa là câu nhiễu
không có giá trị
11. Độ khó từ 30-70%
Độ phân biệt > 0.2
Các câu nhiễu có giá trị > 10%
Ngoài ra, không có lỗi kỹ thuật, dựa vào
lâm sàng, suy luận để trả lời, đúng mục
tiêu
13. 10. Các lựa chọn không đồng nhất về nội dung
9. Các cặp lựa chọn đồng nghĩa-đối nghĩa
8. Các lựa chọn trùng lặp nhau một phần hoặc câu
sau chứa toàn bộ câu trước
7. Sử dụng những từ có nghĩa tuyệt đối trong các
câu nhiễu (luôn luôn, chắc chắn, …)
6. Câu trả lời đúng là “Tất cả các câu trên đều
đúng”
13
14. 5. Các câu nhiễu được viết với cấu trúc và
văn phạm khác hẳn nhau
4. Các câu nhiễu có độ dài và độ phức tạp
khác nhau
3. Câu dẫn và các câu nhiễu có từ đồng
nghĩa
2. Câu dẫn và các câu nhiễu dùng trùng từ
ngữ
1. Câu dẫn và câu đúng có cấu trúc ngữ
pháp khác nhau
(Berk R A, 2002, ifmsa.org)
14
15. ◦ Lỗi chính tả, chấm câu, ngữ pháp
◦ Đoạn văn lặp lại
◦ Câu TRỪ MỘT (viết ở dạng khẳng định)
◦ Nhiều đáp án ở câu C và D
◦ Độ dài câu tuỳ chọn không bằng nhau
16. National Board of Medical Examiners
Y học là khoa học ứng dụng và kỹ năng
tay nghề học kiến thức LS để ứng
dụng
Andrology chỉ học những điều ứng
dụng được
Kiến thức LS nếu đặt vào bối cảnh LS sẽ
nhớ rất lâu
17. Sử dụng một tờ báo tốt hơn so với tạp chí. Bờ
biển là một nơi tốt hơn đường phố. Lúc
đầu, nên chạy hơn là đi bộ. Bạn phải cố gắng
nhiều lần. Cần có một số kỹ năng nhất định,
nhưng rất dễ thực hiện. Ngay cả trẻ em cũng
làm được. Chim hiếm khi lại gần. Tuy nhiên,
mưa có thể làm ướt sũng. Nhiều người làm
cùng lúc sẽ gây ra vấn đề. Mỗi cái cần nhiều
chỗ. Nếu không có biến chứng, mọi chuyện sẽ
rất yên bình. Có thể dùng đá để neo. Nếu mọi
thứ thoát ra, bạn sẽ không có một cơ hội thứ
hai.
18. Mưa sẽ gây nguy hiểm. Sau một lúc sẽ khát
nước. Sử dụng xi măng tốt hơn cỏ và cỏ tốt
hơn đá. Có thể sử dụng một tay, nhưng chỉ
nên làm khi ngồi. Xài dây xích sẽ tốt, nhưng
không nên xài dây thừng. Nghiêng người về
trước sẽ giúp rất nhiều, nhưng nghiêng nhiều
hướng khác nhau sẽ trở ngại. Xài vỉa hè làm
mọi người bực mình. Xài hai chân sẽ dễ dàng
hơn. Gió có thể cản trở. Không thể đi ngược dễ
dàng. Khá dễ để tìm hiểu và rất khó quên. Kinh
nghiệm thường có sau khi bị đau. Móng tay dài
gây trở ngại.
19. Những điều học được tốt nhất không phải
là những gì đã được dạy
Những điều học được tốt nhất là những gì
đã được kiểm tra
Muốn học viên học điều gì thì phải kiểm tra điều đó
20. Nếu GV dạy LS & biện luận, nhưng
• Chỉ kiểm tra trí nhớ & dữ kiện LS, thì
• SV sẽ học những dữ kiện LS
Và không quan tâm đến biện luận LS
21. Nếu động từ mục tiêu trong bài giảng là:
• Trình bày, nhận biết, nhớ, …
SV chỉ cần nhớ đơn thuần
22. Nếu động từ là: phân tích, đánh giá, áp
dụng, so sánh, phân biệt, chẩn đoán, dự
đoán, tìm mối liên quan,…
SV cần làm 3 việc:
(1) Nhớ kiến thức, (2) Giải thích, & (3) Đưa
ra những nhận xét
lý luận LS hay giải quyết vấn đề
23. Bài 1 Mục
tiêu 1
Mục
tiêu 2
Mục
tiêu 3
Mục
tiêu 4
Mục
tiêu 5
Mục
tiêu 6
Mục
tiêu 7
Nhớ X X
Hiểu X X
Áp dụng X
Phân tích X
Tổng hợp X
Đánh giá x
24. Đánh giá lĩnh vực nào
◦ Kiến thức – Thái độ - Kỹ năng
Mức độ năng lực
◦ Biết – Biết cách – Áp dụng – Thực hiện
Mục đích của đánh giá
◦ Quá trình học/đào tạo – Kết thúc môn/khóa
Giá trị về nội dung
◦ Thấp – Trung bình – Cao
Độ tin cậy
◦ Thấp – Trung bình – Cao
25. Đánh giá lĩnh vực nào
◦ Kiến thức – Thái độ - Kỹ năng
Mức độ năng lực
◦ Biết – Biết cách – Áp dụng – Thực hiện
Mục đích của đánh giá
◦ Quá trình học/đào tạo – Kết thúc môn/khóa
Giá trị về nội dung
◦ Thấp – Trung bình – Cao
Độ tin cậy
◦ Thấp – Trung bình – Cao
26. U = Utility (Lợi ích)
R = Reliability (tính tin cậy)
V = Validity (tính giá trị)
E = Educational impact (tác động giáo dục)
A = Acceptability (tính chấp nhận được)
C = Cost (chi phí)
W = Weight (trọng số)
U = wr
R x wv
V x we
E x wa
A x wc
C
van der Vleuten C. The assessment of professional competence: developments, research and
practical implications. Advances in Health Sciences Education. 1996; 1: 41-67.
31. Group A B* C D E F
Hi % 1 1 91 4 1 2
Lo % 20 6 51 14 6 3
Total % 9 2 76 8 3 2
D-index: -0,0
32. Group A B C* D E F
Hi % 0 1 60 3 3 3
Lo % 0 1 60 25 8 6
Total % 0 1 74 12 7 6
D-index: 0.33
33. Group A B C* D E F
Hi % 44 1 50 2 1 2
Lo % 20 15 21 22 20 2
Total % 32 7 34 14 11 2
D-index: 0.30
34. Group A B C* D E F
Hi % 18 10 51 17 2 2
Lo % 24 24 21 25 4 2
Total % 22 17 34 22 3 2
D-index: 0.30
35. Định nghĩa ngân hàng MCQ
MCQ: độ khó, độ phân biệt, câu nhiễu
Chọn MCQ giá trị: không lỗi kỹ thuật, bối
cảnh lâm sàng, suy luận, đúng mục tiêu
36. o
Câu thi có tập trung vào một mục tiêu nhất định hay
không?
o
Vấn đề chính của câu thi có được phát biểu rõ ràng
trong phát biểu gốc (stem) không?
o
Các tùy chọn có chứa đoạn văn bị lặp lại không?
Nếu có thì nên đưa vào phát biểu gốc (stem) và bảo
đảm phát biểu gốc chỉ chứa các thông tin cần thiết.
o Phát biểu gốc ở dạng câu khẳng định?
o Các tùy chọn (alternatives) có rõ ràng không?
o Các tùy chọn có loại trừ lẫn nhau không?
37. o
Các tùy chọn có “đồng dạng” không, tức không có tuỳ
chọn nào đi lạc hướng?
o Các tùy chọn có vô tình chỉ ra câu trả lời không?
o
Có nhiều tùy chọn kiểu “Tất cả đều đúng” hay “Tất cả đều
sai” không?
o
Câu thi có chứa các câu gây nhiễu (distractor) hiệu quả
không?
o Có bảo đảm chỉ có một và chỉ một câu trả lời đúng?
o
Các câu trả lời đúng có sắp xếp ngẫu nhiên ở mọi vị trí
trong toàn bài thi?
38. o Cách trình bày câu thi có rõ ràng không?
o
Kiểm tra xem có lỗi chính tả, lỗi ngữ pháp, lỗi
chấm câu không?
o Câu thi có chứa những từ ngữ quá khó không?
o
Nếu bài thi đã được tổ chức thi rồi, thì kết quả
của lần thi trước có được phân tích chưa?
o
Câu có chứa nguyên văn trong sách giáo khoa
không?
Editor's Notes
Determine the Discrimination Index by subtracting the number of students in the lower group who got the item correct from the number of students in the upper group who got the item correct. Then, divide by the number of students in each group (in this case, there are five in each group). For Question #1, that means you would subtract 4 from 4, and divide by 5, which results in a Discrimination Index of 0
Determine the Discrimination Index by subtracting the number of students in the lower group who got the item correct from the number of students in the upper group who got the item correct. Then, divide by the number of students in each group (in this case, there are five in each group). For Question #1, that means you would subtract 4 from 4, and divide by 5, which results in a Discrimination Index of 0
Determine the Discrimination Index by subtracting the number of students in the lower group who got the item correct from the number of students in the upper group who got the item correct. Then, divide by the number of students in each group (in this case, there are five in each group). For Question #1, that means you would subtract 4 from 4, and divide by 5, which results in a Discrimination Index of 0
Determine the Discrimination Index by subtracting the number of students in the lower group who got the item correct from the number of students in the upper group who got the item correct. Then, divide by the number of students in each group (in this case, there are five in each group). For Question #1, that means you would subtract 4 from 4, and divide by 5, which results in a Discrimination Index of 0
This is the typical pattern for an item that is miskeyed: if the answer is Option B, the item is very difficult
and the discrimination index is negative. With a key of B, only 2% of the students answered correctly. The correct answer is almost certainly C, but a content expert should review the item to make sure. If the correct answer is C, the p-value becomes 76 and the discrimination index becomes 0.46 — these are both excellent from a statistical perspective, and there is no reason to make any changes in item text.
90% of the Hi group and 60% of the Lo group selected the correct answer. These are excellent overall statistics.
You could rewrite A and B before you reuse the item because few students selected those options.
50% of the Hi group and 21% of the bottom group selected the correct answer. This is a very difficult item
that is probably NOT OK. Too many of the Hi group selected Option A; the item may be poorly worded. Check Option A
for “fairness.” Make sure Option A is not equally correct.
The Hi/Lo group breakdown on option C is identical to Item #3, but this item may be OK. In contrast to Item
#3, those who don’t know the correct answer are widely spread across the various distractors. Of course, it would still be desirable to review options A, B and D for correctness and clarity