Recommended
Recommended
More Related Content
Viewers also liked
Viewers also liked (20)
More from Koyo Yamamori
More from Koyo Yamamori (20)
Recently uploaded
Recently uploaded (7)
151021 教育評価論（三田）第4講
- 1. 教育評価論（第 4 講） テスト項目の作成(2) 文部科学省 国立教育政策研究所 文部科学省 国立教育政策研究所 総括研究官 やま 山 もり 森 こう 光 よう 陽 (教育心理学) koyo@nier.go.jp 平成 27 年 10 月 21 日 この内容は個人的見解であり 国立教育政策研究所の公式見解ではありません
- 2. はじめに 本日の出席とスライド 本日の出席 https: //questant.jp/q/151021 本日のスライド http://bit.ly/eduass151021 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 2 / 40
- 3. はじめに 本日の内容 1 テスト項目作成の留意点 2 テスト冊子作成の考え方 3 テスト項目とテスト冊子作成の手順 4 本日の課題 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 3 / 40
- 4. テスト項目作成の留意点
- 5. テスト項目作成の留意点 前回の課題から(1) 教育評価論 テスト項目の作成 昆布班 井村俊介 勝部由莉香 和田拓海 松井諒磨 問題点 おそらくこの問題の説明文には、 「次の絵の名前を答えよ」くらいに しか記載されていなかったと思わ れ、何について問いたいか説明不足 である。また、イラストも鮮明でな いうえに白黒であるため、設問者が 意図したものと異なるものにも捉 えられてしまいかねない（酢こんぶ や海苔や炭など）。 修正案 まず一つ目は、問題文に「下の絵の、パソコンの部品の名前を答えなさい。」というように 何について問いているか明確にする必要がある。これは回答者の余計な想像を防ぐためで ある。また、イラストをカラーにしたり鮮明にするなどして、回答者の見間違えを防ぐこと も必要である。さらに、パソコン全体の図を載せることで、問題になっている部品の位置を 示し、それについての使用方法を付け加えることによって、その部品の名称だけでなく、位 置や使い方など広い範囲の理解度を図ることができる。これにより、学習者が単に名称を丸 暗記するという学習方法を避けることにも繋がると考えられる。 ポイント ・質問を具体化する ・イラストを見やすくする ・実際の使用場面を想定した理解を問う 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 5 / 40
- 6. テスト項目作成の留意点 前回の課題から(2) 教育評価論 テスト項目の作成 昆布班 松井諒磨 和田拓海 井村俊介 勝部由莉香 問題点 ・〝次のような場合″という部分が問題文 として曖昧。 ・〝どのように″という部分も曖昧。 ・絵で余計な情報を与えてしまう。 総じて、解答者が余計な空想をしてしまう 余地を与えていて、問題作成者の意図にそ ぐわない解答が出やすくなってしまってい る要因になっている。 修正案 ・問題文を改訂する。例えば、「この時間帯の場合使われる英語のあいさつは？」 「最 もふさわしいあいさつを書け」など ・問題文を改訂した場合、絵を変えるもしくはなくしても構わない。絵を変える場合、な るべく無駄のないシンプルな絵にする。例えば、登場人物を減らす。PM７：００と書い てあるので背景の星を無くす。など 修正のポイント ・次のような場合、どのように、など曖昧で多数の誤解答を生んでしまう恐れのある曖昧 な言葉を避け、限定し、多義的にならないようにする。また、解答者が余計な空想をしな いようにシンプルな絵にしてあげる。そもそも PM７:００とあるので絵がなくても問題文 が改訂されていれば解答を導くことはできるので、家族の絵を載せる必要は全くない。こ の問題の正解をあいさつと決めつけて話してきたが、もしその他のことを作成者が聞きた い場合、絵をもっと詳しくするか説明文を加える必要があるだろう。 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 6 / 40
- 9. テスト項目作成の留意点 前回の課題から(5) 問題点 ・問題の目的（どういう構文を書かせたいのか、英作文なのか）不明瞭 *1 ・人物設定や状況設定、絵の情報量が少ない *1 ・問題中にある「言葉」に、何の明示も無い為にどんな言葉でも 6 字書けば正解になってしま う*1 ・文法能力が欠けている人でも解けてしまう *2 ・英語では 1 単語を 1 語と数えるのに対し問題文中では 6 字となっている（言葉の誤り）*3 英語の能力をきちんと測ることができていない 1 項目に解答は 1 つの原則に違反 英語の能力をきちんと測ることができていない つの原則に違反 修正のポイント *1 *2 ・（自由英作文でない場合）絵だと無駄に想像力が働いてしま うため問題文にある程度の制約をかける。登場人物について の説明など。 ・正しく構文が書けるか否かを見る為には日本語訳をつける ・（自由英作文の場合）絵が曖昧で情報量が少ないので、条件 を明確に示すことで解答を 1 つの方向へ導く *3 ・6 字を 6 語にすることで、単語が 6 つ必要だということを 明確化 修正案 修正案① Get up ken!に続く「さもないと学校に遅刻してしまいますよ」の意味の完 全な英文を６語以上で書きなさい。 修正案② 以下の絵をみて答えなさい。小学生の Ken はまだ寝ています。それを見た Ken のお母さんが言ったGet up Ken! に続く言葉を6 語以上の英文でかき なさい。 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 9 / 40
- 10. テスト項目作成の留意点 前回の課題から(6) 問題点 ・矢印が金魚の口に接してしまっている ・「これ」という表現では、生物でない場合（たいやきなど）も含んでしまう ・「これ」と矢印の併用によって口の一部分を示していることになってしまっている ・これでは理科の問題なのか、漢字を問う問題なのか明確に判断することができない 該当する科目の能力をきちんと測ることができていない 1 項目に解答は 1 つの原則に違反 修正のポイント ・（漢字の試験であれ理科の試験であれ）漢字 2 文字でと指定 することで魚という答えを排除し、かつ魚の種類など細か く答えられることを防ぐ ・絵で示すのであれば、カラー付きで、水槽のなかに金魚を 入れることで、より明確に金魚であると想定可能となる（鯛 焼きという答えも排除できる） ・ひらがなの小さい「よ」を聞きたい場合であればひらがな 4 文字で書きなさいなどの問題の制約を設けることで解答 を導かせる ・矢印を省くことで特定箇所の名称を答えられないようにす る 修正案 修正案① a) ひらがなを問う場合 b) 漢字を問う場合 水槽の中の生物の名称を答えなさい。 a) ひらがな 4 文字で（「ゃ」「ゅ」「ょ」などの小さい字も 1 字に含まれま す。） b) 漢字 2 文字で 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 10 / 40
- 11. テスト項目作成の留意点 前回の課題から(7) ▽問題点 ①「英単語で記しなさい」という記載方法が単純な英訳の イメージと異なるため、『宿題』から連想できるhomework 以外の単語が解答として浮かんでしまう。 ②類語が考えられる。（例：job,work） 教育評価論 リンゴ班 課題１ ▽修正点 ・「英訳しなさい」という言葉を使う。（①） ・頭文字（h）を置き、homeworkへ導く。（②） ・解答の英単語の文字数を指定する。（②） ・文章中の穴埋め問題にする。（例：I did my homework.） ▽修正点のポイント ・homeworkと解答させることを目的とする場合、翻訳の意を含む 「英訳」という言葉を使う方が他の単語を連想しにくいのではないか。 ・確実にhomeworkと回答させたいならば、頭文字を指定することで それ以外の解答がなくなる。 ・文章中の穴埋め問題にすることで以前学習した例文等が想起さ れ、homeworkと解答しやすくなる。 ・そもそも英語は多義語なので、多義語の解答を認めるか、又は今 回のように出題者の望む解答があるならばそれなりの指定が必要 である。 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 11 / 40
- 12. テスト項目作成の留意点 前回の課題から(8) ▽修正案 • 「あなた」ではなく、「「あなた」ではなく、「 君」に君」にする。する。 ②②②② • そのそのその場場場場場ににににに誰誰誰誰誰がいて、何がいくつあって、それをどうするのか、を明確に示す。同時に、様々そのその場場場ににに誰誰誰がいて、何がいくつあって、それをどうするのか、を明確に示す。同時に、様々がいて、何がいくつあって、それをどうするのか、を明確に示す。同時に、様々 な捉えられ方の選択肢を消す。 がいて、何がいくつあって、それをどうするのか、を明確に示す。同時に、様々 な捉えられ方の選択肢を消す。な捉えられ方の選択肢を消す。 がいて、何がいくつあって、それをどうするのか、を明確に示す。同時に、様々がいて、何がいくつあって、それをどうするのか、を明確に示す。同時に、様々がいて、何がいくつあって、それをどうするのか、を明確に示す。同時に、様々 ①、④ がいて、何がいくつあって、それをどうするのか、を明確に示す。同時に、様々がいて、何がいくつあって、それをどうするのか、を明確に示す。同時に、様々 ①、④①、④ • 「食べられますか」ではなく「食べることになりますか」にする。「食べられますか」ではなく「食べることになりますか」にする。 ③③③③ ▽修正問題案 • 「部屋に「部屋に「部屋に 君、君、 ちゃん、ちゃん、 君がおり、君がおり、 個のりんごをそのまま個のりんごをそのまま個のりんごをそのまま 人で全て食べます。先に人で全て食べます。先に「部屋に「部屋に 君はりんごを 君、 君はりんごを君はりんごを 君、君、君、 君はりんごを つ、 ちゃん、ちゃん、 つ、つ、つ、 ちゃん、ちゃん、 君がおり、君がおり、ちゃん、ちゃん、ちゃん、 ちゃんは 君がおり、君がおり、君がおり、君がおり、 ちゃんはちゃんはちゃんはりんごを 君がおり、 りんごをりんごをりんごを 個のりんごをそのまま個のりんごをそのまま個のりんごをそのまま個のりんごをそのまま個のりんごをそのまま りんごをりんごを つ食べました。 個のりんごをそのまま つ食べました。つ食べました。 個のりんごをそのまま個のりんごをそのまま個のりんごをそのまま 人で全て食べます。先に人で全て食べます。先に人で全て食べます。先に人で全て食べます。先に個のりんごをそのまま個のりんごをそのまま 君はいくつりんごを食べることにな君はりんごを君はりんごを君はりんごを君はりんごを君はりんごを君はりんごを君はりんごを君はりんごを君はりんごを りますか。」 ▽問題点 • ①場面設定がない。 • ②「 」と「あなた」との関係性がない。あなたが別の場にいる存在 になっている。 • ③「食べられますか」だと、その人の能力の問題だと捉えられる恐 れがある。 • ④りんごを切って数を増やす、りんごをすりおろす、りんごを捨てる など様々な捉え方もあり得る。 ▽修正のポイント • 場面設定をはっきりさせ、元問題の「あなた」の ように別次元の人物が登場しないようにする。 • 「そのまま食べる」という言葉によって、配分の 方法の選択肢を１つに絞る。 • 「食べることになりますか」という言い回しにする ことによって、 君の意志に関係なく食べる数が 決定されることを強調する。 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 12 / 40
- 15. テスト項目作成の留意点 前回の課題から(11) 問題点→設問中の「言葉」と言う指定 修正ポイント 「うってかわって」という文字列を組み込んだ文を作るのが目的では ないことを明確にする →文を書かせる前に、四択で「うってかわって」という慣用句の辞書上の 意味を選ばせる 修正案 （１）「うってかわって」という慣用句の意味を選びなさい。 （２）「うってかわって」と言う慣用句をも正しい意味で用いた文を 作りなさい。 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 15 / 40
- 16. テスト項目作成の留意点 前回の課題から(12) 問題点 採点基準がわからない（いくつ書 けば合格か？） →枠いっぱいに埋めつくした 求められている答えが予測しに くい →「有機物」と書けば正解と考え た 修正ポイント→問いの目的を明確にする 修正案①→「有機物の名前を具体的に〇個以上あげなさい」 修正案②→「以下から有機物を選びなさい。木・砂糖・プラスチック・人間・エタノール・食塩、 ガラス、鉄、ダイヤモンド、水」 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 16 / 40
- 17. テスト項目作成の留意点 前回の課題から(13) → 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 17 / 40
- 18. テスト項目作成の留意点 前回の課題から(14) 私たちの思う解答：格好 問題点 ①この文章だけだとあいまい ②出題方法に工夫が必要 ③出題範囲はどうなっているのか 修正案 ①近くに絵を挿入したり、「○○色の」など、「滑降」と関連性を持たな い修飾語を用いる ②教科書の抜き出しをしたり、出題するいくつかの漢字を一つの文 章にして文脈を持たせる ③出題範囲が決まっている場合、「絶対にここから出題します」と事 前に伝えて求めていない回答を防ぐ 理由 ①「はでな滑降」という描写をイメージさせないため ②文脈を持たせることで、「格好」以外では絶対に正解にはならない ようにするため ③範囲が指定されているなら、それ以外の回答はし難いと考えられ るため 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 18 / 40
- 19. テスト項目作成の留意点 前回の課題から(15) ベルリン班 課題その１ テスト項目の何が問題なのか ・『もの』という不明瞭な指示語 →物質という意味での『もの』に限定しづらい ・絶妙な大きさの解答欄 →字数がはっきりせず、解答の範囲が拡がりす ぎてしまう。 修正案 冷凍食品ばかりの食事で不足がちになる栄養素は次の選 択肢のうちどれでしょうか。もっとも正しいものを選び なさい。 １. 脂質 ２. タンパク質 ３. ミネラル ４. 糖分 正答 3 修正のポイント ・欲しい正答は『ミネラル』 ・対象とする学習レベルによっては愛情も答えになっ てしまうため、多肢選択項目に変更。 ・選択肢の個数は最適とされる 4 つ。撹乱肢は 4 大栄 養素からもってきて撹乱肢として価値の高いものにし た。 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 19 / 40
- 20. テスト項目作成の留意点 前回の課題から(16) !! ! •! ! " ! •! ! " #$ ! ! !! ! %&'& () ! !! ! •! ! •! ! 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 20 / 40
- 21. テスト項目作成の留意点 前回の課題から(17) 「皿」を書かせたい・・・ • 「サラ」・・・多義的で、「皿」「更」どち らでも入れられるのが問題 • 修正案・・・「□洗いをする。」 • 理由・・・これだと空欄の一義性が 保たれる 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 21 / 40
- 22. テスト項目作成の留意点 前回の課題から(18) 「銭湯」を書かせたい・・・ • 「セントウ」・・・「戦闘」とも「銭湯」とも とれる多義性が問題 • 修正案・・・「安い□□に行く。」 • 理由・・・“安い”という形容詞が「銭 湯」という語を導く。空欄に一義性が 保たれる。 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 22 / 40
- 23. テスト項目作成の留意点 前回の課題から(19) 問題点 • 単語の区切りのパターンが複数考えられる • 問題文の情報が足りない • 複数の回答が想定されるためわざとひねくれた答え を回答する生徒が考えられる 修正案 • オショクジケン→オショク事件 • 政治家のオショクジケン→政治家が賄賂を貰うという オショクジケン 理由 • 「汚職」と「事件」では習う学年が違い今回の設問で は「汚職」の漢字を書かせようとしていると考えられ るため紛らわしさを無くすという意味でも「事件」をあ らかじめ感じで表記する • オショクジケンの意味を明確化することで「汚職事 件」と回答させるようにする 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 23 / 40
- 24. テスト項目作成の留意点 前回の課題から(20) 問題点 • 「どこ」という曖昧な表現がある 修正案 • 一番最初に「次の都道府県を答えなさ い」と書いておく • 「どこ」を「都道府県」と置き換える 理由 • 回答を都道府県に限定するため 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 24 / 40
- 25. テスト冊子作成の考え方
- 26. テスト冊子作成の考え方 発揮された能力の程度を見積もる工夫 であるため であると 考えられる 課題に 対する 出来具合 評価規準に 照らし 合わせた 能力の程度 出来を求める だけでなく 能力の発揮・伸 長を意図した支 援を可能にする 課題に対する出来具合だけではなく，育成・評価対象の能力の発 揮，伸長，定着の状況を推定できるようにする。 単なる「テスト対策」に陥ることを回避する。 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 26 / 40
- 27. テスト冊子作成の考え方 項目に応答させる形式：段階評価 300 400 500 600 700 800 0.00.20.40.60.81.0 Item response function Ability Probabilityofacorrectresponse 300 400 500 600 700 800 0.00.20.40.60.81.0 Item response function Ability Probabilityofacorrectresponse 300 400 500 600 700 800 0.00.20.40.60.81.0 Item response function Ability Probabilityofacorrectresponse Figure 1: 項目と特性 Figure 2: レベル表 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 27 / 40
- 28. テスト冊子作成の考え方 テスト冊子が持つべき性質 −4 −2 0 2 4 0.00.20.40.60.81.0 Item response function Ability Probabilityofacorrectresponse Figure 3: 複数項目の項目特性曲線 項目を多めに用意することで段階を増やす 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 28 / 40
- 29. テスト冊子作成の考え方 観点別評価のためのテスト テスト項目の作り方 56 効果的な形成的フィードバックの方法 通 過 率 高 低 評価規準に対し てCに相当する 生徒が正答可能 な項目 評価規準に対し てBに相当する 生徒が正答可能 な項目 評価規準に対し てAに相当する 生徒が正答可能 な項目 ○○なことができれば， この評価規準を上回る （A）と評価可能 ○○なことができれば， この評価規準を満たす （B）と評価可能 Figure 4: 観点別評価を行うためのテスト冊子の考え方 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 29 / 40
- 30. テスト項目とテスト冊子作成の手順
- 31. テスト項目とテスト冊子作成の手順 テスト項目とテスト冊子作成の大まかな流れ 大まかな流れ 評価規準（達成目標）を設定する 評価規準（達成目標）に対して，どのようなことが出来れば 「おおむね満足」「十分満足と言えるか」を検討する。 「おおむね満足」といえる状況を判断可能なテスト項目と， 「十分満足」といえる状況を判断可能なテスト項目をそれぞれ 設定する。 このようなテストの利点 0 点で C，1 点で B，2 点で A という対応関係が成立 単なる正答数の積み上げでは観点別評価は不可能 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 31 / 40
- 32. テスト項目とテスト冊子作成の手順 評価規準の設定 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 32 / 40
- 33. テスト項目とテスト冊子作成の手順 評価規準の設定 Figure 6: 評価規準の作成、評価方法等の工夫改善のための参考資料 (http://www.nier.go.jp/kaihatsu/shidousiryou.html) 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 33 / 40
- 34. テスト項目とテスト冊子作成の手順 評価規準の設定 • • (a) • • (b) 1-3 Figure 7: 単元の評価規準の設定 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 34 / 40
- 35. テスト項目とテスト冊子作成の手順 テスト項目の設定とテスト冊子へのまとめ テスト項目の作り方 56 効果的な形成的フィードバックの方法 通 過 率 高 低 評価規準に対し てCに相当する 生徒が正答可能 な項目 評価規準に対し てBに相当する 生徒が正答可能 な項目 評価規準に対し てAに相当する 生徒が正答可能 な項目 ○○なことができれば， この評価規準を上回る （A）と評価可能 ○○なことができれば， この評価規準を満たす （B）と評価可能 Figure 8: テスト項目の設定とテスト冊子へのまとめ 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 35 / 40
- 36. 本日の課題
- 37. 本日の課題 テスト項目とテスト冊子の作成演習 課題の内容 講義で示した手順に沿って，自身が免許取得を希望する教科（また は，それに近い教科）の中学 2 年生に対して思考・判断・表現の観点 別評価を行うためのテストを作成してください。 国語は「読む能力」，英語は「理解の能力」の「読むこと」で作成する こと。 テスト冊子は，B と判断するための項目と，A と判断するための項目 2 項目で構成してください。 課題の要件 評価対象となる単元を示す。 単元の評価規準を示す。 B に相当する項目，A に相当する項目をそれぞれ設定する。 設定された項目について，なぜ B（あるいは A）に相当するのかの理 由を明示する。 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 37 / 40
- 38. 本日の課題 テスト項目とテスト冊子の作成演習 手順 評価規準設定のための資料を落手する 担当する教科についての国立教育政策研究所の「参考資料」 テスト問題作成のための教科書を落手する 公立図書館に蔵書があることが多い（横浜市立図書館は全館） www.mext.go.jp/a_menu/shotou/kyoukasho/center.htm 資料を使いながら課題に取り組む 次の講義までの課題 グループで，評価規準設定のための参考資料を入手する。 グループで，教科書のコピーを入手する。 上記 2 つの資料を教職ログブックにアップする。 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 38 / 40
- 39. 出席の登録 本日の出席とスライド 本日の出席 https: //questant.jp/q/151021 本日のスライド http://bit.ly/eduass151021 教育評価論（第 4 講） テスト項目の作成 (2) 平成 27 年 10 月 21 日 40 / 40