Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

20190626_ICON技術セミナー10_劉_斎田

514 views

Published on

ICT_CONNECT_21 技術標準WG 連続セミナー10 CBT 劉 斎田

Published in: Education
  • Login to see the comments

20190626_ICON技術セミナー10_劉_斎田

  1. 1. FLIP+国際会議参加報告 & 世界における初等中等教育での CBT利用の現状 ICT CONNECT 21 CBTサブワーキンググループ 劉 東岳 / 斎田 健太郎 ICT CONNECT 21技術標準WGセミナー June 26, 2019
  2. 2. Outlines CBT概論 FLIP+の紹介 国外事例 国内事例 CBT技術小話 今後の展開・課題 オープンな意見交換
  3. 3. CBT概論
  4. 4. CBT概論:そもそも CBT(Computer-based Testing) • コンピュータやモバイル機器などを使ってテスト を実施する方法全般 様々な用語がある • IBT(Internet-based Testing) • WBT(Web-based Training) • e-testing & e-assessment • Technology-based Testing
  5. 5. CBT概論:そもそも 様々な実施形態がある • 国際テスト委員会(ITC)の ガイドライン https://www.intestcom.org/ Mode 典型的な実施体制 Open オンライン、個人認証なし、無制限 Controlled オンライン、事前登録、IDとパスワード Supervised オンライン、遠隔地から監督、受験環境の標準化に 限界(技術的な課題) Managed CBTテスト会場(標準化された受験環境)、個人認証、 不正対策
  6. 6. CBT概論:現状 典型的なCBTテスト会場 今まで主に、高等教育以降で利用されてきた。 提供 プロメトリック株式会社(お茶ノ水ソラシティテストセンター)
  7. 7. CBT概論:現状 高等教育に関連するテスト • 医学・歯学・薬学の共用試験 • TOEFL、GRE、GMATなどの海外留学 人材・雇用に関連するテスト • 適性検査 • 入社試験 専門技能・ライセンスに関連するテスト • IT系、マネジメント系、医療系 • 業界統一の試験(金融業界、保険業界など) 国内では、およそ年間350万~400万試験が Managed modeで実施されている
  8. 8. CBT概論:利点 多様な問題形式と解答情報(問題) • メディア(画像、音声、3Dオブジェクトなど) • プロセス(操作手順、時間など) • シミュレーション、インタラクティビティ 複雑な出題アルゴリズム(試験) • 出題順の変更・ランダム化 • 並行版、LOFT(Linear-on-the-fly Testing) • 適応型テスト CAT(Computer Adaptive Test) 柔軟な実施・採点体制(運用) • 通年実施、ウィンドウ、申請・変更(受験側の利便性) • 即時採点、採点支援、問題の差し替え(実施側の利便性)
  9. 9. CBT概論:用語 問題プール/項目バンク (項目=問題) • 問題を整理して管理する機能 • 特性:分野、種類、難易度、識別力(切味)、時間など • 関連機能:作成、選定、履歴、集計・分析、更新など 古典的テスト理論(CTT) • 各問題に配点 • 全体で何問(何点分)に正解したのか ⇒ 得点(素点) • 得点が能力水準を反映 • 得点の中身は気にしない • 得点の比較には、全ての問題が同じことが前提
  10. 10. CBT概論:用語 項目反応理論(IRT) • 得点の中身を気にする(どの問題に正解したのか) • どんな項目に、どう反応をしたか(問題ごと) • 特殊な確率モデルで解答パターンを“能力値”に換算 • 何種類かのモデルが実践で使われている “能力値”の特徴 • 異なった問題でも比較ができる • 問題の特性が分かっていないと計算できない ★ • 得点(得点率)の大小と対応しないことがある ★
  11. 11. CBT概論:用語 テストの公平性1:みんな同じ内容 • 全受験者に同じ内容の問題 • 会場に集まって一斉受験が前提 • 日本のテスト文化における絶対的な正義 テストの公平性2:それぞれ同等の機会 • 周囲とのシンクロを強制・絶対視しない • 学びの個別化・多様化に対応 テストの公平性3:それぞれ適切な内容 • 適切な難易度・目標設定 • 適応型テスト • 測定誤差
  12. 12. FLIP+の紹介
  13. 13. FLIP+:組織 France‐Luxembourg‐Italy‐Portugal • これらの国の政府が、自国の初等中等教育において実 施する大規模なアセスメントの運用体制にCBTの導入 を検討する過程において、国際的な協力体制を構築す るパートナーシップ構想が生まれ、FLIPが立ち上がっ た。(2017年) • 他の国も参加を表明しており、今はFLIP+となった。 • 現時点で企業は正式メンバーになれない。 国際的な協力体制構築の目的 • e-アセスメントの経験・知見の共有 • ITインフラの開発コストの共有(分担) • コンテンツの共有(項目バンクの構築に向けて)
  14. 14. FLIP+:組織 原則 • 参加を希望する国・団体は次の原則を採用 • オープンソース(Open Source) • 相互互換性(Interoperability) 現在のシステム • Open Assessment Technologiesが提供するTAO • TAOはFLIP+の原則を満たす。 https://flip-plus.org/
  15. 15. FLIP+:第2回国際会合 FLIP+2019 • 第2回国際会合をイタリアのローマで開催 • 2019年6月6日~6月7日
  16. 16. FLIP+:第2回国際会合 参加者 • 13か国から50名+ • 行政機関、国際機関、民間非営利団体 • パートナー企業 目的 • 情報共有、各国からの報告(現状、計画) • 最新テクノロジーの紹介 • コミュニティの付加価値(展開、企画、提言) スケジュール • 全体での報告会 • 分科会での議論・ブレインストーム • 親睦会
  17. 17. FLIP+:第2回国際会合 参加者 • 13か国から50名+ • 行政機関、国際機関、民間非営利団体 • パートナー企業 目的 • 情報共有、各国からの報告(現状、計画) • 最新テクノロジーの紹介 • コミュニティの付加価値(展開、企画、提言) スケジュール • 全体での報告会 • 分科会での議論・ブレインストーム • 親睦会
  18. 18. 国外事例1:フランス
  19. 19. フランスの教育システム • フランス国民教育省 • 30のアカデミー(複数県からなる学区)を統括している • エレメンタリースクール: 52,000校 • セカンダリースクール: 11,000校 • 児童・生徒: 1,300万人 • 総予算: 11兆円 (93 billion EUR) • DEPP • Department of Statistics of the Ministry of Education • 国民教育省の評価・調査・業績局 • アセスメントの標準化を推進 • Thierry Rocherさん • FLIP+設立の中心メンバー
  20. 20. DEPPが推進する3つのアセスメント • クラスレベル • 先生に対し,教育的介入の改善を目的とした標準化ツールを 提供 • 地域レベル • 教育長に対し,教育的介入効果を測定するための指標を提供 • 国レベル • 教育システムを評価するための結果と傾向と国際比較を提供
  21. 21. eアセスメントへの移行 • 2015年よりPBTからCBTへの移行を開始 • eアセスメントにより実現できること • コスト削減 • 大規模な実施 • マルチメディア,インタラクティブ,シミュレーションを用い た出題 • アダプティブテスティング • ログデータの活用
  22. 22. 学校種による実施条件の違い • 小学校でのCBT • オフライン • タブレットを貸与 • 抽出調査 • 中学校でのCBT • オンライン • 学校のPCを利用 • 抽出調査,悉皆調査
  23. 23. 2019年のアセスメント • 大規模なアセスメント • eアセスメントは10学年に加え6学年も対象に • 1学年と2学年が対象のアセスメントではポータルを開発 • 先進的なアセスメント • タブレットアプリケーションの開発 • 数学と21世紀型スキルのアセスメントでTechnology Enhanced Items (TEI)を開発 • データ解析 • モードエフェクト (PBT/CBT)
  24. 24. 2019年のアセスメント: 大規模なアセスメント • 6学年と10学年で悉皆調査 • 6学年: 83万人 / 7,100校 • 10学年: 83万人 / 4,500校 • 国語と数学,2ブランチのアダプティブアセスメント • TAOをオンラインで利用 • 記述式問題はなし→自動採点 • 結果 • 95%の参加率 • 5万人の同時接続を実現 • 低速回線の学校向けにオフラインバージョンも用意
  25. 25. 2019年のアセスメント: 先進的なアセスメント • Technology Enhanced Items • CBTならではの問題 • インタラクティブ,シミュレーション • チャットシミュレーター • チャット画面を模した問題でインタラクティブに回答する • プログラミング • ブロックを並べて動作を確認する • ファイルエクスプローラー • ファイルエクスプローラーのシミュレーター • 電気回路シミュレーター • 要素をドラッグ&ドロップで並べる
  26. 26. 2019年のアセスメント: データ解析 • PBTではわからないもの • 1画面あたりの滞在時間 • やり直した内容,回数 • 回答した順番 • 試行錯誤のログをどうするか? • ノイズの中から有益なデータをどう拾うか? • ビッグデータ • ログに残らないもの • ある生徒は画面上の距離を指で測って回答 • ログが全てではない
  27. 27. 2019年のアセスメント: モードエフェクト • 同じ問題をPBTとCBTで実施して結果を比較する • 9学年,サイエンス • 4,000人が対象 • 紙 vs. PC • PCの方が難易度が高い • 15-20%,CBTが難しい • 1-2学年,国語と数学 • 4,000人が対象 • 紙 vs. タブレット • 14-17%違う,CBTが難しい • 結果 • CBTの方が難しくなる • 問題によって差が大きいものがある • CBTは1問あたりにかける時間が短い
  28. 28. 今後 • 今後の予定 • アクセシビリティツール • QTI+APIP • UXリサーチ • 紙とは違うユーザー体験を設計 • データ解析 • 音声合成/音声解析 • ポータルによるデータ利用 • アセスメントの結果は数日後にはポータルで提供される • システム開発の継続 • TEI
  29. 29. 国外事例2:ルクセンブルク
  30. 30. ルクセンブルクの紹介 • 人口59万人,48%が在留外国人 • 児童・学生8.8万人,42%が外国出身 • プライマリースクール: 156校 • セカンダリースクール: 40校 • 大学: 1校 • 45%の職で,18万人の越境労働者
  31. 31. SCRIPT • https://www.script.lu/ • データ部門 • データベース管理 • データ保護 • アセスメント • データ利用 • 2015年からDigital Educationが始まった • アセスメントだけではなく学習もデジタル化が進んで いるので,PCに慣れている
  32. 32. MathemaTIC • https://www.mathematic.lu/ • Personalized Learning in Mathematics • アダプティブ • 多言語対応 • わかりやすい • TEI • 589問題 • 30アセスメント • 自分のペースで勉強できるのが重要 • 先生が問題を作る • ダッシュボード・リーダーボードが充実
  33. 33. FLIP+への貢献 • MathemaTICの問題へのアクセス • 問題をPCIにコンバート • フランスに渡して使われている
  34. 34. 休憩
  35. 35. 国内事例:全国学力・学習状況調査など
  36. 36. 平成30年度 全国的な学力調査における ICT の活用に関する調査研究 • 全国的な学力調査における ICT 活用の可能性を検証 • 全国学力・学習状況調査の CBT 化に向けた検討の状況 • 小中学校における「教育の情報化」と「情報活用能力」の実 態 • 国内外のCBTによる5つの学力調査を対象とした先行事例調 査 • PBT 調査と CBT 調査の相違点についての比較分析 • http://www.mext.go.jp/component/a_menu/educ ation/micro_detail/__icsFiles/afieldfile/2019/05/ 21/1416819_01.pdf
  37. 37. 平成30年度 全国学力・学習状況調査中学校の英語予備調査 • 平成31年度の悉皆調査で追加になる英語の予備調査 • 「話すこと」調査については、基本的に学校のPC教室 等で既存のPCを用いて、音声を録音する形式で実施 (準備時間も含め15分程度) • オフラインでの実施 • 課題 • 他者の発話の漏れ • プログラムのコピーと結果回収の作業負荷 • 環境復元ソフト • プロキシ • http://www.mext.go.jp/b_menu/shingi/chousa/sh otou/130/shiryo/__icsFiles/afieldfile/2018/06/2 7/1405482_4.pdf
  38. 38. 平成31年度 全国学力・学習状況調査の中学校英語「話すこと」調査 • 2019年4月18日に一斉実施 • 教科は国語と数学と英語,英語の「話すこと」調査の みCBTで他はPBTで実施した • 「話すこと」調査は9,448校で実施した • 全中学校の約96% • 結果の公表と公開はまだ • PC環境の整備状況などで参加しない学校もいた • 100%オフラインで実施した
  39. 39. CBT技術小話
  40. 40. FLIP+の方針 • 2つの方針 • オープンソース • インターオペラビリティ (オープンスタンダード) • システムとデータのベンダーロックオンを防ぐ • 長期的な利用を想定
  41. 41. オープンソース • フランスは国でTAOの採用を決めて推進 • TAOはオープンソース,またオープンスタンダード対応 • Pros • ソースコードが公開されている • 信頼性がある • コスト削減(?) • Cons • サポート • 品質に対する保証がない • ライセンス,派生物の扱いに注意
  42. 42. オープンスタンダード • データのインターオペラビリティ • IMS QTI (Question & Test Interoperability) • PCI (Portable Custom Interaction) • システムのインターオペラビリティ • IMS LTI (Learning Tools Interoperability) • Pros • 対応しているシステムでの互換性の保証 • システムを乗り換えてもデータはそのまま使える • 仕様を一から考えなくて良い • 費用削減 • ベストプラクティス • Cons • 仕様を全て満たそうとすると無駄な部分があるかも • 仕様変更する場合は仕様から外れるか仕様決めに参加
  43. 43. IMS QTI & PCI • アイテム,テスト,デリバリー,結果の仕様 • 出題の種類は標準で10種類以上 • 選択,並べ替え,ホットスポット等 • 標準以外はPCIで開発 • Technology Enhanced Items • JavaScriptで開発 • アクセシビリティ対応 • 対応しているLMS • Canvas (認定済み) • Moodle (一部インポート可) • Sakai (未認定) • 詳しくは • https://www.slideshare.net/ICT_CONNECT_21/20170710 -icon2-77685117
  44. 44. TAOの新機能 • センターサーバー&ローカルサーバーでのオフライン • 問題配信&結果回収はオンラインで • アイテム作成ワークフロー • アダプティブエンジン対応
  45. 45. 今後の展開・課題
  46. 46. 今後の展開・課題 測定ツールとしてのテスト・アセスメント • 人の潜在的な特性を測定する仕組み • 背景に理論・技術が存在 • 品質評価(妥当性、信頼性) • 設計・開発、運用・効率などについて議論できる 社会インフラとしてのテスト・アセスメント • 能力判断に何を見るのか ⇒ 獲得の履歴、活用の成果、測定の結果 • 理論・技術の正当性 • 運用・コストの実現性 • 公平性・納得感・有益性 • テスト文化 - テストって“こう”あるべき
  47. 47. 今後の展開・課題 これからCBTが普及する社会的背景 • 学び(学習環境や教材)のICT化 ⇒ 評価(テストやアセスメント)のICT化は必然 • 学びの個別化・多様化 • 新たな学力観・能力観 • 就業・学びの機会のグローバル化 ⇒ 何を測定するかが能力を定義する面もある ⇒ 国家間の能力規格競争 (ディファクト・スタンダード)
  48. 48. 今後の展開・課題 最初に高等教育以降でCBTが普及 ⇒ 運用の利便性 初等中等教育におけるCBTは、高等教育以降で普 及していたCBTとは違ったものになり、既存の CBTサービスの延長とはならないのではないか • 期待される付加価値 • プラットフォームの在り方 • ビジネスモデル
  49. 49. オープンな意見交換
  50. 50. 劉 東岳 DL.Liu@gakken.co.jp 斎田 健太郎 saida@infosign.co.jp ご清聴ありがとうございました!

×