ICT CONNECT 21 技術標準WG 連続セミナー 田村 Learning Analytics

1. Learning Analytics 紹介
〜 Multimodal LAの登場〜
上智大学 田村恭久
ICT CONNECT 21 技術標準WG連続セミナー
第５回 2018-8-22
@ユビキタス協創広場CANVAS
1

2. 自己紹介
• 上智大学 理工学部 教授
– 専門：教育工学、電子教科書、Learning Analytics
• 学習分析学会 理事長
• 日本eラーニング学会 会長
• ICT Connect 21 技術標準WG 座長
• 総務省 スマートスクール実証事業 評価委員
• ISO/IEC JTC1/SC36 (e-Learning)
– WG8 (Learning Analytics Interoperability) Co-
leader
2

3. 教育の情報化
3
生徒／学生／受講者
校務系サーバ教材サーバ
(出版社等)
学習系サーバ 履歴分析サーバ
電子教科書
認証
出欠
教材
クイズ
フィードバック
レコメンデーション
↓
Learning
Analytics

4. Learning Analyticsとは
• 学習履歴データの収集・分析・フィードバック
– 受講者や教員の状況や特徴を把握
• 従来の学習分析からの進歩
– 細粒度の学習履歴データの収集
• クライアントPCやウェアラブル機器を利用
– ビッグデータ分析技術の利用
• データクレンジング、スパース（疎）データの扱い
– Deep Learning 等人工知能技術の応用
4

5. 国際会議EDM 2008〜
国際会議LAK 2011〜
学習履歴データの電子化と細粒度化
5
心拍 血圧
発汗 視線
GPS情報
教材アクセス
ノートテイク
カメラ映像
音声
テスト回答
レポート記述
成績表
履修履歴
テスト回答
レポート記述
成績表
履修履歴
2000年前後
• LMSの普及
• 機械可読データへ
2010〜15年
• タブレットPCの普及
• 電子教科書を手元で表示
従来
• 紙媒体
• データ変換工数大
今後
• ｳｪｱﾗﾌﾞﾙ機器の普及
• ﾗｲﾌﾛｸﾞﾃﾞｰﾀ
データ
の粒度
粗
細
年
LMS上Q&A
メール
SNSﾒｯｾｰｼﾞ
2000〜10年
• 携帯/スマホ
• SNS
サーバ上のデータ デバイスが発信するデータ

6. Learning Analyticsの概観
データ収集
データ蓄積・
フィルタリング
分析
出力／
フィードバック
プライバシーを保護する匿名化と復元
 xAPI
 IMS Caliper
 Adaptive Data
Collector
 形式変換
 クレンジング
 前処理(NLPなど)
 統計処理
 ビッグデータ解析
 人工知能
 可視化
 ダッシュボード
 リコメンデーション
 学習者適応
 Eポートフォリオ
学生プロ
ファイル
学校評価/
IR
教員プロ
ファイル
教員・
学生への
フィード
バック
適応型
ナビゲー
ション
プロファイル
の記録
Revised from ISO/IEC TR20748-1 Learning Analytics Interoperability: Reference Model
6
LMS/VLE
教育アプリ
サードパーティアプリ

7. 2013.4 2014.4 2015.4 2016.4 2017.4 2018.4
1
13/10
2
14/2
3
14/6
4
14/
9
5
15/
2
JASLA発足
2015.5
2012.4
Buzan
12/9
Moscow
13/9
Oslo
14/6
SC36
eTextbook
IDPF/IMS
EDUPUB
V1.1
12/8
V2.0
14/1
V1.0
13/4
V0.8
12/7
ADL
xAPI
IMS
LTI
V1.03
16/10
V1.01
13/10
V1.02
14/10
V1.0
15/10
V1.1
18/1
IMS
Caliper
デジタル教材等の標準化 デジタル教科書の位置付け検討文部科学省
Rouen
15/6
Prague
16/6
Melbourne
17/6
↓
LA
NewYork
15/3
Indianapolis
14/3
国際会議
LAK
Sydney
18/3
Edinburgh
16/3
Vancouver
17/3
Leuven
13/3
LASI Asia
17/8
電子教科書
学習履歴分析
(Learning Analytics)
電子教科書とLAの技術標準・学会

8. データ粒度別の状況
8
データの種類 Learning Result Communication Behavior Physiological Data
データの例 科目の成績
テストの成績
メール、SNS、
電子掲示板の内容
教材アクセス、
ノートテイク、
カメラ画像、音声
心拍、血圧、発汗、
視線、GPS
データ発信元 校務系サーバ
学習系サーバ
メールサーバ
SNSサーバ
学習者PC 学習者デバイス
粒度 粗 中 細 超細
段階 実運用段階
退学予兆予測
適応型テスト
研究段階
ﾌﾟﾛﾄｺﾙ分析等
NLP適用がネック
研究段階
挙動と学習達成の
関係が不明
研究途上
生理状態と学習達成
の関係が不明
Multimodal Learning
Analytics と呼ばれる

9. 統計処理とビッグデータ処理
9
学習成果
（科目の成績など）
学習の経過、
学習中の挙動
データの特徴 構造・整形
欠損がない
形式が一律
量が少ない
非構造・非整形
欠損が多い
形式が多様
量が膨大
データの蓄積 関係データベース テキスト、NoSQL
データの処理 統計処理 統計処理
自然言語処理
Deep Learningによる峻別
ビッグデータ解析

10. MMLAとは
10
• 多くのLA
– LMSに蓄積した履歴
を使用
• MMLA
– 学習者が使うPCや近傍
のセンサーが収集した
データを使用
ウェアラブル
デバイス
学習者PC
センサー
LMS

11. サーベイ論文調査
Blikstein (2016), Ochoa (2017)
11
Cited in Blikstein (2016) Cited in Ochoa (2017) Cited in this paper
Text Analysis Sherin (2013) Ezen-can (2015)
Speech Analysis Worsley (2011), Beck (2006), Munteanu (2009) Lubold (2014), Luzardo (2014), Thompson (2013) Taguchi (2018)
Handwriting Analysis Anthony (2007), Read (2007), Schick (2012) Ochoa (2013), Oviatt (2015), Clarke (2014), Oviatt (2013), Zhou
(2014)Sketch Analysis Alvarado (2002), Alvarado (2006), Jee (2009), Forbus (2011), Chang
(2012)
Action and Gesture Analysis Weinland (2006), Yilmaz (2005), Raca (2014), Schlomer (2008),
Howison (2011), Worsley (2013), Schneider (2014)
<Posture, Gesture, Motion>
Bull (2013), Mitra (2007), Schlomer (2008), Zang (2012), Vasquez
(2015), Raca (2014), Echeverria (2014), Boncoddo (2013), Alibali
(2011), Mazur-Palandre (2014)
<Action> Worsley (2014), Ochoa (2013)
<Facial Expression> Mishra (2015), Craig (2008), Worsley (2008),
Graesser (2005)
Andrade (2017), Schneider (2015), Blikstein (2013),
Ezen-can (2015), Ez-zaoulia (2017), Heailon (2017), Martinez
(2017), Ochoa (2018), Prieto (2016), Raca (2014), Chen
(2016), Spikol (2016), Watanabe (2016), Worsley (2012),
Worsley (2013)
Affective State Analysis <Human Annotated> Baker (2010), Pardos (2013), Ocumpaugh
(2012), Litman (2009), Forbus-Riley (2009)
<Automatically Annotated> Craig (2008), Worsley (2015), D’Mello
(2008)
<Physiological Markers> Conati (2009), Hussain (2011), Chang
(2013), Muldner (2010), Lunn (2010), Choi (2010)
Watanabe (2014), Worsley (2014)
Neurophysiological Markers Burt (2013), Stevens (2007), Cowley (2013), Luft (2013), Burt (2013),
Chang (2013), She (2012)
Eye Gaze Analysis Gomes (2013), Mason (2013), Koning (2010), Richardson (2005),
Jermann (2005), Schneider (2013), Shneider (2015), Schneider
(2014),
Frischen (2007), Kruschke (2003), Krugman (1994), Boraston (2007),
Raca (2013), Lin (2013), Echeverria (2014)
Gomes (2013), Honda (2014), Watanabe (2014a),
Multimodal Integration /
Interface
Worsley (2014), Worsley (2014a), Russ (2012), Morency (2012),
Scherer (2012), Ngiam (2011)
PC Operation Di-mitri (2017), Grover (2016), Harrer (2015), Horikoshi (2016),
Horikoshi (2018)
Blikstein, P., & Worsley, M. (2016). Multimodal learning analytics and education data mining: Using computational technologies to measure complex learning
tasks. Journal of Learning Analytics, 3(2), 220-238.
Ochoa, X. (2017). In Charles Lang, George Siemens, Alyssa Wise, Dragan Gašević (Ed.), Multimodal learning analytics, Handbook of learning analytics (First
Edition ed.) SOLAR.

12. 対象情報の分類
12
MMLA
HandWriting
Sketch
Speech
Action and Gesture
Posture, Gesture,
Motion
Action
Facial Expression
Affective State
Human Annotated
Automatically
Annotated
Physiological
Markers
Neurophysiological
Markers
PC Operation
Ochoa(2017)
詳細分類
Blikstein(2016)
詳細分類
Blikstein(2016), Ochoa(2017)
ともに触れていない

13. MMLAの対象情報、デバイス、分析
13
対象情報 取得デバイス 分析方法
テキスト PCキーボード等 自然言語処理 (NLP)
手書き入力、
スケッチ
（ペン）タブレット
手書き文字認識→NLP
図形認識
発話 マイク（アレイ）
音声認識→NLP
音源方向推定
姿勢、動作、
ジェスチャー
カメラ、センサー、
Kinect、Leap Motion …
姿勢推定 OpenPose
表情 カメラ 表情推定 OpenFace
視線 カメラ 視線推定
PC動作 マウス、キーボード
時系列処理、特徴量推定
生理情報 カメラ、専用デバイス

14. MMLAの実用化に向けて
• 高価な専用機器は実用への展開が困難
– 例：視線計測 Tobii EyeTracker: 80万円〜
– 学習者PC付属のデバイス利用は展開が容易
• キーボード、マウス、カメラ、マイク…
• 一般のLRSとMMLA用LRSの分離
– データ量と粒度が異なる
– 次ページ参照
• 個人情報管理、Data Ownershipの確立
– 行動監視、ライフログ取得となる危険性
– 同意取得、データ管理の厳密化
14

15. LRS分離の提案
15
LMS
クイズ回答
レポート提出
ログイン
教材アクセス
MMLA用LRS
高トラフィックデータ
・ネットワーク負荷高い
・学習者の近くがよい
情報量を削減
時系列処理、特徴量推
定、XX認識/推定…
LRS
表示、可視化
データ統合、分析、
可視化処理

16. IoT (Internet of Things) の利用
• IoT
– 安価なセンサーデバイスが実用化
– データ授受のプロトコル策定中
• WoT (Web of Things)
– Web of Things at W3C
– W3Cが標準仕様策定中
– 異業種間のデータ授受を確認
するPlugFest
16

17. ページ遷移（太線：教員）
17

18. 科目による比較
18
• 情報リテラシー • 教育工学

19. LMS や VLEの分析ダッシュボード
19

20. LAを用いることの意義
• 教育評価へのエビデンス付与
– 授業をBlack Box から White Boxへ
• 学習過程（プロセス）明瞭化
– 従来はテストの回答などOutcomeのみ
• 学習の個別化
– 学習履歴データの分析や報告により、個々の学習者
に応じた最適化の実現可能性が高まる
20

21. LAのインパクト
• 受講者の状況把握の自動化・半自動化
– 教員による把握よりきめ細かい場合も
– 「ロボット家庭教師」実現の足がかり
– 家庭教師や塾講師の存在意義は？
• 教員の授業運営がマルハダカになる
– 受講者の質問に答えていない
– 理解度を無視して授業を進める
– 授業評価アンケートより客観的で容赦ない
• 経産省 30年代の産業ビジョンにも
– 人工知能やビッグデータ分析により、生徒一人ひと
りに合った教育を提供
21

22. LA研究の情報源例
• International Conferences
– LAK: Learning Analytics and Knowledge
EDM: Educational Data Mining
• Journal of Learning Analytics
• Google groups on learning analytics
• LACE Project (Europe)
• ISO/IEC JTC1/SC36 (Learning Technology) WG8
– 2015年６月発足
• 学習分析学会
– 2015年５月発足
22

23. 学習分析学会
• 2015年5月 NPO法人人材育成マネジメント研究
会を改組、9月 東京都より法人認可
• Learning Analyticsを専門に扱う
• 活動
– 研究会
– セミナー
– 学会誌の発行
• Web: http://jasla.jp/
23

24. 産官学の連携
• 研究
– 学会：学習分析学会、JSET, JSiSE, IEICE, IPSJ
– 知見の蓄積、産学連携、Technology Transfer
• 技術標準化
– ISO/IEC JTC1/SC36
– ユーザーメリットの極大化
• 現場への展開
– 文部科学省・総務省 構築・実証事業
– ICT Connect 21
– 実現可能性検証、問題点の明確化
24

25. LA技術標準の例
• xAPI
– ADL, データ記述スキーム、JSON
• CMI5
– AICC→ADL, xAPI拡張、データスキーム
• Caliper
– IMS Global, データ記述スキーム
• Adaptive Data Collection Scheme
– IoT
• Web of Things
– W3C
25

26. Metric Profile / Information Model
26
IMS Caliper ADL W3C
Metric
Profile
Caliper
Metric Profile
CMI5
(ドメイン
依存)
Information
Model
Caliper
Information
Model
xAPI WoT
項目・数値の意味付け
• School とは？
• 何点満点？
情報の記述形式
（機械可読な形で）
• XML
• JSON

27. ISO/IEC JTC1/SC36 WG8
• SC36
– Information Technology for Learning, Education
and Training (ITLET)
• 2015年6月 WG8 (Learning Analytics) が発足
– Convener(議長)：Yong-Sang Cho (KERIS)
– 20748-1: Reference Model (published)
– 20748-2: System Requirements (published)
– 20748-3: Guideline for Data Interoperability
(under development)
– 20748-4: Privacy and Data Protection (under
development)
27

28. LAプライバシーガイドラインの例
• Code of Practice for Learning Analytics[1]
– UK JISC
• Policy on Ethical Use of Student Data for
Learning Analytics[2]
– UK Open University
• 学習履歴の利活用に関するガイドライン[3]
– 学習履歴活用推進機構
28
[1] JISC (Joint Information System Committee), Code of Practice for Learning Analytics, June 2015,
https://www.jisc.ac.uk/guides/ code-of-practice-for-learning-analytics
[2] The Open University UK, Policy on Ethical use of Student Data for Learning Analytics, Sept. 2014,
http://www.open.ac.uk/ students/charter/sites/www.open.ac.uk.students.charter/files/files/ecms/web-
content/ethical-use-of-student-data-policy.pdf.
[3] 学習履歴活用推進機構、学習履歴の利活用に関するガイドライン第１版、2015年3月,
https://www.digital-knowledge.co.jp/about/loglaboratory/

29. GDPR: EU一般データ保護規則
• General Data Protection Regulation
• 2018年５月施行、EU 28ヶ国+3ヶ国 (EEA)
• 個人データの保護と適正な管理を規定
– EEAに住む個人のデータを扱う際に適用
• データの所有権 (Ownership)は本人
– 氏名やメアドなどのIdentifier
– 身体的、経済的、社会的パラメータ
• 企業がデータを利用する際、本人の許諾が必要
• 企業はデータ管理責任を持つ
29

30. ご静聴ありがとうございました
ご質問、ご意見等は
ytamura@sophia.ac.jp まで