worldskills roundtable

1. Перспективные
технологии обучения с
применением
когнитивных и нейро-
технологий
26.5.2016
ТИМУР ЩУКИН
РОССИЙСКАЯ ГРУППА НЕЙРОНЕТА

2. План доклада
 1. Модель «туда-обратно»
 2. Модель уровней
 3. Типы и циклы знаний
 4. Идеальная модель
 5. Проблемная ситуация
 6. Систематизация решений
 7. Кейсы элементов большого решения
 8. Модель идеального решения
 9. Проекция решения на WorldSkills
 10. Итоги

3. Схема базового цикла
Интериоризация и экстериоризация – суть два базовых
процесса, понимание которых важно для понимания места
перспективных технологий обучения в углублении системы
разделения труда
 1. Экстериоризация: Изнутри –наружу:
Прежний опыт определяет возможности восприятия мира и
направляет деятельность
 2. Интериоризация: Снаружи –вовнутрь
Новый опыт взаимодействия со средой формирует в
психическом поле структуры, соответствующие ему
Туда и обратно

4. Экстериоризация:
«автоматизация в инструментах»
 1. В культуре: «Органопроекция» по Э.Каппу:
«воспроизводство своих органов во всех своих
созданиях» и познание себя,исходя из них»
 2. В деятельности: Вытеснение человека из
технической системы по линии «Орудие –
Автомат – Машина»
 3. В мышлении:
«Бессознательное – сознание – речь – общий
экран»

5. Экстериоризация
«автоматизация в инструментах»
 1. В культуре: «Органопроекция» по Э.Каппу:
«воспроизводство своих органов во всех своих
созданиях» и познание себя,исходя из них»
 2. В деятельности: Вытеснение человека из
технической системы по линии «Орудие –
Автомат – Машина»
 3. В мышлении:
«Бессознательное – сознание – речь – общий
экран»

6. Интериоризация
«психическая автоматизация»
1. В культуре:
Антропотехника, массовое формирование
новых норм на основе опыта – образование
и специализация
2. В деятельности:
Формирование новых знаний, смыслов и
функциональных систем
3. В мышлении:
Формирование новых типов и приемов
мыследяетельности, новых экземпляров
embodied cognition

7. Формирование моторного навыка
1
2
3

8. Циклы и уровни
Орудия
Автоматы
Машины
Речь и знаки
Экраны и схемы
Мегамашины
культуры
Деятельности
Сознание
(понятие)
Скрытое
(синкрет)
Субстрат
(онтология)
Функциональные
системы
Действия и
операции
Software
AI
двигатель
Транс
миссия
Рабочий
орган
Орган
управления
Источник
энергии
изделие
Минимальный набор частей машины (ТРИЗ)
1
2
3
1
2
3
Проекты
Знания и навыки
онтологемы
компетенции
1 2 3
Потребности

9. Циклы и слои в культуре:
Знания That и Знания How
G.Ryle и М.Полани
П.К. Анохин и Теория функциональных систем
Н.А. Бернштейн
knowing HOW и Tacit knowledge
«Смысл повторений действия/движений
..., для координации которых лучше
подходит не ведущий, а нижележащие
уровни. ... элементы действия/движений,
«переданные» на нижележащие уровни,
освобождают сознание и перестают
рефлексироваться.»
«Ребенок овладевает своим поведением с
помощью символических операций, не
опирающихся на наличное в настоящем, но
набрасывающих эскиз будущего. Именно
включение символических операций делает
возможным возникновение совершенно нового по
составу психологического поля, не опирающегося
на наличное в настоящем, но набрасывающего
эскиз будущего и таким образом создающего
свободное действие, независимое от
непосредственной ситуации»1.
Л.С. Выготский

10. Примеры работы
инструментализированных циклов
Регистрация
действия
Предъявление
Восприятие
соотношение
изменение
Овладение саморегуляцией в системе
биологичической обратной связи
действие
Предъявление
Восприятие
соотношение
изменение
обучение
обучение
Овладение стрельбой из лука

11. Идеальная ситуация:
«Bootstrapping»
Дуглас Энгельбарт. Схема «Бутстрапинга»
Массовые саморазвивающиеся профессиональные
инструменты работы со знанием

12. Текущие тренды
ИКТ позволяет проводить знания по линии «скрытое» –>
кодифицированное (нормированное) быстрее чем когда либо.
Обратный ход пока оснащен очень слабо.
Cowan and Foray (1997, p 3): “process of conversion of knowledge
into messages which can be processed as information”.
Ускоряя перевод tacit-explicit, новые технологии сами являются
результатом такого перевода. Результат – рост по экспоненте.
• Распознавание речи
• Распознавание письма
• Распознавание
изображений
• Распознавание смысла
• Диагностика ситуации
• И т.д.
• Анализ научных данных
• Синтез осмысленной речи
• Синтез изображений
• Робототехника и синтез
движения
• Синтез текста и кода
• Синтез управляющих
решений на основе модели
ситуации
• И т.д.

13. Углубление системы разделения труда
Увеличение числа специализаций
Автоматизация части функций
Изменение исполнительской
части требует новых знаний

14. Реальная ситуация:
«скрипка Энгельбарта»
• Рост требования к все более
сложным и «человеческим»
навыкам
• Требования к работе с
новыми инструментами и в
новых онтологиях
• Междисциплинарость
• Вымывание «центральной
части» пирамиды
автоматизацией
• Угроза для более чем 50%
старых профессий в ближнем
горизонте
• Deskilling в нижних уровнях
• Музеификация скилов
• Разрыв и стратификация
Системный эффект Социальная сфера
Творческий сложный
труд
Сложный рутинный
труд
автоматизация
• Разделение разработчиков и
пользователей
• Userификация разработчиков
• Депрофессионализация knowledge
tools
• Deskilling через интерфейсы
• Проблема непрозрачности модели
в ViewControllerModel
• Проблема сложности
• Рост требования к интерфейсам
при принципиальных ограничениях
традиционных подходов
• Обеднение Model через
ограничение GUI
• Неадаптивность и не
разделенность интерфейсных
решений
Alan Key
«Engelbart, for better or for worse, was
trying to make a violin, most people don’t
want to learn the violin.»

15.  Nonaka (1994) первым формализовал
идею о том, что tacit knowledge
может быть “схвачено” and
превращено в explicit
 tacit knowledge “… indwells in a
comprehensive cognizance of the
human mind and body”
1. Распаковка и шейринг «знаний that» (экспертные системы)
2. Профориентация – задействовать все возможное готовое tacit
knowledge
3. Распаковка «знаний how» - сообщества практики. Сообщества практики и
кайдзен практика – усилить обмен tacit знаниями
4. Lean- кайдзен. Практика постоянных улучений. Локальный бутстраппинг
5. Ускорители формирования tacit знания: симуляторы, дуальное и др.виды
погружающего образования
6. Learning by doing: Интенсификация формирование tacit знаний
7. Развитие форматов коллаборации для работы со знаниями в
неформализованных частях его жизненного цикла
8. MOOC – увеличение базы и проникновения
Попытки решения:
Работа со знаниями

16. Д.Энгельбарт в 1968 предлагал Dynamic Knowledge Repository – коллективную систему работы со знаками,
переносящую смыслы между 5 уровнями репрезентации в обе стороны в интересах «решения сложных проблем».
Для этого было необходимо стандартизировать интерфейсы работы со знаниями.
Нам от него достался интернет, мышь, оконные интерфейсы, объектные языки программирования. Это менее 10%
исходного пакета. Пакет достраивается сейчас - с большим опозданием и в более сложной ситуации.
Попытки решения:
Технологии и интерфейсы
Гипертекст и семантические базы данных
Аватаризированные ассистенты,
Боты в качестве «редукторов сложности»
Стандартизированные объектные интерфейсы (включая
тач – интерфейсы под базовый уровень skills)
Augmented Reality cистемы поддержки в деятельности
Biofeedback и mind-machines для работы поддержки
компетенций на уровне функциональных состояний
Социальные сети и collaboration платформы для
усиления коллективом

17. Примеры использования технологий
интерфейсов человек-маина в
смежных с эстремальной подготовкой в
области рабочих профессий сферах

18. Примеры. Кейс 1: Управление когнитивной
нагрузкой в реальном времени
 Мониторинг базовых психических
функций нейрофизиологическими
средствами
 Подстройка информационного потока
под текущий ресурс
 Нарезка
 Изменение подачи
 Управление темпом
 Распределение по команде
 Замена схемы ситуации
 Управление «зоной ближайшего
развития» в проектном или игровом
обучении
 Сложная
деятельность
требует
«вскрытия»
понятийных
схем, т.к.
Схемы
когнитивной
загрузки
связаны с ними

19. Примеры. Кейс 2:
ЭЭГ + дополненная реальность
 Визуализация данных о работе собственного мозга поверх поля
зрения.
 Используется для саморегуляции и самостоятельного принятия
решений о
 Также используется камера заднего видения для работы с
картинкой в 360 градусов
 Может использоваться параллельно с другими
образовательными приложениями Augmented Reality
 Приложения для тренировки психических функций:
DAQRI aspires to create “the Photoshop of 4D design” by
offering designers a way to insert digital objects into three-
dimensional space, according to Brian Mullins, the company’s
co-founder and chief executive. They also design their own
work, such as augmented reality animation for the Lego’s
catalog, and a virtual human body for educational use
called Anatomy 4D.
 The Mind-Mirror: See
your brain in action in
your head using EEG and
augmented reality
 Published in:
 2014 IEEE Virtual Reality
(VR)Date of Conference:
 March 29 2014-April 2
2014

20. Примеры. Кейс 3:
AR образование
 Работа с маркерами на объектах
 Создание сценариев и инструкций по факту
обнаружения пространственных маркеров
 Включение материалов непосредственно в
пространство подготовки
 Возможность интеграции в AR дополнительных
данных
 Игровой элемент
 Возможность POV наблюдения, записи и
последующего анализа
Interactive Educational Content Based on
Augmented Reality and 3D Visualization Sergey.
Sannikov1* , Fedor Zhdanov2† , Pavel
Chebotarev3‡ , Pavel Rabinovich4§ 1 Mordovia
State University named after N. Ogarev,
postgraduate in the Department of Applied
Mathematics, Differential Equations and
Theoretical Mechanics, Russia, Saransk

21. Примеры. Кейс 4:
4.1. Классическая биологическая обратная связь
 Стандартные тренинги:
Стресс-менеджмент
 Управление активацией
 Креативность
 Температура рук (управление симпатико-парасимпатическим
балансом)
 Вариабельность сердечного ритма (тревожность)
 Тренинги внимания
 Специальные паттерны для профессиональной деятельности
(ошибки оператора etc)
4.2. Комбинированная биологическая и поведенческая
обратная связь
Несколько команд постоянно получали данные с браслетов с разными
«дэшбордами».
Соревновательные методы с моментальной обратной связью,
комбинирующие данные о физиологии и поведении, оказались очень
эффективны
Research Article
The Effects of Physical Activity Feedback on
Behavior and Awareness in Employees: Study
Protocol for a Randomized Controlled Trial
Karen Van Hoye, Filip Boen, and Johan Lefevre
Department of Kinesiology, Physical Activity,
Sports and Health, Katholieke Universiteit
Leuven, Tervuursevest 101, 3001 Leuven,
Belgium

22. Примеры. Кейс 5:
ТМС для улучшения памяти и внимания

23. Примеры. Кейс 6:
 Был создан как камера для слепых
 Были обнаружены побочные эффекты от
стимуляции языка, связанные с улучшением
равновесия и множества други функций
 Уильям Тайлер из Virginia Tech Carilion показал,
что воздействие ультразвука на области мозга,
ответственные за обработку тактильных
сенсорных входов могут существенно усиливать
восприятие человека.
7.1. BrainPort
7.2. Ультразвуковая стимуляция
7.3. Фото-аудио стимуляция
 Стимуляция органов восприятия
синхронизированными вспышками и звуком со
смещением вызывает изменения спектра ЭЭГ в
диапазоне стимуляции

24. Примеры. Кейс 7: Biofeedback в спорте
Swimming
Bar-Eli, Dreshman,
Blumenstein, and
Weinstein (2002)
investigated the
effectiveness of
psychoregluation
training with
biofeedback on youth
swimmers
Archery and Shooting
Landers et al. (1991)
investigated the effects of
electrocortical biofeedback
training in pre-elite archers to
determine whether EEG
biofeedback training improves
archery performance.
Decreasing performance anxiety
and reducing arousal levels has
been shown to improve the
ability and confidence of
performing artists (Kendrick,
Craig, Lawson, & Davidson,
1982); therefore, providing
performing artists with
biofeedback to enhance arousal
regulation may improve musical
and dance performance.
In Beijing, a team of
biofeedback professionals
worked on 358 Olympians,
all of who were considered
at baseline to be “second
string.” The 32 medals they
won astounded coaches,
as well as the Ministers of
the sport. (Mandel, TQA
2010)
The psychophysiological requirements of
shooting include:
•Controlled breathing and heart-rate
•No excess tension in muscles
•No fluctuation between
sympathetic/parasympathetic states
during triggering (shooters can shoot in
sympathetic or parasympathetic, but
don't want to be surprised by which state
they are in)
•No interior monologue
•Sharp focus and good reactions to trigger
at the moment when the sight image is
correct

25. Примеры. Кейс 8:
Командный спорт
 8.1.
Сборная Италии по футболу – чемпионы мира.
Biofeedback подготовка была одним из
секретных оружий итальянской сборной на
чемпионате мира 2007
 8.2.
Всесторонний анализ
деятельности цирковых
артистов для увеличения
успешности

26. Примеры. Кейс 9.
Поддержка отдельных физиологичеких функций
 Поддержка баланса
 Движения на доске
 Биомеханика движения в
реальном времени (датчики, Кинект)
Posture and balance feedback system
for Top Sports
THE EFFECTS OF AUGMENTED
BIOFEEDBACK ON NOVEL MOTOR-TASK
LEARNING Anthony J. Gorman, Alexander
P. Willmott and David R. Mullineaux
School of Sport and Exercise Science,
University of Lincoln, Lincoln, UK
Biofeedback has been shown to be an
influential part of skill acquisition and
performance

27. Кейс 10: Использование ЭЭГ и
биоданных для тегирования
 Тегирование:
MULTIMEDIA IMPLICIT TAGGING
USING EEG SIGNALS Mohammad
Soleymani∗ Imperial College
London, UK
m.soleymani@imperial.ac.uk Maja
Pantic† Imperial College London,
UK University of Twente, the
Netherlands
m.pantic@imperial.ac.uk
Обнаружение объектов в поле зрения
This paper explores the potential for
using Brain Computer Interfaces (BCI)
as a relevance feedback mechanism in
content-based image retrieval. Several
experiments are performed using a
rapid serial visual presentation (RSVP)
of images at different rates (5Hz and
10Hz) on 8 users with different degrees
of familiarization with BCI and the
dataset.

28. Идеальная система
Вопросы для каждого акта каждого такта
1. Что нужно отслеживать
2. Какая обратная связь и кому нужна
3. Как и кто это может подстраивать и
развивать
Идеальный случай –
система поддержки деятельности всех
позиций во все времена по всем уровням
 Жизненный цикл
 тренировочный цикл
 чемпионат
 задание
 действие

29. Завтрашний день
 Комплексная мультипараметрическая real-time обратная связь
 Поведенческая автоматизированная обратная связь
 Использование объективных данных для разметки потоков данных
 Сети сохранения опыта и эталонов на базе сетей сообществ
практики
 Автономные агенты и ассистенты в качестве интерфейсов,
адаптивность и sharing опыта взаимодействия
 Адаптация к жизненной траектории индивидов и групп
 Работа со сложной групповой коммуникацией и сложной
командной деятельностью
 Реализация принципа «сеть сетей». Включенность в сети практик,
смыслов, экспертов, опыта.
 Кайдзен и бутстраппинг как главные принципы
 Мультимодальная стимуляция с использованием платформ
дополненной реальности
 Вовлечение в деятельность субъекта во всей глубине – с tacit
knowledge, бессознательным, эмоциональностью и телесностью
Это и есть «нейронет» - BCI-IT усиленная
коллективная деятельность

30. Некоторые выводы для WS:
 Организационно - сообщества практики (они же сообщества обмена
знаниями). Сообщества практики и система разделения труда - это еще и
солидарность общества, как мы помним из дюркгейма
 Поэтому нейротех и хайтек. Комплексные обратные связи по всему ЖЦ
подготовки
 Усиливать сложность команд и командной работы – скажем сложная
проектировка на 10-20 человек. Стимуляция развития сложных форм
организации. Перспективные компетенции
 Не давать ограничений на интерфейсы поддержки в новых компетенциях.
Стимуляция развития гибридных систем (см. Проект олимпиады по
нейронету н.1)

31. Спасибо!
Тимур Щукин.
Руководитель штаба
РГ «Нейронет» НТИ
Со-создатель
Российская группа
нейронета
timurid@gmail.com
https://www.facebook.com/Timurid