Присоединяйтесь к AI Community - самое крупное сообщество по искусственному интеллекту - http://ai-community.com/ Отчет о мероприятии: детали, скачайте доклады, обсудите с другими участниками, узнайте о новых мероприятиях - http://ai-community.com/3-global-ai-meetup-nlp-technologies Подписывайтесь на чат-бота AI Community, который помогает за 15 секунд найти нужно AI-эксперта - https://telegram.me/aicommunitybot

1. DEEP
NEURAL
LANGUAGE
PROCESSING
Михаил Бурцев,
к.ф.-м.н., зав. лаб.
«Нейронных сетей и глубокого обучения» МФТИ

2. Фундаментальная цель – Прикладная цель -
Понять природу человека Получить помощника
•
ЧТО ТАКОЕ
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ (ИИ)?

3. ДВА ПУТИ
Нейроны передают
электрические сигналы
мозг можно
смоделировать
электрической схемой
искусственные
нейронные
сети
Человеческий интеллект
основан на манипуляции
с символами
компьютер совершает
манипуляции с
символами
искусственный
интеллект

4. ЭВОЛЮЦИЯ ИИ
• Классификация
огромных массивов
изображений и видео.
• Google и Facebook
охотятся за головами
ученых занимающихся
нейронными сетями.
• Нейросети учатся играть
в игры по картинке.
deep learning

5. ЧТО ТАКОЕ
ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ И
ГЛУБОКОЕ ОБУЧЕНИЕ?

6. • Активность нейрона
определяется
преобразованием взвешенного
суммарного воздействия на
него
• Воздействия могут быть
активирующими
(положительные веса) или
тормозными (отрицательные
веса)
ИСКУССТВЕННЫЙ
НЕЙРОН

7. • Искусственная нейронная сеть
(ИНС) является концептуальной
моделью биологической
нейронной сети
• Состоит из элементов,
влияющих на активность друг
друга
• Основные свойства
– надежность – по мере
ухудшения качества входа,
удалении связей или элементов
эффективность сети снижается
постепенно
– гибкость – ИНС могут быть
применены в широком круге
задач
– генерализация – достаточно
обучения на ограниченной
выборке
– ассоциативность памяти
ИСКУССТВЕННАЯ
НЕЙРОНАЯ СЕТЬ

8. • Обучение нейросети
происходит за счет
изменения весов
БАЗОВЫЕ ПОНЯТИЯ

9. ЧТО ТАКОЕ
ГЛУБОКОЕ ОБУЧЕНИЕ?
DEEP LEARNING
=
NEURAL NETS +BIG DATA + GPU

10. ВИДЕТЬ ПОНИМАТЬ ДЕЙСТВОВАТЬ
СОВРЕМЕННЫЕ НАПРАВЛЕНИЯ
ИССЛЕДОВАНИЙ В ОБЛАСТИ
ГЛУБОКОГО ОБУЧЕНИЯ

11. РЕКУРРЕНТНЫЕ
НЕЙРОННЫЕ СЕТИ
задача предсказания временных рядов
архитектура рекуррентной сети
LSTM ячейка
примеры приложений в области работы с текстом

12. • «Классические»
нейронные сети – сети
прямого распространения
(feedforward network) не
обладают памятью.
• «Активации» проходят всю
сеть насквозь.
• Нейросети «с памятью» –
рекуррентные сети.
• За счет наличия обратных
связей «активации»
циркулируют в сети.
В ПОИСКАХ ПАМЯТИ
сеть прямого
распространения
рекуррентная сеть

13. • Сигнал затухает!
ПРОБЛЕМА ГЛУБИНЫ

14. LSTM: НЕЙРОАРХИТЕКТУРА

16. Алиса теперь счастлива.
Она не говорит, что это так.
Она в опасности.
Она выглядит прекрасно.
Она была на концерте Фаллуджи.
Я знаю, что она влюблена в него.
Она великолепна.
Она принесла нам немного воды.
Она ведьма.
А когда она говорит: "Я не говорю, что когда
она позвонит"
И когда она вернётся, я поняла,
Алиса попала в беду.
И все же так обожает.
Ты не нашел ее?
Она изменила свою жизнь.
. ♪ К кому она придумала это? ♪
Да, да. Она не умеет жить.
А она не знает, кто ты?
Я видела в ней все свои приключения.
Вот она вот и все.
Она не собирается никого убивать.
Джон теперь счастлив.
Спасибо.
Да, на дворе 800 фунтов на каждом месте
преступления в 1000 тысяч градусов по матче.
Он в самом деле собирается позволить себе
просто бросить все на свои места.
Да, я тоже так думал.
Я не знаю, что в нем
Джон попал в беду.
• Сверхъестественное: Ваша честь, это был
не мы.
• И все они возвращаются в Вашингтон.
• Он был не таким, как было в прошлом
году
• Придурок!
• Свиньи собираются в Старлинг Сити.
• Он был в отчаянии.
• Вот что я вам скажу.
• И когда он вернулся, я выбросил его в
офис.
• Я тоже хотел это сделать.

17. РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И
ДИАЛОГОВЫЕ СИСТЕМЫ
Около 25% всех сообщений электронной почты содержат менее 20 токенов.
Kannan, A., Kurach, K., Ravi, S., Kaufmann, T., Tomkins, A., Miklos, B., ... & Ramavajjala, V. (2016). Smart Reply: Automated Response Suggestion for Email. In
Proceedings of the ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD)} (Vol. 36, pp. 495-503).

18. РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И
ДИАЛОГОВЫЕ СИСТЕМЫ
Внутреннее представление вопроса

19. РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И
ДИАЛОГОВЫЕ СИСТЕМЫ
Вызовы:
• Качество
• недопустимость некачественных
ответов
• Полезность
• необходимо максимизировать
использования сервиса
• Масштабируемость
• миллионы сообщений в день
• Приватность
• должна использоваться только
агрегированная статистика

20. РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И
ДИАЛОГОВЫЕ СИСТЕМЫ
Предобработка

21. РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И
ДИАЛОГОВЫЕ СИСТЕМЫ
Триггер ответа
- сеть прямого распространения с 3 слоями;
- на вход подаются векторные представления
темы и содержания, а также дополнительная
информация (наличие отправителя в адресной
книге, наличие прочитанных писем от него);
- обучающая выборка состоит из писем двух
категорий – был ответ с мобильного устройства
или нет;
- в результате 10% сообщений классифицируются,
как требующие ответа.

22. РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И
ДИАЛОГОВЫЕ СИСТЕМЫ
Выбор ответа
- LSTM сеть
- на вход подается векторное представление
последовательности токенов;
- выход последовательность токенов ответа;
- при декодировании ответа используются
токены только из разрешенных ответов.

23. РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И
ДИАЛОГОВЫЕ СИСТЕМЫ
Множество разрешенных ответов
- выбор «канонических ответов»
- “Thanks for your kind update.”, “Thank you
for updating!”, “Thanks for the status
update.”
- кластеризация по намерению
- “Ha ha”, “lol” and “Oh that’s funny!” are
associated with the funny cluster

24. РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И
ДИАЛОГОВЫЕ СИСТЕМЫ
Диверсификация кандидатных ответов
- только один кандидат из кластера
- обязательное присутвие, как «позитивных», так и
«негативных» ответов

25. РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И
ДИАЛОГОВЫЕ СИСТЕМЫ
Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation https://arxiv.org/abs/1609.08144 , Mon, 26 Sep 2016
Google's Neural Machine Translation System

26. РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И
ДИАЛОГОВЫЕ СИСТЕМЫ
Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation https://arxiv.org/abs/1609.08144 , Mon, 26 Sep 2016
Проблема: Затухающие градиенты - Решение:Residual connections

27. РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И
ДИАЛОГОВЫЕ СИСТЕМЫ
Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation https://arxiv.org/abs/1609.08144 , Mon, 26 Sep 2016
Проблема: Затухающий сигнал - Решение: Двунаправленное кодирование

28. РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И
ДИАЛОГОВЫЕ СИСТЕМЫ
Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation https://arxiv.org/abs/1609.08144 , Mon, 26 Sep 2016

29. от BIG DATA к DEEP LEARNING
глубокое обучение делает большие данные осмысленными

30. Neural
Networks
and
Deep Learning
Lab

31. https://www.udacity.com/course/deep-learning--ud730