Применение методов Deep Learning к диалоговым системам и чат-ботам
•
0 likes•931 views
Применение методов Deep Learning к диалоговым системам и чат-ботам Михаил Бурцев
Recommended
More Related Content
Viewers also liked
Применение методов Deep Learning к диалоговым системам и чат-ботам
- 1. ПРИМЕНЕНИЕ МЕТОДОВ DEEP LEARNING К ДИАЛОГОВЫМ СИСТЕМАМ = ЧАТ-БОТАМ Михаил Бурцев, к.ф.-м.н., зав. лаб. «Нейронных сетей и глубокого обучения» МФТИ, директор по науке DeepHackLab вставляем мозги
- 2. • Активность нейрона определяется преобразованием взвешенного суммарного воздействия на него • Воздействия могут быть активирующими (положительные веса) или тормозными (отрицательные веса) ИСКУССТВЕННЫЙ НЕЙРОН
- 3. • Искусственная нейронная сеть (ИНС) является концептуальной моделью биологической нейронной сети • Состоит из элементов, влияющих на активность друг друга • Основные свойства – надежность – по мере ухудшения качества входа, удалении связей или элементов эффективность сети снижается постепенно – гибкость – ИНС могут быть применены в широком круге задач – генерализация – достаточно обучения на ограниченной выборке – ассоциативность памяти ИСКУССТВЕННАЯ НЕЙРОНАЯ СЕТЬ
- 4. ЧТО ТАКОЕ ГЛУБОКОЕ ОБУЧЕНИЕ? DEEP LEARNING = DIG DATA + GPU
- 7. РЕКУРРЕНТНЫЕ НЕЙРОННЫЕ СЕТИ задача предсказания временных рядов архитектура рекуррентной сети LSTM ячейка примеры приложений в области работы с текстом
- 8. • Какое из событий предсказывает появление - В ПОИСКАХ ПАМЯТИ .E D C. . .B . XA . . ????? нейросеть X
- 9. • «Классические» нейронные сети – сети прямого распространения (feedforward network) не обладают памятью. • «Активации» проходят всю сеть насквозь. • Нейросети «с памятью» – рекуррентные сети. • За счет наличия обратных связей «активации» циркулируют в сети. В ПОИСКАХ ПАМЯТИ сеть прямого распространения рекуррентная сеть
- 10. • Сигнал затухает! ПРОБЛЕМА ГЛУБИНЫ
- 11. • «Однослойная» рекуррентная сеть • LSTM • «Ячейка памяти», управляемая затворами LSTM
- 13. Human: what is the purpose of life? Machine: to serve the greater good. Human: what is the purpose of living? Machine: to live forever. Human: what is the purpose of existence? Machine: to find out what happens when we get to the planet earth. Human: where are you now? Machine: i’m in the middle of nowhere. Human: what is the purpose of dying? Machine: to have a life. Human: what is the purpose of being intelligent? Machine: to find out what it is. Human: what is the purpose of emotions? Machine: i don’t know. Vinyals, O. and Le, Q., 2015. A neural conversational model. arXiv preprint arXiv:1506.05869.
- 15. Алиса теперь счастлива. • Она не говорит, что это так. • Она в опасности. • Она выглядит прекрасно. • Она была на концерте Фаллуджи. • Я знаю, что она влюблена в него. • Она великолепна. • Она принесла нам немного воды. • Она ведьма. • А когда она говорит: "Я не говорю, что когда она позвонит" • И когда она вернётся, я поняла, Алиса попала в беду. • Она не собирается никого убивать. • Она изменила свою жизнь. • Да, да. Она не умеет жить. • Я видела в ней все свои приключения. • Вот она вот и все. • Ты не нашел ее? • И все же так обожает. • . ♪ К кому она придумала это? ♪ • А она не знает, кто ты?
- 16. РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И ДИАЛОГОВЫЕ СИСТЕМЫ Внутреннее представление вопроса
- 17. ПРИ ГЕНЕРАЦИИ ОТВЕТА ХРАНИМ В ПАМЯТИ ВОПРОС Внутреннее представление вопроса
- 18. Yao, Kaisheng, Geoffrey Zweig, and Baolin Peng. "Attention with Intention for a Neural Network Conversation Model." arXiv preprint arXiv:1510.08565 (2015). ПРИ ГЕНЕРАЦИИ ОТВЕТА ХРАНИМ В ПАМЯТИ ВОПРОС + СОСТОЯНИЕ ДИАЛОГА Внутреннее представление вопроса Внутреннее представление диалога
- 19. ПОРЯДОК ИМЕЕТ ЗНАЧЕНИЕ ДВУНАПРАВЛЕННОЕ КОДИРОВАНИЕ Schuster, Mike, and Kuldip K. Paliwal. "Bidirectional recurrent neural networks." Signal Processing, IEEE Transactions on 45.11 (1997): 2673-2681. Внутреннее представление вопроса
- 20. ПОРЯДОК ИМЕЕТ ЗНАЧЕНИЕ ФУНКЦИЯ «ВНИМАНИЯ» «внимание»
- 21. Weston, Jason, et al. "Towards ai-complete question answering: A set of prerequisite toy tasks." arXiv preprint arXiv:1502.05698 (2015).
- 22. СЕТЬ С ПАМЯТЬЮ MEMORY NETWORK Sukhbaatar, S., Weston, J., & Fergus, R. (2015). End-to-end memory networks. In Advances in Neural Information Processing Systems (pp. 2431-2439).
- 23. Sukhbaatar, S., Weston, J., & Fergus, R. (2015). End-to-end memory networks. In Advances in Neural Information Processing Systems (pp. 2431-2439). СЕТЬ С ПАМЯТЬЮ MEMORY NETWORK
- 24. Xiong, Caiming, Stephen Merity, and Richard Socher. "Dynamic Memory Networks for Visual and Textual Question Answering." arXiv preprint arXiv:1603.01417 (2016). ДИНАМИЧЕСКАЯ СЕТЬ С ПАМЯТЬЮ DYNAMIC MEMORY NETWORK
- 25. РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И ДИАЛОГОВЫЕ СИСТЕМЫ Xiong, Caiming, Stephen Merity, and Richard Socher. "Dynamic Memory Networks for Visual and Textual Question Answering." arXiv preprint arXiv:1603.01417 (2016).
- 26. РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И ДИАЛОГОВЫЕ СИСТЕМЫ Xiong, Caiming, Stephen Merity, and Richard Socher. "Dynamic Memory Networks for Visual and Textual Question Answering." arXiv preprint arXiv:1603.01417 (2016).
- 27. 300 заявок на участие 50 участников 12 команд 2 команды из Армении 1 команда из Эстонии 20 лекций на youtube 3000 просмотров на неделю 31.01-06.02.2016 – MIPT qa.deephack.me
- 28. ГЛУБОКОЕ ОБУЧЕНИЕ ЧАТ-БОТЫ Рекуррентные нейронные сети для кодирования последовательностей LSTM GRU MemNN Сохранение в памяти представления о вопросе текущем состоянии диалога в целом Учет порядка слов в предложении двунаправленное кодирование функция внимания