Нейронные сети: практическое применение / Наталия Ефремова (NTechLab)
Нейросетевые технологии в компьютерном зрении за последние 10 лет достигли невероятных высот. Качество распознавания образов в помощью систем deep learning достигло уровня, не уступающего человеческому зрению, а зачастую и превосходящего его. В данном докладе мы рассмотрим основные аспекты практического применения алгоритмов глубинных нейронных сетей различных архитектур в таких областях как распознавание образов, распознавание лиц, обработка изображений и видео, общение на естественном языке. Также мы расскажем о том, какие архитектуры применяются в каких областях и как они используются. Наш доклад будет состоять из трех частей, каждую из которых мы посвятим одной из наиболее часто используемых архитектур нейронных сетей в машинном обучении. В первой части мы рассмотрим наиболее популярный вид нейронных сетей: нейронные сети для классификации (CNN, DBN). Такие сети применяются, в основном, в компьютерном зрении: для классификации изображений, лиц, в медицине и радиологии. Мы рассмотрим, какие именно задачи решаются с помощью нейронных сетей свертки: идентификация объектов (object detection), семантическая сегментация (semantic segmentation), распознавание лиц (face recognition), распознавание частей тела человека (human body parts recognition), семантическое определение границ (semantic boundary detection), выделение объектов внимания (saliency estimation), выделение нормалей к поверхности (surface normal estimation). Рассмотрим пример сети для распознавания лиц на примере FindFace и расскажем о способах определения уровня бедности населения с помощью нейронных сетей. Рассмотрим другой класс нейронных сетей - рекуррентные нейронные сети. Рассмотрим применение RNN для распознавания и генерации естественного языка, LSTM. В качестве примера рассмотрим RNN для распознавания видео на примере нейронных сетей, разработанных командой Монреаля для распознавания эмоций (EmoNets) и сетей LSTM для анализа высказываний (sentiment analysis). В части №3 мы поговорим об обучении с подкреплением (reinforcement learning), глубинном варианте обучения с подкреплением (deep Q-network, DQN) компании DeepMind. В конце приведем примеры нестандартных нейросетевых решений для творчества (Призма, Артисто, DeepDream).
Recommended
Recommended
More Related Content
More from Ontico
More from Ontico (20)
Нейронные сети: практическое применение / Наталия Ефремова (NTechLab)
- 2. Введение Основные области применения DeepLearning архитектур: • обработка изображений и видео, • распознавание образов, • распознавание лиц, • распознавание эмоций, • робототехника, • игры, • распознавание образов в медицинских приложениях и т.п.
- 3. Структура доклада • Что такое нейронные сети: • биологические • искусственные • Какие архитектуры в каких областях применяются: • нейронные сети свёртки (CNN) • рекуррентные нейронные сети (RNN) • обучение с подкреплением • Нестандартное применение нейронных сетей
- 4. Нейронные сети: что это такое
- 7. Hubel and Wiesel (1968) стимул отклик клетки при изменении ориентации стимула активация V1
- 15. Fischler and Elschlager, 1973
- 18. FACE
- 19. X W Y
- 20. X”*”W = Y
- 21. 2”*”W = 6
- 23. Error Time 1 2 3 4 5 6 7 Error = |2*w – 6| = 0,001 W = 2.9999?
- 24. Перерисовать! 7 скрытых слоев, 650 000 нейронов, 60 000 000 параметров Обучалась на 2 GPU неделю
- 25. Распознавание образов до 2010 года: самые большие базы изображений PASCAL VOC (20 категорий) CALTECH 101 (101 категория)
- 29. Архитектура Input Simple features More abstract features Mapping from features Output (Goodfellow, 2016) input to layer a a. convolution stage: affine transform b. detector stage: non-linearity (rectified linear) c. pooling b c next layerconvolutional layer
- 30. convolution pooling convolution pooling полносвязные слои прогноз Распознавание входное изображение
- 31. convolution pooling convolution pooling полносвязные слои прогноз Распознавание входное изображение feedforward M.Zieler, CVSS 2015
- 32. convolution pooling convolution pooling полносвязные слои прогноз Распознавание входное изображение H.Lee et al., 2011
- 35. Стандартные задачи, решаемые CNN • идентификация объектов (object detection) • семантическая сегментация (semantic segmentation) • распознавание лиц (face recognition) • распознавание частей тела человека (human body parts recognition) • семантическое определение границ (semantic boundary detection) • выделение объектов внимания (saliency estimation) • выделение нормалей к поверхности (surface normal estimation)
- 36. (Kokkinos, 2016) Классические задачи для CNN q low- q mid- q high- level vision tasks
- 42. NTechLab q 95% - точность идентификации при поиске по 10K фото q 99% - точность верификации q устойчивость к изменениям Точность
- 43. NTechLab q 95% - точность идентификации при поиске по 10K фото q 99% - точность верификации q устойчивость к изменениям Точность
- 44. NTechLab q 0,5 сек на обработку 1 млрд фото q уникальный индекс быстрого поиска q дескриптор использует 20 Гб памяти для хранения 500 млн фото q работа с изображениями низкого качества q 95% - точность идентификации при поиске по 10K фото q 99% - точность верификации q устойчивость к изменениям Производительность Точность
- 45. NTechLab q 0,5 сек на обработку 1 млрд фото q уникальный индекс быстрого поиска q дескриптор использует 20 Гб памяти для хранения 500 млн фото q работа с изображениями низкого качества q 95% - точность идентификации при поиске по 10K фото q 99% - точность верификации q устойчивость к изменениям q загрузка фото через web-интерфейс, Android или iOS q 250 млн фото 100 млн пользователей q первое место на MefaFace Производительность Точность MegaFace FindFace.ru
- 46. Рекуррентные сети q RNN: распознавание естественного языка q Обработка видео q Новый подход: распознавание изображений
- 48. Рекуррентные сети для распознавания эмоций на видео Kahou et al., 2015 input Hidden layer Output
- 49. Обучение с подкреплением q Робототехника q Atari q AlphaGo Andrej Karpathy blog (2016) V. Mnih 2015
- 50. J.Leitner (2014)
- 58. Ссылки: www.theguardian.com www.nvidia.com www.image-net.org Blaise Agüera y Arcas:How computers are learning to be creative (TED talk)
- 59. Вопросы?