Recommended
More Related Content
Viewers also liked
Viewers also liked (6)
Машинное обучение. Что это такое и как с этим жить.
- 1. МАШИННОЕ ОБУЧЕНИЕ “УБИТЬ ВСЕХ ЧЕЛОВЕКОВ!” или Ivan Miniailenko <discrete.west@gmail.com> @diswest Aviasales 2016
- 2. ЧТО ЭТО ТАКОЕ? МАШИННОЕ ОБУЧЕНИЕ
- 3. ЧТО ЭТО ТАКОЕ? НИКАКОЙ МАГИИ! МАШИННОЕ ОБУЧЕНИЕ
- 4. МАШИННОЕ ОБУЧЕНИЕ НИКАКОЙ МАГИИ images: http://blog.clarifai.com/what-convolutional-neural-networks-see-at-when-they-see-nudity/
- 5. МАШИННОЕ ОБУЧЕНИЕ НИКАКОЙ МАГИИ image: https://en.wikipedia.org/wiki/The_Starry_Night
- 6. МАШИННОЕ ОБУЧЕНИЕ НИКАКОЙ МАГИИ image: http://www.ucreative.com/inspiration/google-deep-dream-is-the-trippiest-thing-in-the-internet/
- 7. МАШИННОЕ ОБУЧЕНИЕ НИКАКОЙ МАГИИ image: http://arxiv.org/pdf/1601.04589v1.pdf
- 8. МАШИННОЕ ОБУЧЕНИЕ НИКАКОЙ МАГИИ image: http://arxiv.org/pdf/1508.06576v2.pdf
- 9. ОБУЧЕНИЕ С УЧИТЕЛЕМ SUPERVISED LEARNING image: https://www.coloribus.com/adsarchive/prints/playboy-magazine-hot-teachers-12602755/
- 10. ОБУЧЕНИЕ С УЧИТЕЛЕМ ПАРЫ: ОБЪЕКТ - ОТВЕТ ПЛОЩАДЬ КОМНАТЫ РАССТОЯНИЕ ДО МОРЯ ЦЕНА ЦВЕТ ФОРМА ТОЛЩИНА ТИП ПРЕДМЕТАДЛИНА РЕГРЕССИЯ КЛАССИФИКАЦИЯ
- 11. ОБУЧЕНИЕ С УЧИТЕЛЕМ РЕГРЕССИЯ. ДАННЫЕ ЦЕНА ПЛОЩАДЬ ДОМА
- 12. ОБУЧЕНИЕ С УЧИТЕЛЕМ РЕГРЕССИЯ. ОБУЧЕНИЕ ЦЕНА ПЛОЩАДЬ ДОМА
- 13. ОБУЧЕНИЕ С УЧИТЕЛЕМ РЕГРЕССИЯ. ИСПОЛЬЗОВАНИЕ ЦЕНА ПЛОЩАДЬ ДОМА
- 15. ОБУЧЕНИЕ С УЧИТЕЛЕМ КЛАССИФИКАЦИЯ. ОБУЧЕНИЕ СЫЧИ ДРУГИЕ ПТИЦЫ РАЗМАХ КРЫЛЬЕВ ВЕС
- 16. ОБУЧЕНИЕ С УЧИТЕЛЕМ КЛАССИФИКАЦИЯ. ОБУЧЕНИЕ СЫЧИ ДРУГИЕ ПТИЦЫ РАЗМАХ КРЫЛЬЕВ ВЕС
- 17. ОБУЧЕНИЕ С УЧИТЕЛЕМ КЛАССИФИКАЦИЯ. ИСПОЛЬЗОВАНИЕ СЫЧИ ДРУГИЕ ПТИЦЫ РАЗМАХ КРЫЛЬЕВ ВЕС
- 18. ОБУЧЕНИЕ С УЧИТЕЛЕМ КЛАССИФИКАЦИЯ. ЕЩЁ ПРИМЕР
- 19. ОБУЧЕНИЕ БЕЗ УЧИТЕЛЯ UNSUPERVISED LEARNING image: Futurama s06e06
- 20. ОБУЧЕНИЕ БЕЗ УЧИТЕЛЯ ТОЛЬКО ОБЪЕКТЫ ЦВЕТ ФОРМА ТОЛЩИНА ДЛИНА ЦВЕТ ФОРМА ТОЛЩИНА ДЛИНА ЦВЕТ ФОРМА ТОЛЩИНА ДЛИНА ЦВЕТ ФОРМА ТОЛЩИНА ДЛИНА ЦВЕТ ФОРМА ТОЛЩИНА ДЛИНА
- 21. ОБУЧЕНИЕ БЕЗ УЧИТЕЛЯ КЛАСТЕРИЗАЦИЯ. ДАННЫЕ УМНЫЕ КРАСИВЫЕ
- 22. ОБУЧЕНИЕ БЕЗ УЧИТЕЛЯ КЛАСТЕРИЗАЦИЯ. ОБУЧЕНИЕ УМНЫЕ КРАСИВЫЕ
- 23. ОБУЧЕНИЕ С ПОДКРЕПЛЕНИЕМ REINFORCEMENT LEARNING image: https://wall.alphacoders.com/big.php?i=584427
- 25. РЕШЕНИЕ ЗАДАЧ ЭТАПЫ РЕШЕНИЯ ЗАДАЧИ 1. ПОСТАНОВКА ЗАДАЧИ 2. СБОР ДАННЫХ 3. ПОДГОТОВКА ДАННЫХ 4. ВЫБОР И НАСТРОЙКА АЛГОРИТМА 5. ОБУЧЕНИЕ 6. ИСПОЛЬЗОВАНИЕ
- 26. РЕШЕНИЕ ЗАДАЧ ПОСТАНОВКА ЗАДАЧИ МАШИННОЕ ОБУЧЕНИЕ – НЕ “СЕРЕБРЯНАЯ ПУЛЯ”
- 27. РЕШЕНИЕ ЗАДАЧ СБОР ДАННЫХ “IT'S NOT WHO HAS THE BEST ALGORITHM THAT WINS, IT'S WHO HAS THE MOST DATA” Michele Banko and Eric Brill, 2001 © Andrew Ng
- 28. РЕШЕНИЕ ЗАДАЧ ПОДГОТОВКА ДАННЫХ - ВЫБОР ПРИЗНАКОВ (FEATURE SELECTION) - НОРМАЛИЗАЦИЯ - ПРЕДСТАВЛЕНИЕ НЕЧИСЛОВЫХ ПРИЗНАКОВ
- 29. РЕШЕНИЕ ЗАДАЧ ВЫБОР АЛГОРИТМА ОТ ПРОСТОГО К СЛОЖНОМУ
- 30. РЕШЕНИЕ ЗАДАЧ НОРМАЛЬНО ОБУЧЕННАЯ МОДЕЛЬ
- 31. РЕШЕНИЕ ЗАДАЧ СЛАБАЯ МОДЕЛЬ (UNDERFITTING)
- 32. РЕШЕНИЕ ЗАДАЧ ПЕРЕОБУЧЕННАЯ МОДЕЛЬ (OVERFITTING)
- 33. РЕШЕНИЕ ЗАДАЧ ТЕСТОВЫЙ НАБОР ДАННЫХ ДАННЫЕ 80% 20% УЧЕБНЫЙ НАБОР (TRAINING SET) ТЕСТОВЫЙ НАБОР (TEST SET) СЛУЧАЙНАЯ ВЫБОРКА
- 34. РЕШЕНИЕ ЗАДАЧ НАСТРОЙКА АЛГОРИТМА ЧТО ВЫБРАТЬ? ИЛИ ИЛИ
- 35. РЕШЕНИЕ ЗАДАЧ НАСТРОЙКА АЛГОРИТМА ЧТО ВЫБРАТЬ? ИЛИ ИЛИ НЕЛЬЗЯ ИСПОЛЬЗОВАТЬ ТЕСТОВЫЙ НАБОР ДАННЫХ ДЛЯ НАСТРОЙКИ МОДЕЛИ!
- 36. РЕШЕНИЕ ЗАДАЧ ПРОВЕРОЧНЫЙ НАБОР ДАННЫХ 60% 20% УЧЕБНЫЙ НАБОР (TRAINING SET) ТЕСТОВЫЙ НАБОР (TEST SET) (CROSS-VALIDATION) 20% ПРОВЕРОЧНЫЙ НАБОР (CROSS-VALIDATION SET) СЛУЧАЙНАЯ ВЫБОРКА СЛУЧАЙНАЯ ВЫБОРКА
- 37. РЕШЕНИЕ ЗАДАЧ НАСТРОЙКА АЛГОРИТМА ОБУЧАЕМ КАЖДУЮ МОДЕЛЬ НА УЧЕБНОМ НАБОРЕ TRAINING SET
- 38. РЕШЕНИЕ ЗАДАЧ НАСТРОЙКА АЛГОРИТМА СРАВНИВАЕМ ТОЧНОСТЬ НА ПРОВЕРОЧНОМ НАБОРЕ 0.840.960.92 CROSS-VALIDATION SET
- 39. РЕШЕНИЕ ЗАДАЧ НАСТРОЙКА АЛГОРИТМА ПРОВЕРЯЕМ ЛУЧШУЮ МОДЕЛЬ НА ТЕСТОВОМ НАБОРЕ TEST SET 0.94
- 40. РЕШЕНИЕ ЗАДАЧ ОБУЧЕНИЕ ЧТО-ТО ПОШЛО НЕ ТАК…
- 41. РЕШЕНИЕ ЗАДАЧ РЕШЕНИЕ ПРОБЛЕМ. СЛАБАЯ МОДЕЛЬ - Больше обучающих данных - Дополнительные признаки - Более сложная модель - Повышение точности алгоритма (регуляризация)
- 42. РЕШЕНИЕ ЗАДАЧ РЕШЕНИЕ ПРОБЛЕМ. ПЕРЕОБУЧЕНИЕ - Меньше признаков - Более простая модель - Уменьшение точности алгоритма (регуляризация)
- 43. РЕШЕНИЕ ЗАДАЧ ВИЗУАЛИЗАЦИЯ ОБУЧЕНИЯ. TRAINING SET КОЛИЧЕСТВО ПРИМЕРОВ ОШИБКА
- 44. РЕШЕНИЕ ЗАДАЧ ВИЗУАЛИЗАЦИЯ ОБУЧЕНИЯ. TRAINING SET ПЛОЩАДЬ ДОМА ЦЕНА ЧИСЛО ПРИМЕРОВ: 1
- 45. РЕШЕНИЕ ЗАДАЧ ВИЗУАЛИЗАЦИЯ ОБУЧЕНИЯ. TRAINING SET ПЛОЩАДЬ ДОМА ЦЕНА ОШИБКА = 0 ЧИСЛО ПРИМЕРОВ: 1
- 46. РЕШЕНИЕ ЗАДАЧ ВИЗУАЛИЗАЦИЯ ОБУЧЕНИЯ. TRAINING SET ПЛОЩАДЬ ДОМА ЦЕНА ЧИСЛО ПРИМЕРОВ: 2
- 47. РЕШЕНИЕ ЗАДАЧ ВИЗУАЛИЗАЦИЯ ОБУЧЕНИЯ. TRAINING SET ПЛОЩАДЬ ДОМА ЦЕНА ОШИБКА = 0 ЧИСЛО ПРИМЕРОВ: 2
- 48. РЕШЕНИЕ ЗАДАЧ ВИЗУАЛИЗАЦИЯ ОБУЧЕНИЯ. TRAINING SET ПЛОЩАДЬ ДОМА ЦЕНА ЧИСЛО ПРИМЕРОВ: 3
- 49. РЕШЕНИЕ ЗАДАЧ ВИЗУАЛИЗАЦИЯ ОБУЧЕНИЯ. TRAINING SET ПЛОЩАДЬ ДОМА ЦЕНА ОШИБКА > 0 ЧИСЛО ПРИМЕРОВ: 3
- 50. РЕШЕНИЕ ЗАДАЧ ВИЗУАЛИЗАЦИЯ ОБУЧЕНИЯ. CV SET КОЛИЧЕСТВО ПРИМЕРОВ ОШИБКА
- 51. РЕШЕНИЕ ЗАДАЧ РЕШЕНИЕ ПРОБЛЕМ. ДИАГНОСТИКА КОЛИЧЕСТВО ПРИМЕРОВ НОРМАЛЬНО ОБУЧЕННАЯ МОДЕЛЬ ОШИБКА УЧЕБНЫЙ НАБОР (TRAINING SET) ПРОВЕРОЧНЫЙ НАБОР (CROSS-VALIDATION SET)
- 52. РЕШЕНИЕ ЗАДАЧ РЕШЕНИЕ ПРОБЛЕМ. ДИАГНОСТИКА КОЛИЧЕСТВО ПРИМЕРОВ СЛАБАЯ МОДЕЛЬ ОШИБКА УЧЕБНЫЙ НАБОР (TRAINING SET) ПРОВЕРОЧНЫЙ НАБОР (CROSS-VALIDATION SET)
- 53. РЕШЕНИЕ ЗАДАЧ РЕШЕНИЕ ПРОБЛЕМ. ДИАГНОСТИКА КОЛИЧЕСТВО ПРИМЕРОВ ПЕРЕОБУЧЕНИЕ ОШИБКА УЧЕБНЫЙ НАБОР (TRAINING SET) ПРОВЕРОЧНЫЙ НАБОР (CROSS-VALIDATION SET)
- 54. РЕШЕНИЕ ЗАДАЧ ИСПОЛЬЗОВАНИЕ МОДЕЛЬ РАБОТАЕТ НА РЕАЛЬНЫХ НЕЗНАКОМЫХ ДАННЫХ РЕАЛЬНЫЕ ОБЪЕКТЫ ОТВЕТЫ
- 56. ЧАТ-БОТ МАШИННОЕ ОБУЧЕНИЕ. ПРИМЕРЫ image: http://diginomica.com/2016/04/26/facebook-messenger-and-its-ai-chatbots-should-the-enterprise-care/
- 57. ЧАТ-БОТ ЭТАПЫ РЕШЕНИЯ ЗАДАЧИ 1. Анализ поисковых запросов и сбор данных 2. Обработка текста 3. Составление словаря 4. Генерация обучающих данных 5. Выбор и настройка модели 6. Обучение 7. Использование
- 58. ЧАТ-БОТ АНАЛИЗ И СБОР ДАННЫХ - Люди пишут боту то же, что и в поисковик - Есть инструменты для аналитики запросов - Выгружаем аналитику и получаем реальные данные - Размечаем данные (выделение типов запросов) - Делим на три части (60/20/20)
- 59. ЧАТ-БОТ ОБРАБОТКА ТЕКСТА - Приведение к одному регистру - Токенизация (названия городов, даты и т.п.) - Стемминг - Удаление всего, кроме слов - Коррекция
- 60. ЧАТ-БОТ ОБРАБОТКА ТЕКСТА. ПРИМЕР “Здравствуйте! Я бы хотела купить пару билетиков из москвы в лосанжелес. В эту пятницу на две недели. Двое взростлых и один ребеночек. Здоровья вам. “ здравств я бы хо куп пар билет из %city% в %city% в эт %date% на %period% %adults% и %children% здоров в
- 61. ЧАТ-БОТ СОСТАВЛЕНИЕ СЛОВАРЯ [ 1: %city% 2: %date% 3: куп 4: из … 5796: сп ] 1. Выбрать все слова из доступных данных 2. Упорядочить по частоте 3. Составить словарь
- 62. ЧАТ-БОТ ГЕНЕРАЦИЯ ОБУЧАЮЩИХ ДАННЫХ ДЛЯ КАЖДОГО ПРИМЕРА: 1. Обработать текст (как при составлении словаря) 2. Каждое слово заменить на индекс в словаре 3. Сгенерировать обучающий объект (битовый вектор) 4. Назначить обучающему объекту класс 5. Объект-класс – обучающий пример для модели
- 63. ЧАТ-БОТ ГЕНЕРАЦИЯ ОБУЧАЮЩИХ ДАННЫХ “хочу купить билет из Москвы в Санкт-Петербург на 10 июля“ хо куп бил из %city% в %city% на %date% ОБРАБОТКА ТЕКСТА
- 64. ЧАТ-БОТ ГЕНЕРАЦИЯ ОБУЧАЮЩИХ ДАННЫХ хо куп бил из %city% в %city% на %date% 10 3 8 4 1 6 1 25 2 ЗАМЕНА СЛОВ НА ИДЕНТИФИКАТОРЫ ПО СЛОВАРЮ 10 3 8 4 1 16 25 2
- 65. ЧАТ-БОТ ГЕНЕРАЦИЯ ОБУЧАЮЩИХ ДАННЫХ 10 3 8 4 1 6 1 25 2 ГЕНЕРАЦИЯ ОБУЧАЮЩЕГО ОБЪЕКТА [ 1: 1 2: 1 3: 1 4: 1 5: 0 6: 1 … 25: 1 … 5796: 0 ]
- 66. ЧАТ-БОТ ГЕНЕРАЦИЯ ОБУЧАЮЩИХ ДАННЫХ search_request НАЗНАЧЕНИЕ КЛАССА ОБУЧАЮЩЕМУ ОБЪЕКТУ [ 1: 1 2: 1 3: 1 4: 1 5: 0 6: 1 … 25: 1 … 5796: 0 ]
- 67. ЧАТ-БОТ ВЫБОР И НАСТРОЙКА МОДЕЛИ. ОБУЧЕНИЕ - Размер словаря – количество признаков объекта - Типы запросов – классы - Задача классификации: - нейронные сети - SVM - random forest …
- 68. ЧАТ-БОТ ИСПОЛЬЗОВАНИЕ 1. Получение запроса 2. Определение типа запроса с использованием модели 2.1. Обработка текста 2.2. Замена слов по словарю 2.3. Сборка объекта (битовый вектор) 2.3. Классификация объекта обученной моделью 3. (для поискового запроса) Извлечение параметров поиска 4. Поиск, получение ответа и генерация ответа пользователю
- 69. ВСЕМ СПАСИБО! МАШИННОЕ ОБУЧЕНИЕ Ivan Miniailenko <discrete.west@gmail.com> @diswest Aviasales 2016