Recommended
Recommended
More Related Content
Similar to Эксплуатация ML в Почте Mail.ru
Similar to Эксплуатация ML в Почте Mail.ru (20)
More from Eduard Tyantov
More from Eduard Tyantov (8)
Эксплуатация ML в Почте Mail.ru
- 1. Эксплуатация ML в Почте Mail.ru Tyantov Eduard
- 2. Почта
- 3. чеки из интернет- магазинов билеты на самолёты брони отелей уведомления от «Госуслуг» выписки из банков уведомления о штрафах результаты медицинских анализов записи к врачам
- 5. Smart Reply
- 9. ML в Почте
- 10. – 1.5B писем в сутки – 30М+ DAU – ~30 ML систем Цифры
- 14. Деградация моделей Причины 1. Постепенная деградация софта
- 15. Деградация моделей Причины 1. Постепенная деградация софта 2. Естественная эволюция данных
- 16. Деградация моделей Причины 1. Постепенная деградация софта 2. Естественная эволюция данных 3. Gaming/adversary
- 17. 1. Поддержка системы дорогая 2. Чем быстрее меняется среда, тем ее больше Высокие косты => Автоматизация Эксплуатация
- 18. AutoML Что можно автоматизировать – Сбор данных – Дообучение – Деплой – Мониторинг
- 20. 1. Поддержка моделей свойственна любому проекту 2. Среда меняется все быстрее 3. Грабли одни и те же Relatable
- 22. Feedback Loop
- 23. AutoML Что можно автоматизировать – Сбор данных – Дообучение – Деплой – Мониторинг Feedback Loop
- 25. Adversary in Antispam 1 месяц разработчика vs 4h спамера Адаптация
- 26. Think in advance about Feedback Loop
- 27. Сбор данных
- 28. Why Feedback Loop – Data is fuel – People is fuel – User Feedback
- 30. Качество фидбека – Разное понимание фичи – Юзерам нельзя верить
- 31. Качество фидбека По мнению пользователя это не спам
- 32. Качество фидбека – Разное понимание фичи – Юзерам нельзя верить – Возможен Adversary Вывод Не годится для обучения
- 33. Просев фидбека ML учит ML – Фидбек от связанного ML – Классификатор чистого клика
- 34. Классификатор кликов В почте – Признаки: • Юзера • Отправителя • Контент – Precision важнее Recall
- 35. Со стороны пользователя – Пользователю надо как-то жить с ошибками – Проблема не должна повторяться
- 36. Ошибки: решение Варианты – Перманентные эвристики per user – Временные костыли в модели
- 37. Эвристики для обучения Проблема дообучения – Feedback иногда недостаточно для исправления модели Решение – Поток с точной эвристики => модель
- 38. Костыли в модели Процесс КостыльМодель данные Мониторинг – Дообучение на данных с костыля • Если больше не фолзит, вырубаем – Мониторинг срабатывания – Временный костыль
- 39. Эвристики для обучения Армия костылей полезна для ваших моделей
- 40. Intermediate Recap 1. Думаем про UX 2. Фильтруем фидбек с помощью ML 3. Используем эвристики для дообучения
- 41. Дообучение
- 43. Проблемы с дообучением Модель может – Не поддерживать дообучение – Ухудшится – Не предсказуемо измениться • Создать новые ошибки или вернуть старые
- 44. Point Надо гарантировать улучшение или хотя бы не ухудшение
- 45. Active learning меняет распределение данных в выборке 0% 100%85% Не финансы Финансы Граница принятия решения
- 46. Концепция Цель – Сохранить прежние паттерны – Приобретать новые Преемственность Старой прод. модели можно верить!
- 47. В Почте – Линейные – Деревья – Нейросети Для каждой свой алгоритм
- 48. Линейные модели • Тренируем на новом сете 𝐿𝑜𝑠𝑠 = 𝑐1 𝐿(𝑋 𝑛𝑒𝑤) + 𝛼 𝜃 𝑛𝑒𝑤 2 • Регуляризуем веса новых признаков
- 49. Линейные модели • Контроль метрик на старом 𝐿𝑜𝑠𝑠 = 𝑐1 𝐿(𝑋 𝑛𝑒𝑤) + 𝛼 𝜃 𝑛𝑒𝑤 2 + 𝑐2 𝐿(𝑋 𝑜𝑙𝑑)
- 50. Линейные модели • Harmonic regularization – веса старых признаков не сильно отличаются 𝐿𝑜𝑠𝑠 = 𝑐1 𝐿(𝑋 𝑛𝑒𝑤) + 𝛼 𝜃 𝑛𝑒𝑤 2 + 𝑐2 𝐿(𝑋 𝑜𝑙𝑑) +𝛽 𝜃 𝑜𝑙𝑑 𝑖 − 𝜃 𝑜𝑙𝑑 𝑖−1 2
- 51. Линейные модели Гипер-параметры = гибкость 𝐿𝑜𝑠𝑠 = 𝑐1 𝐿(𝑋 𝑛𝑒𝑤) + 𝛼 𝜃 𝑛𝑒𝑤 2 + 𝑐2 𝐿(𝑋 𝑜𝑙𝑑) +𝛽 𝜃 𝑜𝑙𝑑 𝑖 − 𝜃 𝑜𝑙𝑑 𝑖−1 2
- 52. Trees … На старом сете
- 53. Trees … + На старом сете На новом сете – - N=5 – + M=10 – Основной размер ~ 100-300
- 54. Trees: безудержный рост – Число деревьев растет • => надо упрощать – Knowledge Distillation
- 55. Trees Добавление деревьев + KD обеспечивают – Новые паттерны – Преемственность
- 56. FastText – 𝐸𝑚𝑏 𝑤𝑜𝑟𝑑 = 𝐸𝑚𝑏 𝑛𝑔𝑟𝑎𝑚 + 𝐸𝑚𝑏 𝑤𝑜𝑟𝑑 – N-grams: bucket hashing dimension n_words n_buckets Weights
- 57. Дообучение FastText New text => new words, n-grams dimension n_words n_buckets Дефолтное дообучение – Только старые веса – Веса изменяются непредсказуемо • => Нет преемственности
- 58. Дообучение FastText Рецепт – Добавляем все новое 𝐿𝑜𝑠𝑠 = 𝐶𝑟𝑜𝑠𝑠 𝐸𝑛𝑡𝑟𝑜𝑝𝑦 + 𝛽 𝜃 𝑜𝑙𝑑 𝑖 − 𝜃 𝑜𝑙𝑑 𝑖−1 2 New words New buckets CE– Учим CrossEntropy – Harmonic regularization Harmonic Reg. Harmonic Reg.
- 59. CNN Варианты: – Harmonic regularization – Гибкий генератор (пример: OCR) – Embeddings: triplet loss + harmonic
- 60. Triplet loss для Антифишинга Anchor positive + α < negative minimize maximize Negative Positive FaceNet: A Unified Embedding for Face Recognition and Clustering
- 61. Triplet loss: harmonic – Learn from scratch Model v2 Anchor minimize maximize Negative Positive New
- 62. Triplet loss: harmonic – Learn from scratch Model v2 minimize maximize Emb v1 Emb v2 Emb v1 Emb v2 Emb v1 – Retrain Embedding layer – Then the whole net
- 67. Hierarchy Обновляем компоненты по одному
- 69. Эксплуатация
- 70. Тестирование и мониторинг не вредит вашему здоровью
- 71. Why Everything breaks b/c: – Cost of innovation – Entropy time Number of errors
- 72. Why – Lifetime value – Нельзя полагаться на людей Блокировки Время Кол-во Ошибки
- 73. AutoAB – Все изменения - через АВ – Автодеплой по метрикам • Up to 50% auto, 100% manual – Rollback Tests
- 74. Testing – Integration tests – Data tests – Training vs serving model
- 75. Мониторинг Распределение (KLdiv) – Ответов – Скоров – Признаков
- 76. Мониторинг Эвристики полезны для мониторинга ML Доля пропусков модели на эвристиках
- 77. ML as a Service Легче поддерживать, масштабировать, переписывать – TensorFlow Serving – Kubeflow – TensorRT Inference Server
- 78. Bottom line Думать об эксплуатации ML надо заранее
- 79. Recap
- 80. Recap • Feedback Loop – Думаем про пользователя – Фильтрация фидбека • Дообучение – Преемственность • Эксплуатация – Тесты – Мониторинги
- 81. Вопросы
Editor's Notes
- стоит время, вся команда может заниматься только поддержкой моделей запросто, без бюджета на инновации
- все это не какие-то космолеты - а понятные и часто достаточно простые вещи
- дизайн таких систем: через эволюцию и след. шаг, почему: …
- месяц жизни разраба битва ML-алгоритмов,
- по кнопкам
- 80% нигерйский FP – реально спам свое уникальное восприятие удачи
- связанный ML – например пост-проверка с более полными данными
- модель может тупо не поддерживать дообучение Если есть возможность избежать асессоров в цикле - избегаем,
- модель может тупо не поддерживать дообучение
- тут важна уверенность что не сломается, приемственность моделей - мы не хотим чтобы она каждый раз выдывала неизвестно знает что и обрабатывать коннер кейсы (они всегда будут, но желательно те же самые) иначе увеличена поддержка
- Если не применять спец. Техники можно сделать только хуже
- Трейн датасет != продакшен распределение Нужны спец. техники
- Старая модель работает в проде и мы можем ей верить
- Допилили lightgbm
- tODO: анимашки Снова допилили фаст-текст Есть разные вариации, чего учить чего морозить (n-gramm), но по аналогии с успешным опытом на лин. моделей
- Несколько фасттекстов, CNN
- Каждая модель изменяется предсказуемо
- Каждая модель изменяется предсказуемо
- Каждая модель изменяется предсказуемо
- Каждая модель изменяется предсказуемо
- улучшает здоровье =) быстро предовтращать и митигировать последствия
- эффект: любой факап рушит обрушивает это value и устраивает disruption и отток пользователей (в нашем мире когда время все ценнее, никто не хочет тратить время на ваши баги и просто пойдет в другой продукт) Пример системы который рубит редкий но опасный спам, сломался признак, которую должным образом не замониторили и не обложили анти-факапными мерами и тестированием признаков у нас плохая память - чек-лист проекта на сдаче или в процессе, не полагайтесь на людей, система
- Причем у нас две системы накатки моделей и логики, цель которых привезти модель как можно скорее модель и безопаснее И аб-тесты когда уже модель начинает использоваться
- каждый след. шаг обходится дороже, баг надо отловить как можно раньше
- Пер инстанс, алерты
- взять и переписать маленькую часть легче чем космолет (стори про индусов) Заменить fast-text потом на transformer – т.к.
- Даже закаленные люди совершают ошибку: о интересная задача гоу-гоу
- Эти вещи помогут быстрее улучшать ваши продукты и вам соблюдать worklife balance (если существует).