Recommended
More Related Content
Viewers also liked
Viewers also liked (18)
More from SPb_Data_Science
More from SPb_Data_Science (11)
Meetup #1. Building a CNN in Kaggle Data Science Bowl
- 2. Subway Plankton team Марат Зайнутдинов @tsundokum tsundokum@gmail.com Алексей Лымарь @yoptar yoptar@gmail.com
- 4. Задача Определить принадлежность планктона к одному из 121 класса по фотографии.
- 9. Нейронная сеть 1 1 X1 W1 X2 W2 Y
- 10. Скрытый слой 1 1 X1 W1 X2 W2 Y
- 14. ● convolutional (conv) ● maxpool (pool) ● fully connected (fc) ● softmax
- 15. Размерность свёрточного слоя каналы x ширина x высота трёхмерная свёртка! Примеры Входной цветной слой: 3x7x7 Входной черно-белый: 1x7x7
- 17. 1x32x32 6x28x28 6x14x14 16x10x10 16x5x5 120 84 10 conv 6x5x5→pool→conv 16x5x5→pool→fc 120→fc 84→softmax 10
- 19. Инструменты ● Python 2.7 (Anaconda) ● PyCharm 4 Community Edition ● git @ bitbucket.org ● CUDA toolkit 6.5 ● PyLearn2 → Theano+cudnn ● Ubuntu ● 16gb RAM ● NVIDIA GTX770 (4gb RAM)
- 20. Задача 1 Baseline Получить хоть какую-то модель ● преобразовать картинки в матрицу чисел ● ошибка уменьшается по эпохам ● результат лучше, чем рандом ● генерировать правильный формат output для Kaggle и получить errorkaggle =errorvalid 4.8 0.562.0
- 21. Инфраструктура (2 недели) ● Генерация матрицы из картинок (разные алгоритмы сведения к одному размеру) ● Перекрёстное тестирование (6-Fold CV) ● Логирование ● Удобное описание нейросети и параметров обучения ● Сохранение и загрузка моделей ● Загрузка результатов в Kaggle ● Data Augmentation ● Усреднение результатов ● Дообучение глубокой сети
- 24. Лучшая сеть на PyLearn2 conv 32x5x5 conv 64x3x3 2 * conv 128x3x3 4 * conv 128x3x3 2 * fc 1000 softmax 4.8 0.560.82 1.5 1.2 0.85
- 25. Theano ● Операции не выполняются сразу ● Строится граф вычислений ● Автовычисление производных Y = T.softmax(T.dot(W.T, X) + b) error = nll(Y_true, Y) W = W - lr * T.grad(error, W) b = b - lr * T.grad(error, b)
- 26. Месяц экспериментов на Theano ● CNN (conv, maxpool, dense) (1 неделя) ● batch normalization (Ioffe, Szegedy, 2015) ● weight initialization (He etc, 2015) ● Nesterov momentum ● adaptive optimization (adadelta, adagrad, rmsprop) ● padding conv layer (2 недели)
- 27. ● Weight Initialization — возможность обучать глубокую нейросеть, существенное уменьшение ошибки с первых эпох! ● Adadelta — не нужно подбирать lr вручную, нужно меньше эпох! ● Batch Normalization — нужно в 3 раза меньше эпох, конечный результат значительно лучше!
- 29. Сработали только weight init и момент Нестерова... буль...
- 30. Не помогло Whitening Анализ ошибок (misclass table) Batch Normalization Adadelta, adagrad, rmsprop soft targetings handcrafted features (parallel)
- 31. Расколбас! изображения 0–255 к 1.0–0.0 tanh лучше sigmoid weight initialization
- 32. Batch Normalization Работает на глубоких сетях Замедляет обучение на 30-100% (по времени на эпоху)
- 33. Как в прошлый раз, но ● жирнее ● инициализация весов ● увеличили размер картинки (82x82) ● Gaussian Dropout ● 4.8 0.560.8 0.82
- 34. amazon_train2.py Размер 100x100 (resize) PReLU Gaussian Dropout Polishing Leap of Faith 4.8 0.560.8 0.82 0.73
- 35. Подробнее про Polishing Leap of Faith
- 36. conv 16x3x3 pool conv 32x3x3 pool conv 64x3x3 conv 96x3x3 pool conv 128x3x3 conv 192x3x3 conv 256x3x3 pool 4.8 0.560.8 0.82 0.73
- 37. amazon_train1.py Размер 100x100 (shrink) PReLU Gaussian Dropout 4.8 0.560.8 0.82 0.73 0.7
- 38. Усреднение двух предыдущих моделей 4.8 0.560.8 0.82 0.73 0.7 0.68
- 39. amazon_train_1_2_igipop_40_averaged + fc layer - меньше gaussian dropout 4.8 0.560.8 0.82 0.73 0.7 0.68
- 40. vedr.py + усреднение conv 16 32 pool 48 64 80 pool 96 112 128 144 pool 160 176 192 pool fc 2000 2000 2000 image size=165x165 4.8 0.560.8 0.82 0.73 0.7 0.68 0.66
- 41. Amazon EC2 $0.65/час ‘On Demand’ $0.065/час ‘Spot’ = 100 в сутки $23 за 3 дня вычислений на 5 компьютерах За электричество заплатили 1500 за 2 месяца Instance→Setup→Snapshot→ *Instance→Compute Не забывайте terminate!
- 42. Разное CNN плохо абстрагируют размер PReLU плохо считался на AWS фильтры 3х3 хороши
- 43. Что у победителей Fractional Max-Pooling (Graham, 2015) Spatial Pyramid Pooling [7] Entropy Regularization [8] Обратные кластеры слоёв
- 44. Литература [1] http://deeplearning.net/tutorial/ [2] Zeiler, Fergus. Visualizing and Understanding Convolutional Networks (2013) [3] He, Zhang, Ren, Sun. Delving Deep into Rectifiers: Surpassing Human-Level Perfomance on ImageNet Classification (2015) [4] Ioffe, Szegedy. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift (2015) [5] Graham. Fractional Max-Pooling (2015) [6] Simonyan, Zisserman. Very Deep Convolutional Networks for Large-Scale Image Recognition (2015) [7] Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition (2014) [8] Dong-Hyun Lee. Pseudo-Label : The Simple and Efficient Semi-Supervised Learning Method for Deep Neural Networks (2013)