https://journalofbigdata.springeropen.com/articles/10.1186/s40537-019-0197-0을 바탕으로 만든 image data augmentation

1. Subin An (sban@hcil.snu.ac.kr)
Image Data Augmentation
A survey on Image Data Augmentation for Deep Learning (Journal of Big Data, 2019)
Connor Shorten* and Taghi M. Khoshgoftaar

2. Deep Learning과 Data
• 딥러닝은 Hidden Layer를 쌓아 Parameter를 늘리는 방식으로 표현력을 높임
• 하지만 500M 이상 Parameter를 훈련하기 위해서는 수 많은 데이터 필요
• 데이터가 많을수록 성능 증가를 기대해볼 수 있음
• 하지만 데이터가 없다면? 과적합(Over
fi
tting)!
• 현대판 인형 눈 붙이기 Data Annotation이 날이 갈수록 수요 상승
• 그런데 기존 데이터는 충분히 사용하고 있는가…?
• 모델이 최대한 다방면으로 볼 수 있게 해주자!!!

3. Data Augmentation
• 적은 양의 훈련 데이터에 인위적인 변화를 사용하여 새로운 훈련 데이터를 확보
• 인위적인 변화의 예시에는 뒤집기(
fl
ip), 자르기(crop) 등이 있음
• Data Augmentation은 이미 많은 논문에서 성능으로 증명했다.
• 하지만 필요 이상으로 하면 훈련 시간만 많아질 수 있음
• 딥러닝 Over
fi
tting 방지 및 Accuracy 향상을 위해 가능한 시도들

4. Part I. Basic Manipulation

5. Geometric Transformations
• Flipping : 뒤집기
• Color Space : 색상 채널 변경. RGB 조정 / HSL 조정 등 색 조정
• Cropping : 자르기, 중앙부만 자르는 것도 실용적
• Rotation : 회전, MNIST 등에서는 +-20도 정도만 하여 유용할 수 있음
• Translation : Shifting, 위치에 대한 편향을 방지 (상수 또는 Gaussian 로 패딩)
• Noise Injection : Gaussian Noise 주입 (Robustness)

6. Geometric Transformations
• 논문에서는 언급하지 않았지만…기하학적 변환은 많음
• Rescaling : 사진의 크기를 키우거나 줄임 (~x 1.6)
• Shearing(A
ffi
ne Transform) : 사진을 찌그러트림
• Stretching : 사진을 늘림 (~x 1.3)

7. Geometric Transformations
• Positional Bias를 해결하기에 적합
• 구현하거나 사용하기 쉽고 편함
• 하지만 오용/남용 주의!
• 고양이나 개 이미지는 뒤집기 가능, 하지만 6, 9는 뒤집었을 때 문제가 생길 수 있음
• Random Crop시에 Label에 해당하지 않는 부분을 Crop할 수도 있음
• 의료 데이터 등 Positional Bias 보다 복잡한 경우는 적합하지 않음

8. Experiments (Caltech101)

9. Color Space Transformations
• 색을 조정(photometric transformation)하여 Lighting Biases 해결
• 너무 밝거나, 어두운 이미지를 일관적으로 조정
• 특징 추출을 위해 이미지 필터를 사용해도 좋음

10. Kernel Filters
• 행렬 연산을 이용하여 이미지를 선명하거나 흐리게 하는 방법
• Ex) Gaussian Blur Filter로 가장자리 강조
• Ex) PatchShu
ffl
e Regularization

11. Kernel Filters
• 그 외의 다양한 필터 존재
• 생각해보면 Convolution Layer가 이걸 자동으로 찾아줌 -> 큰 성능 향상 기대 x

12. Mixing Images
• Mixup (https://arxiv.org/pdf/1710.09412.pdf) (ICLR 2018)
• 이미지를 합쳐 새로운 이미지를 만듬

13. • 인간의 관점에서는 큰 의미가 없음
• 이 방법은 모서리 등의 low-level feature extraction이 도움이 된다는 실험적 결과
Mixing Images

14. Random Erasing
• Cutout 등의 방법이 존재 /Dropout과 유사한 아이디어
• Image Classi
fi
cation과 Object Detection에서 성능 향상
• 적은 정보로 부터 핵심 정보를 뽑기 위한 모델의 노력

15. • Naver Clova (ICCV 2019)
• Mixup + Cutout의 방법론
• https://arxiv.org/abs/1905.04899
CutMix

16. • Deepmind/Google (ICLR 2020)
• 적은 연산량으로 다양한 Augmentation을 Mix
• Robustness와 Uncertainty Measure를 크게 향상 시킬 수 있음
• https://arxiv.org/abs/1912.02781
AugMix

17. • SNU MLLAB의 연구 (ICML 2020)
• CutMix에서 손실되는 정보를 최소화 하기 위해 이미지를 잘 합치는 방법
• https://arxiv.org/abs/2009.06962
Puzzle Mix

18. Part II. Deep Learning Approaches

19. Feature Space Augmentation
• 딥러닝은 high-dimension feature를 low-dimension feature로 mapping
• 저차원 공간의 Augmentation을 통해 Interpolation / Extrapolation
• Ex) Autoencoder
19

20. Adversarial Training
• Adversarial Attack과 마찬가지로 Adversarial example을 만들어 훈련
• 하지만 이 방법은 real world dataset에 대해서는 성능 향상 X
• 다만 Adversarial Attack에 대해 Robust함

21. GAN-based Data Augmentation
• GAN은 Generative Model에서 속도와 성능적 측면에서 유용
• Model에 Condition을 넣어 다양한 데이터 생성 가능
• Bio/Medical 도메인에 적용중
• Class Imbalance를 해결하기 위한 Oversampling으로 사용가능
• DCGAN, CycleGAN, ProgressiveGAN, StyleGAN 등을 사용할 수 있음
• 하지만 좋은 출력을 얻기 어렵고, GAN 자체도 많은 데이터를 필요로 함

22. • CycleGAN으로 표정 data augmentation
• T-SNE 결과 잘 분리되는 것을 확인할 수 있음
GAN-based Data Augmentation

23. • 방글라데시어 인식 대회에서 실제 Font에 CycleGAN으로 하여 압도적 1위 사례
• T-SNE 결과 잘 분리되는 것을 확인할
GAN-based Data Augmentation

24. • ResNet을 베이스의 네트워크의 중간의 특징 맵에 대해 data augmentation
• https://arxiv.org/abs/1705.07485
(ETC) Shake-Shake Regularization

25. Part III. Meta Learning

26. Meta Learning
• 자전거를 타는 사람은 오토바이를 타는 방법을 쉽게 학습 하고는 함
• 적은 데이터만으로 Unseen task에 대해 잘하기 위한 방법론
• 딥러닝으로 딥러닝 최적화 구조를 찾는 Neural Architecture Search (NAS)

27. AutoAugmentation
• Google (CVPR 2019)
• RNN (Recurrent Neural Network) + RL (Reinforcement Learning)
• Augmentation 기법을 출력하는 RNN controller 생성
• 여기서 얻은 augmentation 기법을 학습 데이터에 적용
• 모델을 학습 및 성능을 평가하여 reward(R)를 얻음
• 계산된 reward를 통해 RNN controller 학습
• https://arxiv.org/abs/1805.09501

28. • 카카오 브레인 (NeurIPS 2019)
• https://arxiv.org/abs/1905.00397
Fast AutoAugmentation
https://kakaobrain.com/blog/116

29. • Data Augmentation과 관련하여 다양한 Python 라이브러리 존재
• Imgaug : https://github.com/aleju/imgaug
• Albumentations : https://github.com/albumentations-team/albumentations
(ETC) Libraries

30. Thanks