Deep Learning for Image Style Transfer

1. Image style transfer
Báo cáo nghiên cứu quý 2 - 2018

2. Agenda
1. Giới thiệu về style transfer
2. Tổng quan về Machine learning và Deep learning
3. Sử dụng convolution:
1. Giới thiệu về convolution
2. Convolution style transfer
4. Sử dụng GAN:
1. Giới thiệu về GAN
2. Giới thiệu về Cycle GAN
5. Demo

3. Ví dụ style transfer

4. Ví dụ style transfer

5. Ví dụ style transfer

6. Ví dụ style transfer

7. Các hướng tiếp cận
Convolution transfer Pix2pix ( Conditional GAN ) Cycle GAN
Transfer learning Supervised learning Unsupervised learning

8. Agenda
1. Giới thiệu về style transfer
2. Tổng quan về Machine learning và Deep learning
3. Sử dụng convolution:
1. Giới thiệu về convolution
2. Convolution style transfer
4. Sử dụng GAN:
1. Giới thiệu về GAN
2. Giới thiệu về Cycle GAN
5. Demo

9. Tổng quan ML
● Sử dụng Machine Learning => học một hàm số f(x) = y
● Các giai đoạn cơ bản :
○ Tạo 1 mô hình khởi tạo f(x) 1 cách ngẫu nhiên
○ Xây dựng 1 hàm loss function để biểu diễn sự sai khái giữa kết quả thực tế y và đầu ra của
mô hình f(x)
○ Thông qua loss function => update các tham số của mô hình f(x)

10. Tổng quan DL

11. Agenda
1. Giới thiệu về style transfer
2. Tổng quan về Machine learning và Deep learning
3. Sử dụng convolution:
1. Giới thiệu về convolution
2. Convolution style transfer
4. Sử dụng GAN:
1. Giới thiệu về GAN
2. Giới thiệu về Cycle GAN
5. Demo

12. Convolution (1)

13. Convolution (2)

14. Convolution (3)

15. Convolution (4)

16. Agenda
1. Giới thiệu về style transfer
2. Tổng quan về Machine learning và Deep learning
3. Sử dụng convolution:
1. Giới thiệu về convolution
2. Convolution style transfer
4. Sử dụng GAN:
1. Giới thiệu về GAN
2. Giới thiệu về Cycle GAN
5. Demo

17. Style transfer example

18. Style transfer overview

19. Content representation

20. Content loss

21. Style loss - GRAM matrix

22. Style representation

23. Total loss

24. Agenda
1. Giới thiệu về style transfer
2. Tổng quan về Machine learning và Deep learning
3. Sử dụng convolution:
1. Giới thiệu về convolution
2. Convolution style transfer
4. Sử dụng GAN:
1. Giới thiệu về GAN
2. Giới thiệu về Cycle GAN
5. Demo

25. GAN ( Generative adversarial network )
Trò chơi cảnh sát - người làm tiền giả :
● Người làm tiền giả không hề biết cách để tạo ra tiền thật, họ chỉ cố gắng mô
phỏng lại tiền
● Cảnh sát có nhiệm vụ phát biệt tiền giả - tiền thật
● Người làm tiền giả cố gắng lừa cảnh sát rằng tiền mình tạo ra là thật
● Dựa trên việc tiền giả có bị phát hiện hay không, người làm tiền giả sẽ cải
tiến phương pháp
● Tiền giả ngày càng tinh vi => cảnh sát cải tiền phương pháp phát hiện
● 2 bên cạnh tranh => tiền giả ngày càng giống tiền thật

26. GAN
● GAN mô phỏng lại trò chơi này bằng 2 neural network :
○ Người làm tiền giả : Generator : sinh ra những dự liệu
giống thực tế nhất có thể
○ Cảnh sát : Discriminator : phát hiện đó là dữ liệu thực tế
hay dữ liệu do Generator sinh ra

27. Train GAN : Discriminator
● Generator được khởi tạo một cách ngẫu nhiên
● Sinh ra 1 vài fake data từ generator
● Tạo 1 dataset :
○ Fake data có label là 0,
○ Real data có label là 1
● Train discriminator => cập nhật discriminator

28. Train GAN : Generator
● Freeze discriminative model
● Sinh ra fake data từ generator model
● Đánh tất cả các fake data có label = 1
● Train generator model dựa trên
phản hồi của discriminative model

29. GAN Pseudocode

30. DCGAN : MNIST
Discriminator Generator

31. DCGAN : MNIST : kết quả

32. Agenda
1. Giới thiệu về style transfer
2. Tổng quan về Machine learning và Deep learning
3. Sử dụng convolution:
1. Giới thiệu về convolution
2. Convolution style transfer
4. Sử dụng GAN:
1. Giới thiệu về GAN
2. Giới thiệu về Cycle GAN
5. Demo

33. Unpaired/Paired dataset
● Unpaired:
○ Disco GAN
○ Cycle GAN
● Paired:
○ Pix2pix ( conditional GAN )

34. Cycle GAN

35. Cycle GAN : kiến trúc

36. Cycle GAN : Generator

37. Cycle GAN : Generator : Transformation

38. Cycle GAN : Discriminator

39. Cycle GAN : Discriminator : Loss function
● Chúng ta vẫn sử dụng loss function tương tự như GAN.

40. Cycle GAN : Generator: Loss function
● Generator loss bao gồm 2 phần :
○ Discriminator loss : tương tự như GAN
○ Cycle loss :

41. Cycle GAN Pseudocode

42. Agenda
1. Giới thiệu về style transfer
2. Tổng quan về Machine learning và Deep learning
3. Sử dụng convolution:
1. Giới thiệu về convolution
2. Convolution style transfer
4. Sử dụng GAN:
1. Giới thiệu về GAN
2. Giới thiệu về Cycle GAN
5. Demo