현재 중국의 온라인 패션 쇼핑 시장 규모는 급성장 중입니다. 이에 따라 국내 업체들이 중국 시장으로 많이 진출하지만, 국내와 다른 온라인 환경(제품의 B컷 사진 필요)으로 어려움을 겪고 있습니다. 본 세션에서는 이를 해결하기 위해 제품에 대한 B컷 사진 자동 생성에 대한 개발 사례를 공유하고자 합니다. 딥러닝을 이용하여 많은 제품 사진들로부터 어떻게 자동으로 B컷을 생성하는지에 대한 과정을 이해하기 쉽게 설명합니다. 목차 1. 개발 배경 2. 국내 쇼핑몰의 현실과 요구사항 3. 딥러닝으로 해결 대상 - 딥러닝에 관심 있는 모든 개발자 - 딥러닝을 어떻게 활용하는지 궁금한 개발자

1. © 2018 NHN FORWARD. All rights reserved.
딥러닝을 이용한 패션 쇼핑몰 솔루션
조명훈
멀티미디어분석팀

2. CONTENTS
1. 개발 배경
2. 국내 쇼핑몰의 현실과 요구 사항
3. 딥러닝으로 해결

3. 개발 배경

4. 4 / 51
한국/중국 온라인 패션 시장 규모 비교
2012 2013 2014 2015 2016
한국 중국
37조2623억 38조6400억 39조7741억 41조4676억 43조1807
억
50조200억
71조3236억
100조9092억
122조2948억
153조2252억
[자료 출처 : https://www.fashionseoul.com/132724, https://www.fi.co.kr]

5. 5 / 51
중국 내 한류 패션 온라인샵 - 한두이서(韓都衣舍)
회원 수
5,000만 명
하루
구매 고객
100만 명
2016 광군제
하루 매출
615억 원
하루
방문자 수
500만 명
[출처 : https:// http://www.koreafashion.org/info/info_content_view.asp?flag=2&cataIdx=803&boardId=story&clientIdx=1230&num=1170]
4.92 19.68
142.68
459.2
918.4
1640
2574.8
0
500
1000
1500
2000
2500
3000
2008 2009 2010 2011 2012 2013 2014
한두이서 매출 ( 단위: 억원 )

6. 6 / 51
쇼핑몰 용어 설명
A 컷 B 컷 착샷 바닥샷

7. 7 / 51
제품 대표 사진
매우 많은 모델 사진들
+
착샷/바닥샷
+
제품 안내
한국/중국 온라인 쇼핑 패션 상품 사진 구성 비교
제품 대표 사진
+
B 컷 사진
제품 안내

8. 8 / 51
한국 쇼핑몰 상품 사진 구성
[자료 출처 : https://www.thejamy.com]

9. 9 / 51
외국 쇼핑몰 - 타오바오
[자료 출처 : https://www.taobao.com]

10. 10 / 51
외국 쇼핑몰 - 아마존
[자료 출처 : https://www.amazon.com]

11. 11 / 51
제품 대표 사진
매우 많은 모델 사진들
+
착샷/바닥샷
+
제품 안내
국내 쇼핑몰 업체의 중국 진출 시 필요 작업
제품 대표 사진
+
B 컷 사진
제품 안내

12. 국내 쇼핑몰의 현실과 요구 사항

13. 13 / 51
쇼핑몰 업체의 현실 1/2
사진들 확인
대표 사진
선정
제품에 따른
상품 영역
crop
제품 B컷
생성

14. 14 / 51
쇼핑몰 업체의 현실 2/2
[자료 출처 : https://www.accommate.com]

15. 15 / 51
쇼핑몰 업체의 요구사항 1/2
제품 사진들
자동으로 대표
이미지 선정 및
상품 영역 crop
제품의 B컷
생성

16. 16 / 51
쇼핑몰 업체의 요구사항 2/2
[자료 출처 : https://www.thejamy.com]

17. 17 / 51
쇼핑몰 B 컷 - 니트
[자료 출처 : https://www.accommate.com]

18. 18 / 51
쇼핑몰 B 컷 - 스커트
[자료 출처 : https://www.accommate.com]

19. 19 / 51
어떻게 자동으로 ?
[자료 출처 : https://www.accommate.com]

20. 20 / 51
딥러닝을 이용해보자
[출처 : https://hackernoon.com/deep-learning-resources-e32bd081e84d]

21. 딥러닝으로 해결

22. 22 / 51
신경 세포와 퍼셉트론
신경 세포 퍼셉트론
[출처 : https://m.blog.naver.com/PostView.nhn?blogId=samsjang&logNo=220948258166&proxyReferer=https%3A%2F%2Fwww.google.co.kr%2F]

23. 23 / 51
딥러닝이란?
[출처 : http://nlcollection.nl.go.kr/front/detail/detail.do?rec_key=CO0000233819&category_id=CA0000000017]

24. 24 / 51
딥러닝 효과
[출처 : http://sqlml.azurewebsites.net/2017/09/12/convolutional-neural-network]

25. 25 / 51
딥러닝을 활용한 인식기들
[출처 : http://cs231n.stanford.edu]

26. 26 / 51
Pose Detector
사람의 주요 key point를 검출
[출처 : https://github.com/CMU-Perceptual-Computing-Lab/openpose]

27. 27 / 51
Pose Detector를 어떻게 활용할까 ?
[자료 출처 : https://www.accommate.com]

28. 28 / 51
key point 형태
서있는 포즈 다른 포즈 후면 포즈 클로즈업

29. 29 / 51
Pose Detector 활용 1/2
[자료 출처 : https://www.accommate.com]

30. 30 / 51
Pose Detector 활용 2/2
[자료 출처 : https://www.accommate.com]

31. 31 / 51
key point를 통한 자세 분류
사진
Pose
Detector
자세 분류 B컷 선택
서 있는 포즈 다른 포즈 후면 포즈 클로즈업

32. 32 / 51
착샷/바닥샷은 어떻게 ?
[자료 출처 : https://www.accommate.com]

33. 33 / 51
일반샷과 착샷/바닥샷
[자료 출처 : https://www.accommate.com]

34. 34 / 51
간단한 착샷/바닥샷 인식 시도
사진
모델
포함
테두리
영역
착샷/바닥샷
일반샷 착샷/바닥샷
[자료 출처 : https://www.accommate.com]

35. 35 / 51
문제점 1/2
아래쪽에 봉이 ? 테두리 4면 -> 테두리 3면
[자료 출처 : https://www.accommate.com]

36. 36 / 51
문제점 2/2
어두운 배경
여백 없이 꽉 찬 제품샷
[자료 출처 : https://www.accommate.com]

37. 37 / 51
착샷/바닥샷 인식도 딥러닝으로
딥러닝
착샷/바닥샷 사진들
디테일샷 사진들
일반 사진들
[출처 : http://uc-r.github.io/feedforward_DNN]

38. 38 / 51
착샷/바닥샷 인식기를 위한 훈련 데이터
착샷/바닥샷 디테일샷 일반샷
[자료 출처 : https://www.accommate.com]

39. 39 / 51
착샷/바닥샷 인식기 훈련
사진들
착샷/바닥샷
인식기

40. 40 / 51
착샷/바닥샷 인식기 훈련 데이터 추가
착샷 디테일샷 일반
정밀도
(precision)
2K 1K 1K 89.77%
3.8K 4K 2K 92.60%
3.8K 7.4K 2K 93.64%
3.8K 7.4K 4K 94.33%
3.8K 7.4K 7.4K 94.95%

41. 41 / 51
착샷/바닥샷 인식기
착샷/바닥샷
디테일샷
일반샷
사진
착샷/바닥샷
인식기

42. 42 / 51
쇼핑몰 B컷 생성 전체 구조
사진
Pose
Detector
자세 분류 B컷 선택
제품샷
선택
제품샷
인식기
key
point
확인
착샷/바닥샷
디테일샷
클로즈업
기타
서 있는 포즈
다른 포즈
후면 포즈
B컷 영역
설정
제품 정보
서 있는 포즈 다른 포즈 후면 포즈 클로즈업
비공개 페이지입니다.

43. 43 / 51
B컷 비교(쇼핑몰 vs 딥러닝 )

44. 44 / 51
쇼핑몰을 위한 상품별 B컷 생성 결과
[자료 출처 : https://www.accommate.com]

45. 45 / 51
Summary
사진들
확인
대표 사진
선정
제품에
따른 상품
영역 crop
제품 B컷
생성

46. 46 / 51
Summary
사진들
확인
대표 사진
선정
제품에
따른 상품
영역 crop
제품 B컷
생성
자동으로
대표 이미지
선정 및 상품
영역 crop

47. 47 / 51
자세 분류도 딥러닝으로 ?
딥러닝
방식으로
서 있는 포즈 다른 포즈 후면 포즈 클로즈업
사진
Pose
Detector
자세 분류 B컷 선택
규칙 기반 분류

48. 48 / 51
데이터를 모아서 훈련시켜보자
딥러닝
서 있는 포즈 다른 포즈
후면 포즈 클로즈업
[출처 : http://uc-r.github.io/feedforward_DNN]

49. 49 / 51
추가 - 딥러닝을 이용한 쇼핑몰 이미지 검색
query detect results
[자료 출처 : https://www.fashiongo.com]

50. © 2018 NHN FORWARD. All rights reserved.
Q&A

51. © 2018 NHN FORWARD. All rights reserved.
THANK YOU