Deep learning overview

1. 빅데이터 시대의 인공지능
2015.12
문동선

2. Agenda
• A.I.
• Trends
• Machine learning overview
• What’s deep learning?
• Why deep learning?
• Demo
• Future

3. Big Data?? Machine Learning? A.I.?
나도 뭔가 해야하나?

4. big data + machine learning

6. 무인 자동차 시대 임박
• 인공지능에게 내 목숨을 맡길 수 있을까?
• 앞에 많은 사람이 나타난다면?
• 다수를 살리기 위해 주인을 희생하는 운전을?
• 주인을 살리기 위해 다수를 희생하는 운전을?
• 수많은 택시 기사, 트럭 운전사는 백수?

10. Google Trends
Big data
Data
analysis
Machine
learning
Deep
learning

11. Google Trends

14. 왜 big data가 갑자기 이슈일까?
과거에는?

15. 왜 big data가 갑자기 이슈일까?

17. A.I.
Machine Learning
Supervised Unsupervised
Deep
Learning
Expert system
Fuzzy
Bayesian
SVM
PCA
KNN

23. 모라벡의 역설

37. Geoffrey Hinton
• 토론토 대학 교수
• 구글 (2013~, DNNresearch가 합병)
• Backpropagation의 아버지
• RBM으로 pre-training하여
local minimum 문제 해결

38. Andrew Ng
• Stanford 교수
• Baidu - Chief Scientist
• Coursera 창립자
• Google brain project
• google
• 16000 CPU cores

39. Yann Lecun
• 뉴욕대 교수
• 페이스북 AI 연구소
• LeNet의 아버지
• DjVu image Compression
• Lush 언어

40. Yoshua Bengio
• 몬트리올대 교수
• Pylearn2(Lisa lab)
• 대학에 남아서 연구만..
• CIFAR co-director
• 각종 학회지 editor

44. Deep Learning의 성공 요인
• 알고리즘
• Unsupervised learning
• RBM / DBN
• Autoencoder (Stacked/Denoise)
• Dropout
• Sparse encoding
• CNN (LeNet, googLeNet)
• RNN
• HW
• GPGPU
• Big Data
• Google, Facebook, Amazon etc.
• Smart phone

46. Input
Simplest
Features
Complex
Features
Mapping
From Features
Output
Input
Simplest
Features
Mapping
From Features
Output
Input
Hand-designed
Features
Mapping
From Features
Output
Input
Hand-designed
Features
Output
Rule-based system Classic machine learning Representation learning Deep learning

49. Representation Learning

50. Manifolds

54. ALEXNET
• 구글을 멘붕에 빠트린 그것…
• Alex Krizhevsky
• Hinton 교수 제자
• http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-

55. Convolutional Neural Network

57. Image 인식은 CNN

59. GoogLeNet

60. RNN
• 음성인식
• 위성이 지구(궤도/괴도)를 돌고 있다.
• (궤도/괴도) 루팡을 읽었다
• 기계번역
• The town lies on the coat.
• She lies about her age.

61. Transfer Learning

62. Image 인식

63. 바이두 쇼핑 추천

64. Deep face (Facebook)

65. Deep face (Facebook)

66. Image 인식 데모
• http://deeplearning.cs.toronto.edu/

67. MS Skeype
• https://www.youtube.com/watch?v=11LgippzOvU

68. Game AI
• DeepMind tech(구글 2014년 인수)
• https://www.youtube.com/watch?v=V1eYniJ0Rnk
• Mario Demo
• https://www.youtube.com/watch?v=qv6UVOQ0F44

69. 기사 쓰기
• http://www.bloter.net/archives/227482

70. 손글씨 쓰기

71. 코딩도? /*
* Increment the size file of the new incorrect UI_FILTER group information
* of the size generatively.
*/
static int indicate_policy(void)
{
int error;
if (fd == MARN_EPT) {
/*
* The kernel blank will coeld it to userspace.
*/
if (ss->segment < mem_total)
unblock_graph_and_set_blocked();
else
ret = 1;
goto bail;
}
segaddr = in_SB(in.addr);
selector = seg / 16;
setup_works = true;
for (i = 0; i < blocks; i++) {
seq = buf[i++];
bpf = bd->bd.next + i * search;
if (fd) {
current = blocked;
}
}
rw->name = "Getjbbregs";
bprm_self_clearl(&iv->version);
regs->new = blocks[(BPF_STATS << info->historidac)] | PFMR_CLOBATHINC_SECONDS << 12;
return segtable;
}

72. 작곡도?
• https://www.youtube.com/watch?v=0VTI1BBLydE

73. Motion generation

74. 어디까지 왔는가?
• 알아보지만 영혼이 없다…

77. 필요한 준비물은?

80. Tesla K80 (NVIDIA)
• 8.74 Tflops
• 3GFlops with Xeon E5-2630
• 288 GB/s
• 24GB Ram
• 4992 cuda cores
• $4,275(Amozon)

81. GTX TitianX (NVIDIA)
• 7 Tflops
• 336.5 GB/s
• 12GB Ram
• 3072 cuda cores

82. DIGITS DEVBOX
• 4 TitanX GPU (with 12GB/gpu)
• 64GB DDR4
• Ubuntu 14.04
• Caffe, Theano, Torch
• $15,000 (기본사양, usa)

83. Softwares
• TensorFlow
• Python / C++
• https://www.tensorflow.org/
• Pylearn2 / Theano
• python
• http://deeplearning.net/software/pylearn2/
• Caffe
• C++
• http://caffe.berkeleyvision.org/
• Torch7
• jua
• http://torch.ch/
• DL4J
• java
• http://deeplearning4j.org/

87. Big Data
• 보통은 이게 없어서 진입장벽
• 하지만 제일 중요한게 함정
• 공개된 Dataset으로 공부/개발은 가능(MNIST, CIFAR-10 etc.)
• 포탈이 매우 유리
• 고객 동의 없이 학습에 사용하는 것은 불법임에 주의해야함.

88. 우리 나라는…
• 네이버
• 이미지, 음성처리 등에 다양하게 적용중
• http://deview.kr/2014/session?seq=26
• 엔씨소프트
• AI랩에서 게임에 적용중이라던데…
• 클디
• 카이스트 출신 스타트업. ILSVRC 세계 7위.
• http://scope.cldi.io/
• 카이스트 김대식 교수
• 서울대 장벽탄 교수
• https://www.youtube.com/watch?v=v3veAMEwoyU
• 엑소브레인
• 2013~2013년 1070억원
• ETRI, KAIST, Postech 등 26개 연구기관 366명 참여 프로젝트

89. 우리의 미래는?
택배는 드론이…
택시는 자동운전…
콜센터는 딥러닝…
기사작성 딥러닝…
부동산중개 딥러닝…
세일즈 딥러닝…
헬스PT도 딥러닝…
동시통역도 딥러닝…
회계사도 딥러닝…

90. 언젠가 게임 개발 로봇도….

91. 봇, 매크로, 그리고 사람…

92. Game and AI