Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Deep Learning for AI (1)

'18 SNUH Coursework

  • Login to see the comments

Deep Learning for AI (1)

  1. 1. 2018. 04. 12. 인공지능을 위한 딥러닝 프로그래밍 Machine Learning 의용전자연구실 박사과정 이동헌
  2. 2. Week3 Machine Learning (18. 04. 12. 13:00-17:00) Week4 Deep Learning (18. 05. 03. 13:00-17:00) Week5 AI in Medicine (18. 05. 10. 13:00-17:00) • Introduction to AI • Machine Learning Overview • Image Classification Pipeline • Loss functions and Optimization • Neural Network and Backpropagation • Training Neural Networks • Convolutional Neural Networks (CNNs) • CNNs Models • Applications of CNNs • Recurrent Neural Networks (RNNs) • Deep Learning in Practice • Applications in Medicine
  3. 3.  Introduction to AI  Machine Learning Overview  Image Classification Pipeline  Loss functions and Optimization
  4. 4. 출처: 구글 이미지
  5. 5. 7
  6. 6. LeNet 1998년
  7. 7. Since 2006년
  8. 8. • 스탠포드대학과 구글이 16,000개의 컴퓨터 프로세스와 10억개 이상의 뉴럴네트워크 를 이용해서 유튜브 내 천만개 비디오 중에서 고양이를 인식. • 학습데이터가 없은 비지도학습(즉 컴퓨터에게 “이러한 이미지는 고양이다”라고 가르쳐주지 않음). • 그 결과 인간의 얼굴은 81.7%, 인간의 몸 76.7%, 고양이는 74.8%의 정확도로 인식함. 2012년 6월
  9. 9. http://image-net.org/
  10. 10. NAVER speech recognition 20% 개선 100% 10% 4% 1% 1990 2000 2010 Using Deep Learning According to Microsoft’s speech group: GMM WorderrorrateonSwitchboard Speech Recognition (Acoustic Modeling)
  11. 11. 17 • 공개 소프트웨어 (AI) • 공개 데이터 • 공개 논문 • 공개 경진대회 • 공동 프로젝트 • Open AI Promotion Community AI 기술 진보는 어떻게 오는가?
  12. 12. 18
  13. 13. 20 “인공지능이 가장 중요한 세상(AI-first world)에서 우리는 모든 제품을 다시 생각하고 있다. (we are rethinking all our products)” 순다르 피차이(구글 최고경영자) 2017.05.18
  14. 14. 21
  15. 15. 22
  16. 16. 23 AI in Healthcare 출처: 구글 이미지
  17. 17. 24
  18. 18. 25
  19. 19. 병원명 AI 시스템 개발 내용 Lunit과 Chest X-ray 폐암 조기진단 시스템 개발 협력 OBS Korea와 치과용 인공지능 시스템 개발 협력 AI 벤처기업과 심혈관 질환 조기 진단 시스템 개발 협력 VUNO와 폐암 CT 영상 분석 시스템 개발 협력 삼성 메디슨과 초음파를 이용한 유방암 조기 진단 시스템 개발 협력 인공지능 암 치료 개발 사업 추진 예정 암 진단을 위한 IBM Watson 도입 지능형 의료 안내 로봇 개발 국내 주요 병원 AI 기술 개발 현황 (2017년 기준)
  20. 20. 서울의대 예과 ‘의학 입문’ 수업 중 (2017년 11월)
  21. 21. 대한영상의학회 춘계학술대회 설문조사 결과 (2017년)
  22. 22. 대한영상의학회 춘계학술대회 설문조사 결과 (2017년)
  23. 23. AI will replace radiologists?
  24. 24. 의사의 탈숙련화(Deskilling)?
  25. 25. Reason 1. Humans will always maintain ultimate responsibility. Reason 2. Radiologists don’t just look at images. Reason 3. Productivity gains will drive demand. Why AI will not replace radiologists? Doctors? Doctors
  26. 26. 34
  27. 27. 35 우승팀의 딥러닝 모델 개요 (Andrew back, Harvard Univ.)
  28. 28. 36 https://www.snuh.org/main.do
  29. 29. 37 출처: 구글 이미지
  30. 30. Artificial Intelligence Machine Learning ANN PCA SVM Decision Tree Deep Learn- ing
  31. 31. 39 Q. What is learning? • 인간이 연속된 경험을 통해 배워가는 일련의 과정 - David Kolb • 기억(Memorization)하고 적응(Adaptation)하고, 이를 일반화(Generalization)하는 것 Q. Why machines need to learn? • 모든 것을 프로그래밍 할 수 없다. • 모든 상황을 커버할 수 있는 룰을 만드는 것은 불가능하다. • 알고리즘으로 정의하기 어려운 일들이 있다.
  32. 32. 40
  33. 33. 41
  34. 34. 42 머신러닝 과정 1. 데이터 수집 및 전처리 2. 특징 선택 및 추출 3. 알고리즘 선택 4. 학습 5. 평가
  35. 35. 43 Task : Classification 농어 연어
  36. 36. https://www.pinterest.co.uk/pin/53832158029479772/
  37. 37. https://www.pinterest.co.uk/pin/53832158029479772/
  38. 38. 1.데이터 수집 및 전처리 2.특징 선택 및 추출 3.알고리즘 선택 4.학습 5.평가 1.데이터 수집 및 전처리 2.특징 선택 및 추출 3.알고리즘 선택 4.학습 5.평가
  39. 39. 1.데이터 수집 및 전처리 2.특징 선택 및 추출 3.알고리즘 선택 4.학습 5.평가 1.데이터 수집 및 전처리 2.특징 선택 및 추출 3.알고리즘 선택 4.학습 5.평가
  40. 40. 48 1. 데이터 수집 및 전처리 출처: 구글 이미지
  41. 41. 49 1. 데이터 수집 및 전처리 출처: 구글 이미지
  42. 42. 1.데이터 수집 및 전처리 2.특징 선택 및 추출 3.알고리즘 선택 4.학습 5.평가 1.데이터 수집 및 전처리 2.특징 선택 및 추출 3.알고리즘 선택 4.학습 5.평가
  43. 43. 1.데이터 수집 및 전처리 2.특징 선택 및 추출 3.알고리즘 선택 4.학습 5.평가 1.데이터 수집 및 전처리 2.특징 선택 및 추출 3.알고리즘 선택 4.학습 5.평가
  44. 44. 52 2. 특징 선택 및 추출
  45. 45. 53 2. 특징 선택 및 추출 • 특징(Feature) 종류? • 특징(Feature) 갯수? Length Lightness Width Number and shape of fins Position of the mouth … 생선의 특징 =
  46. 46. 54 2. 특징 선택 및 추출 ’길이’ 특징
  47. 47. 55 2. 특징 선택 및 추출 ’밝기’ 특징
  48. 48. 56 2. 특징 선택 및 추출 ’길이 & 밝기’ 특징
  49. 49. 57 • 전 세계 주요 국가의 100만명 당 연간 초콜릿 소비량과 노벨상 수상자 수와의 상 관관계 분석에 대한 결과를 발표 (NEJM, 2012). • 그 결과는 매우 강한 상관관계가 있음 (r=0.791; 통상 상관계수 r값이 0.7 이상이 면 매우 강한 상관관계를 나타냄). • 이 상관계수는 노벨위원회가 있는 스웨덴을 제외할 경우 0.862로 더 높아짐. 2. 특징 선택 및 추출 - 종류
  50. 50. 출처: 구글 이미지
  51. 51. 59 2. 특징 선택 및 추출 - 크기 e.g. • BMI = 키, 몸무게 (2D) • 건강상태 = 혈압, 나이, BMI (5D)
  52. 52. 60 2. 특징 선택 및 추출 • More features often makes better performance. • Too many features often causes poor generalization capability. → ‘Curse of Dimensionality’
  53. 53. 1.데이터 수집 및 전처리 2.특징 선택 및 추출 3.알고리즘 선택 4.학습 5.평가 1.데이터 수집 및 전처리 2.특징 선택 및 추출 3.알고리즘 선택 4.학습 5.평가
  54. 54. 1.데이터 수집 및 전처리 2.특징 선택 및 추출 3.알고리즘 선택 4.학습 5.평가 1.데이터 수집 및 전처리 2.특징 선택 및 추출 3.알고리즘 선택 4.학습 5.평가
  55. 55. 63 3. 알고리즘 선택
  56. 56. Classification3. 알고리즘 선택
  57. 57. Regression 3. 알고리즘 선택
  58. 58. 1.데이터 수집 및 전처리 2.특징 선택 및 추출 3.알고리즘 선택 4.학습 5.평가 1.데이터 수집 및 전처리 2.특징 선택 및 추출 3.알고리즘 선택 4.학습 5.평가
  59. 59. 1.데이터 수집 및 전처리 2.특징 선택 및 추출 3.알고리즘 선택 4.학습 5.평가 1.데이터 수집 및 전처리 2.특징 선택 및 추출 3.알고리즘 선택 4.학습 5.평가
  60. 60. Continuous value Categorical value (Binary, One-hot) e.g. Least Square Method e.g. Cross-entropy  Cost function (a.k.a Loss function) • 학습의 기준이 되는 함수를 정의 • Cost function이 최소화하는 방향으로 학습을 진행 (파라미터 변경) 4. 학습
  61. 61. 4. 학습  Hyperparameters (모델 학습을 위한 파라미터) • Learning rate • Regularization constant • Loss function • Weight Initialization strategy • Number of epochs • Batch size • (Number of layers) • (Nodes in hidden layer) • (Activation functions) …
  62. 62.  Optimization (파라미터 최적화) 4. 학습
  63. 63. 71 4. 학습
  64. 64. 72 Regressor Regression Regressor 4. 학습
  65. 65. 73 4. 학습 일반화 능력 훈련에 참여하지 않은 데이터에도 좋은 성능을 보임
  66. 66. 4. 학습  Bias: 학습한 모델과 Real World 모델과의 불일치 정도 → Bias를 줄이는 방법: 더 복잡한 모델을 선택  Variance: 학습한 모델에 대해서 데이터셋이 바뀔 때 성능의 변화량 → Variance를 줄이는 방법: 더 많은 데이터를 수집
  67. 67. 75 4. 학습  Regularization • Weight Decaying • Dropout  Cross-Validation • Leave-one-out • K-fold
  68. 68. 76 Weight Decaying4. 학습 Model:
  69. 69. 77 Weight Decaying4. 학습 Model: Cost function:
  70. 70. 78 Weight Decaying4. 학습 Model: Cost function: Cost function(일반식):
  71. 71. 79 Weight Decaying4. 학습 Cost function(일반식):
  72. 72. 4. 학습 Cross-Validation
  73. 73. Cross-Validation 4. 학습
  74. 74. 1.데이터 수집 및 전처리 2.특징 선택 및 추출 3.알고리즘 선택 4.학습 5.평가
  75. 75. 1.데이터 수집 및 전처리 2.특징 선택 및 추출 3.알고리즘 선택 4.학습 5.평가 1.데이터 수집 및 전처리 2.특징 선택 및 추출 3.알고리즘 선택 4.학습 5.평가
  76. 76. 84 5. 평가 • Trained Model 을 Test dataset에 적용 Confusion Matrix • Accuracy = (TP + TN) / (TP + TN + FP + FN) • Sensitivity = TP / (FN + TP) • Specificity = TN / (TN + FP) • False positive rate = FP / (TN + FP) • Precision = TP / (TP + FP)
  77. 77. 85 5. 평가 Receiver Operating Characteristic (ROC) Curve
  78. 78. 88
  79. 79. 89
  80. 80. Challenges in Visual Recognition
  81. 81. 91
  82. 82. 92
  83. 83. 93
  84. 84. • K = 3 ? • K = 5 ?
  85. 85. x
  86. 86. 1. 데이터 수집 및 전처리 • CIFAR-10 2. 특징 선택 및 추출 • 원본 이미지 그대로 3. 알고리즘 선택 • NN Classifier • K-NN Classifier Summary 4. 학습 • Cross Validation 5. 평가 • N/A
  87. 87. Loss functions
  88. 88. Loss functions
  89. 89. Loss functions
  90. 90. Loss functions
  91. 91. Loss functions
  92. 92. Loss functions
  93. 93. Loss functions
  94. 94. Loss functions
  95. 95. Loss functions
  96. 96. Loss functions
  97. 97. Loss functions
  98. 98. Optimization Strategy #1: Random Search
  99. 99. Optimization
  100. 100. Optimization Strategy #2: Follow the slope In 1-dimension, In multi-dimension, gradient is the vector of (partial derivatives)
  101. 101. Optimization
  102. 102. Optimization
  103. 103. Optimization
  104. 104. Optimization
  105. 105. Optimization
  106. 106. Optimization
  107. 107. Optimization
  108. 108. Optimization
  109. 109. Optimization
  110. 110. Optimization
  111. 111. Optimization
  112. 112. Optimization
  113. 113. 1. 데이터 수집 및 전처리 • CIFAR-10 2. 특징 선택 및 추출 • 원본 이미지 그대로 3. 알고리즘 선택 • NN Classifier • K-NN Classifier • Linear Classifier Summary 4. 학습 • Cross Validation • Loss Function • Optimization  Gradient Descent  Mini-batch Gradient Descent 5. 평가 • N/A
  114. 114. Feature Engineering
  115. 115. 1. (p6) NVIDIA, “What’s the Difference Between Artificial Intelligence, Machine Learning, and Deep Learning?”, https://blogs.nvidia.com/blog/2016/07/29/whats-difference-artificial-intelligence-machine-learning-deep-learning-ai/ 2. (p8, p15, p18) Andrew L. Beam, machine learning and medicine, Deep Learning 101 - Part 1: History and Background, https://beamandrew.github.io/deeplearning/2017/02/23/deep_learning_101_part1.html 3. (p9) Yann’s Homepage, http://yann.lecun.com/exdb/lenet/ 4. (p11) The New York Times, “How Many Computers to Identify a Cat? 16,000”, https://www.nytimes.com/2012/06/26/technology/in-a-big-network-of-computers-evidence-of-machine- learning.html?_r=1&amp 5. (p12-14, p34-36, p87-110, p112-145, p149) Standford, CS231n, http://cs231n.stanford.edu/ 6. (p16) Machine Learning Tutorial 2015 (NAVER) 7. (p17) AIRI 400, “인공지능의 개요, 가치, 그리고 한계” (김진형 박사) 8. (p19) CBINSIGHTS, “From Virtual Nurses To Drug Discovery: 106 Artificial Intelligence Startups In Healthcare”, https://www.cbinsights.com/research/artificial-intelligence-startups-healthcare/ 9. (p20) NEWSIS 기사, 구글 CEO "AI시대 맞춰 모든 제품 다시 생각 중“, http://www.newsis.com/view/?id=NISX20170518_0014902945 10. (p21)Analytic Indai, “Infographic- Artificial Narrow Intelligence Vs. Artificial General Intelligence”, https://analyticsindiamag.com/artificial-narrow-vs-artificial-general/
  116. 116. 11. (p22) WEF expert panel interviews, press release, company website: A.T Kearney analysis 12. (p24) Machine Learning for Healthcare, MIT. Spring 2017, https://mlhc17mit.github.io/ 13. (p25) Medium, AI in Healthcare: Industry Landscape, https://techburst.io/ai-in-healthcare-industry-landscape- c433829b320c 14. (p27) 최윤섭의 Healthcare Innovation, “인공지능의 시대, 의사의 새로운 역할은”, http://www.yoonsupchoi.com/2018/01/03/ai-medicine-12/ 15. (p28-29) 최윤섭의 Healthcare Innovation, “인공지능은 의사를 대체하는가”, http://www.yoonsupchoi.com/2017/11/10/ai-medicine-9/ 16. (p30) Eric Topol Twitter, https://twitter.com/erictopol/status/931906798432350208 17. (p31) 동아일보, http://dimg.donga.com/wps/NEWS/IMAGE/2017/06/19/84945511.1.edit.jpg 18. (p32) 최윤섭의 Healthcare Innovation, “인공지능의 시대, 의사는 무엇으로 사는가”, http://www.yoonsupchoi.com/2017/12/29/ai-medicine-11/ 19. (p33) Medium, “Why AI will not replace radiologists” https://towardsdatascience.com/why-ai-will-not-replace- radiologists-c7736f2c7d80 20. (p39, p70, p148) AIRI 400, “Machine Learning 기초” (이광희 박사) 21. (p40) ciokorea 인터뷰, “데이빗 마이어에게 듣는 머신러닝과 네트워크와 보안”, http://www.ciokorea.com/news/34370 22. (p41) Data Science Central, https://www.datasciencecentral.com/profiles/blogs/types-of-machine-learning-algorithms- in-one-picture 23. (p42, p71-72) 모두의 연구소, “기계학습/머신러닝 기초”, http://www.whydsp.org/237
  117. 117. 24. (p43, p52, p54-56, p73) AIRI 400, 패턴인식-기계학습의 원리, 능력과 한계 (김진형 박사) 25. (p44-45) Pinterest, https://www.pinterest.co.uk/pin/53832158029479772/ 26. (p53) BRILLIANT, Feature Vector, https://brilliant.org/wiki/feature-vector/ 27. (p57) The NEJM, “Chocolate Consumption, Cognitive Function, and Nobel Laureates”, http://www.nejm.org/doi/pdf/10.1056/NEJMon1211064 28. (p59) tSL, the Science Life, “빅데이터: 큰 용량의 역습 – 차원의 저주”, http://thesciencelife.com/archives/1001 29. (p60) Random Musings’ blog, https://dmm613.wordpress.com/author/dmm613/ 30. (p63) Steemit, “A Tour of Machine Learning Algorithms”, https://steemit.com/science/@techforn10/a-tour-of-machine- learning-algorithms 31. (p64) • Deep Thoughts, “Demystifying deep”, https://devashishshankar.wordpress.com/2015/11/13/demystifying-deep- neural-networks/ • Brian Dolhansky, “Artificial Neural Networks: Linear Multiclass Classification (part3)”, http://briandolhansky.com/blog/2013/9/23/artificial-neural-nets-linear-multiclass-part-3 • Statistical Pattern Recognition Toolbox for Matlab, “Examples: Statistical Pattern Recognition Toolbox”, https://cmp.felk.cvut.cz/cmp/software/stprtool/examples.html#knnclass_example 32. (p65) Xu Cui’s blog, SVM regression with libsvm, http://www.alivelearn.net/?p=1083 33. (p70) • Sanghyukchun’s blog, Machine Learning 스터디 (7) Convex Optimization, http://sanghyukchun.github.io/63/ • Coursera, Machine Learning (Standford), https://ko.coursera.org/learn/machine-learning
  118. 118. 34. (p74) R,Pyrhon 분석과 프로그래밍(by R Friend), [R 기계학습] 과적합(Over-fitting), Bias-Variance Trade-off (Delimma), http://rfriend.tistory.com/189 35. (p76-79) 2nd Summer School on Deep Learning for Computer Vision Barcelona, https://www.slideshare.net/xavigiro/training-deep-networks-d1l5-2017-upc-deep-learning-for-computer-vision 36. (p80-81) Medium, “Train/Test Split and Cross Validation in Python”, https://towardsdatascience.com/train-test-split- and-cross-validation-in-python-80b61beca4b6 37. (p84-85) Ritchie Ng’s blog, “Evaluating a Classification Model”, https://www.ritchieng.com/machine-learning-evaluate- classification-model/ 38. (p86) “Getting Started with TensorFlow(2016), Giancarlo Zaccone, Packt” 39. (p103) WIKIPEDIA, “k-nearest neighbors algorithm”, https://ko.wikipedia.org/wiki/K%EC%B5%9C%EA%B7%BC%EC%A0%91_%EC%9D%B4%EC%9B%83_%EC%95%8C%EA%B 3%A0%EB%A6%AC%EC%A6%98 40. (p146) Deniz Yuret’s Homepage, “Alec Radford's animations for optimization algorithms”, http://www.denizyuret.com/2015/03/alec-radfords-animations-for.html

×