ujava.org workshop Deep Learning 2015-03-08 장소 : 마소캠퍼스 발표자 : (주)지능도시 대표 강신동

1. Deep Learning
ujava.org Workshop
2015-03-08
www.idosi.com
대표 강신동
(주)지능도시

2. ujava.org

3. spaceapi.org

4. 산업혁명 증기기관
1698년 영국 T.세이버리
증기 응축 펌프 특허 획득
1712년 T.뉴커먼
탄광 지하수 배수를 위해
실린더 내로 증기 피스톤 상승
냉각에 의한 대기압 증기기관
1769년 J.와트
왕복 증기기관, 회전운동

5. Work , Heat

6. 열역학 제2법칙 : 엔트로피 Entropy
1862년 독일 물리학자 Clausius
S = Q/T
1865년 Clausius가 재정의
dS = dQ / T

7. 리처드 패랠만 : 푸앙카레 추측
세계 7대 수학 난제
필즈상, 100만 달러 상금
우주의 원리 탐구
열역학

8. 엔탈피 Enthalpy
H = E + PV
DH = DE + D(PV)
DH = DE + PDV + VDP
일정 부피, 외부 일이 없으면
DH = Q + VDP

9. Gibbs Free Energy
미국 물리학자 Gibbs가 제안
G = H – TS
G : Gibbs Free Energy
H : Enthalpy
T : Kelvin Temperature
S : Entropy
표준상태(25도C, 1기압, 일정한 온도와 압력,
SATP(Standard Ambient Temperature and Pressure))
에서 화학반응의 방향을 알 수 있다.
전체계의 엔트로피를 살필 필요가 없이
대상계만 살펴서도 반응의 자발성을 알 수 있다.

10. 볼쯔만 Boltzmann
오스트리아
분자 레벨의 통계 역학적 의미 부여
분자 레벨의 Entropy 정의
가장 중요한 과학적 업적은 기체의 분자 속도에 관한
맥스웰-볼츠만 분포를 포함한 기체분자운동론
볼쯔만 분배 법칙
슈테판-볼츠만 공식을 유도해냈다. 흑체의 단위표면적에서 방출되는
모든 파장의 빛에너지의 총합이 흑체의 절대온도에 4제곱에 비례한다는 법칙
S = k log W
볼츠만 상수 k는 기체 상수 R와 아보가드로 상수 N_a의 비이다.
k = R/N_a 1.380 6504(24)×10^(−23) J/ K

11. Markov Chain

12. Bayesian Probability

13. Monty Hall Problem
A B C

14. Bayesian Probability for Monty Hall Problem
A지목 (이전상태)
B 열었음 (변화행동)
C에 차가 있을 확률
P(C|B) = P(B|C) P(C) / P(B)
P(C) = 1/3 (문을 열기 전) [1/2 (문을 연 후라면?)]
P(B) = 1/2 (문을 여는 행동의 확률)
P(B|C) = 1 (A를 지목한 후)
P(C|B) = 2/3 (행동후)

15. Monty Hall Solution

16. Multilayer Perceptron

17. 퍼셉트론 Perceptron

18. Neuroph (Java Neural Network Framework)
http://neuroph.sourceforge.net

19. Neural Nets of Neuroph

20. Deep Learning of GitHub light library

21. Backpropagation Learning Rule

22. Backpropagation Learning Rule

23. Backpropagation Learning Rule

24. Logistic Regression

25. Multilayer Perceptron Code
Java code and example demo

26. Overfitting

27. 시뮬레이티드 어닐링 Simulated Annealing
Annealing : 담금질

28. Boltzmann Machine
1985년 Geoffrey Hinton and Terry Sejnowski
대규모 병렬처리 이용
홉필드 동작 규칙을 확률적인 동작 규칙으로 확장
홉필드는 에너지를 감소시키는 방향으로 변화시킴.
볼쯔만 머신은 에너지가 증가하는 상태의 전이에
대해서도 작은 확률로나마 허용하는 동작 규칙.
문제 해결을 위한 일반적인 방법 제시
하드웨어적 구현이 쉽다.
지역의 상태를 체크하는 방식은 병렬처리에 유리.
VLSI 배치문제, 순회판매원 문제,
최적화 문제의 근사해 구하기.

29. Boltzmann Machine's Energy and Entropy

30. Restricted Boltzmann Machine
visible
hidden
www.idosi.com
(주)지능도시

31. Boltzmann Machine

32. Restricted Boltzmann Machine

33. RBM Learning : Contrastive Divergence (대조적 분산)
Random 으로 작은 값 (0~0.1)을 weight로 준다.
Input neuron 값 넣고 sigmoid로 hidden 을 계산한다.
이제, Si*Sj 를 기억해 둔다. SiSj_0
hidden에서 weight로 input을 계산한다. (reconstruction)
Si * Sj 를 기억한다. SiSj_1
이러한 과정을 반복한다. 무한대로? 약50번?
SiSj_0, SiSj_50
CD = Average(SiSj_0) – Average(SiSj_50)
W = W + alpha * CD
Error = (INPUT - Reconstruction)^2

34. Restricted Boltzmann Machine
많은 경우에 효과적임 (몇몇 경우에는 유효하지 않을 수도 있음)

35. Deep Belief Network

36. AutoEncoder

37. Stacked AutoEncoder

38. Deep Belief Network

39. Deep Belief Network : Fine Tune

40. Deep Belief Network

41. Convolutional Neural Network
소용돌이, 대단히 복잡한

42. Convolutional Neural Network
소용돌이, 대단히 복잡한

43. Fully or Locally connected
소용돌이, 대단히 복잡한

44. DL4J : Deep Learning for Java

45. RBM 실제 사례 : MNIST Digit Recognition
Hinton : 70,000개 28 x 28 pixel 크기의 라벨링된 0~9 필기체 숫자
3개의 RBM 분류

46. 문서 분류 : 키워드 2,000개로 벡터 만들어서 분류

47. 상수
원주율 3.14…
자연상수 2.71…

48. 오일러 상수, 자연상수, 네이피어 상수
네이피어 : log 계산법을 도입한 스코틀랜드 수학자 존 네이피어
E = 2.718…
Pi = 3.14…

49. 2.7
x
2.7 x 2.7
2.7 x 2.7 x 2.7
Graph

50. 1 + e
Graph
-x
1

51. 무한 소수점 크기
1 > 0.9999…
시간의 개념?

52. 분수와 무한 소수점
1 > 0.9999…
1/3 = 0.3333…
3 x (1/3) = 3 x 0.3333…
1 = 0.9999…

53. 미분
원인 변화에 대한 종속 변화의 변화비율 구하기. 양이 아니라 단위없는 비율, 돼지 kg
e^(nx) → ne^(nx)
e^(-x) → -e^(-x)

54. 분수 함수의 미분
y =
f(x)
1
y' =
f(x)
-f(x)'
2

55. Sigmoid function 미분

56. neuron

57. Multi input

58. Multi layer neural network

59. Backpropagation Learning Rule

60. Chain Rule
Power Rule

61. Multi input

62. Back-propagation Mathematical Analysis

63. Back-propagation Mathematical Analysis

64. Multi input

65. Multi input

66. 감사합니다.
(주)지능도시
강신동
www.idosi.com
ceo@idosi.com