2. Customer Forever
강사 소개
2
현종열 선임
투이컨설팅 Data Science 팀
빅데이터 보험 레퍼런스 모델
맞춤형 기상기후 빅데이터 서비스 기반구축
데이터 기반 고객여정 분석
스마트 MICE 플랫폼 구축
국가 특허전략 청사진 수립
국민대학교 빅데이터경영MBA 프로젝트 멘토
서울과학종합대학원 금융공학 전공
4. Customer Forever
1. 인공지능 개념
4
지식은 교육, 학습, 숙련 등을 통해 사람이 재활용할 수 있는 정보와 기술 등을 포괄하는 의미입니다.
지능은 도전적인 새로운 과제를 성취하기 위한 사전지식과 경험을 적용할 수 있는 능력입니다.
지성은 지각된 것을 정리하고 통일하여, 이것을 바탕으로 새로운 인식을 낳게 하는 정신 작용을 뜻합니다.
지능과 지성의 차이점은,
지능은 지식과 기술을 활용하는 능력이고
지성은 새로운 인식을 열어가는 능력입니다.
인공지능에서 지능이란 무엇인가?
5. Customer Forever
1. 인공지능 개념
5
과거 수학자와 물리학자들은 기계가 어떻게 하면 인간처럼 생각하고 행동할 수 있을까에 대해서 많은
고민을 했습니다.
어떻게 하면 기계가 인간처럼 학습할 수 있을까?
딥러닝 부흥을 이끈 1세대 과학자 제프리 힌튼(Geoffrey Hinton)
6. Customer Forever
1. 인공지능 개념
6
수학자와 물리학자들은 뇌에 관심을 가지게 되었습니다.
기계가 인간처럼 생각하고 학습하기 위해서는 사람의 뇌와 같은 방식으로 작동하는 기계를 만들고자
했습니다.
뇌 전체의 일반적인 작동 알고리즘을 알아내고, 그것을 통해 기계를 학습시키는 움직임이 일어났습니다.
생물학의 신경망(동물의 중추신경계, 특히 뇌)에서 영감을
얻어서 탄생 된 통계학적 학습 알고리즘이
바로 인공신경망(artificial neural network)입니다.
인공지능의 미래는 뇌에 있다?
7. Customer Forever
1. 인공지능 개념
7
인공신경망의 가장 간단한 구조를 단층 퍼셉트론(Single-layer Perceptron)이라고 합니다.
단층 퍼셉트론에서 모형 구조의 복잡도를 다층으로 변경하면 다층 퍼셉트론(Multi Layer Perceptron or
Multi-layer Feed-forward Artificial Neural Network)이라고 합니다.
입력층과 출력층 사이에 여러 개의 은닉층들로 이뤄진 인공신경망은 딥 뉴럴 네트워크(Deep Neural
Network) 또는 딥러닝(Deep Learning)이라고 부릅니다.
인공신경망과 딥러닝
복잡한 구조의 인공신경망 = 딥러닝
단층 퍼셉트론 다층 퍼셉트론
9. Customer Forever
1. 인공지능 개념
9
2009년부터 2012년 동안 스위스 AI 연구실에서 위르겐 슈밋흠바(Jürgen Schmidhuber)의 연구 그룹이
개발한 재귀 신경망과 심화 피드포워드 신경망은 여덟 번의 패턴 인식과 기계학습 국제 대회에서 우승
하였습니다.
알렉스 그레이브스(Alex Graves et al)의 쌍방향 그리고 다중 차원의 장단기 기억(LSTM)은 2009년의 국제
문서 분석 및 인식 컨퍼런스의 필기 인식 부분에서 학습하게 될 세 가지 언어에 대한 아무런 사전 정보가
주어지지 않았음에도 불구하고 세 번이나 우승하였습니다.
댄 크리슨(Dan Ciresan)과 그 동료들에 의한 빠른 GPU 기반 실행 접근 방법은 IJCNN 2011 교통 표지판 인
식 대회, 신경 구조의 분할의 전자 현미경 대회를 비롯하여 여러 패턴 인식 경연에서 여러 번 우승하였다.
딥러닝의 기록 (1/2)
10. Customer Forever
1. 인공지능 개념
10
1997년 IBM 딥블루(Deep Blue)는 세계 체스 챔피언 게리 카스파로프(Garry Kasparov)를 2승 3무 1패로 승
리하였습니다.
2011년 와슨(Watson)은 일반 상식 퀴즈 프로그램 제퍼디(Jeopardy) 쇼에서 역대 최다 우승자와 최고 상금
수상자를 상대로 우승하였습니다.
2016년에는 딥마인드(DeepMind)의 알파고가 이세돌 9단을 4:1로 승리하였습니다.
딥러닝의 기록 (2/2)
11. Customer Forever
1. 인공지능 개념
11
딥러닝(Deep Learning)은 다양한 머신러닝(Machine Learning)의 알고리즘 중 하나이고, 머신러닝은 인공
지능(Artificial Intelligence)으로 구현하기 위한 알고리즘을 총칭하는 말입니다.
머신러닝
http://www.codesofinterest.com/2016/11/difference-artificial-intelligence-machine-learning-deep-learning.html
12. Customer Forever
1. 인공지능 개념
12
1. 지도학습(Supervised Learning)
사람이 교사로써 각각의 입력에 대해 정답을 달아놓은
데이터를 컴퓨터에 주면 컴퓨터가 그것을 학습하는 것을 뜻합니다.
2. 비지도학습(Unsupervised Learning)
사람 없이 컴퓨터가 스스로 레이블 되어 있지 않은 데이터에 대한 학습,
즉 정답없이 입력만 이용해서 학습하는 것을 뜻합니다.
머신러닝의 분류
X1 X2 X3 Xp…
F(X)
Y Y
그룹1 그룹2
그룹3
13. Customer Forever
1. 인공지능 개념
13
과거에는 기계가 인간보다 계산을 잘 했는데…
오늘날에는 기계가 인간보다 게임을 잘하게 되었습니다.
조만 간에는 기계가 인간보다 운전도 잘할 수 있다고 합니다.
기계가 인간보다 잘하는 것
17. Customer Forever
인공신경망 소개
생물학의 뇌는 신경세포(neuron)와 신경세포를 연결하는 시냅스(synapse)를 통해서 신호를 주고 받음
으로써 정보를 저장하고 학습합니다.
인공신경망은 뇌의 학습방법을 수학적으로 모델링한 기계학습 알고리즘으로써, 시냅스의 결합으로
네트워크를 형성한 신경세포가 학습을 통해 시냅스의 결합 세기를 변화시켜 문제를 해결하는 모형
전반을 가리킵니다.
2. 인공신경망 기초
17
18. Customer Forever
네트워크 구조
인공신경망은 입력 뉴런, 히든 뉴런, 출력 뉴런으로 구성되어 있습니다.
뉴런에는 선형 결합과 활성화 함수 기능이 존재합니다.
시냅스는 뉴런과 뉴런을 연결해주는 가중치 역할을 담당합니다.
2. 인공신경망 기초_구성요소
18
선형 결합
활성화함수
가중치
입력 층/뉴런 출력 층/뉴런히든 층/뉴런
Forward propagation
Back propagation W(new) = W(old) + ∆W
파생 변수(히든)
19. Customer Forever
단층_다층_딥_네트워크
인공신경망의 가장 간단한 구조를 단층 퍼셉트론(Single-layer Perceptron)이라고 합니다.
단층 퍼셉트론에서 모형 구조의 복잡도를 다층으로 변경하면 다층 퍼셉트론(Multi Layer Perceptron or
MLP) 또는 다층 전방향 인공신경망(Multi-layer Feed-forward Artificial Neural Network)이라고 합니다.
입력층과 출력층 사이에 여러 개의 은닉층들로 이뤄진 인공신경망은 딥 뉴럴 네트워크(Deep Neural
Network) 또는 딥러닝(Deep Learning)이라고 부릅니다.
2. 인공신경망 기초_구성요소
19
Non-deep Feedforward
Neural Network
Deep Neural Network
20. Customer Forever
뉴론
뉴런 안에서는 다음의 두 가지 작업을 진행합니다.
1. 선형 결합(∑): 입력값의 선형 결합
2. 활성화 함수(f): 비선형 함수 적용
2. 인공신경망 기초_구성요소
20
5
−2
∑|𝑓
0.2
𝑤14
간단한 네트워크 (예시)
1. Linear Combination(∑ ): 입력값의 선형 결합
L = X1w11 + X2w13
2. Activation Function(f): 비선형 함수 적용
A = f L , f = sigmoid function
A =
1
1+e−(L)
∑|𝑓
의 두가지 작업
21. Customer Forever
활성화 함수
활성화 함수에는 Step, Sign, Sigmoid, Rectified Linear 비선형 함수가 있습니다.
과거에는 Sigmoid Function을 활성화 함수로 많이 사용했지만, 층(layer)수가 깊어질수록 Gradient값이
감소하는 Gradient Vanishing 문제를 발생시키기 문제를 가지고 있습니다.
최근에는 Gradient Vanishing를 해결하기 위한 방법으로 Rectified Linear Function이 많이 사용되고 있
습니다.
2. 인공신경망 기초_구성요소
21
Step Sign Sigmoid Rectified Linear
f x =
1 if x ≥ t(threshold), else 0
f x =
+1 if x ≥ 0, else − 1
f x =
1/1 + e−x
f x =
max(0, x)
+1
t
+1+1
-1
22. Customer Forever
전방 전달과 오차역전파
전방 전달(feed-forward)은 입력층 ☞ 히든층 ☞ 출력층 으로 입력값을 계산하여 예측값을 계산하는
과정을 말합니다.
오차역전파(back-propagation) 알고리즘은 역순으로 출력값과 예측값의 오차가 줄어드는 방향으로 각
각의 가중치를 조정 하는 과정을 말합니다.
2. 인공신경망 기초_구성요소
22
입력값 예측값 산출 오차 계산 가중치 조정
W(new) = W(old) + ∆W
23. Customer Forever
손실 함수
인공신경망에서 사용되는 일반적인 손실 함수에는 다음의 두 가지 있습니다.
2. 인공신경망 기초_구성요소
23
손실 함수의 종류
회귀 문제에서의 손실 함수는 sum of squared errors
𝐑 𝛉 = ∑ 𝐤=𝟏
𝐊
∑𝐢=𝟏
𝐍
(𝐲𝐢𝐤 − 𝐟 𝐤(𝐱 𝐢)) 𝟐
분류 문제에서의 손실 함수는 cross entropy
R θ = − ∑i=1
N
∑k=1
K
yiklogfk(xi)
24. Customer Forever
손실 함수
회귀 문제의 손실 함수는 다음과 같습니다: R θ = ∑i=1
N
(yi − f(xi))2
ොyi = f xi 이므로, R θ = ∑i=1
N
(yi − ොyi)2
yi − ොyi는 양수 또는 음수가 될 수 있기 때문에 제곱을 취합니다.
회귀 인공신경망 모형은 손실 함수가 최소가 되는 가중치(θ)를 찾는 것이 목적입니다.
2. 인공신경망 기초_구성요소
24
𝑦𝑖 − ොyi
25. Customer Forever
모형 학습 (전통회귀 vs 인공신경망)
선형 회귀분석에서 회귀 계수를 추정하는 방법으로 최소제곱법(Ordinary Least Squares)이 있습니다.
최소제곱법은 구하려는 해와 실제 해의 오차의 제곱의 합이 최소가 되는 해를 구하는 알고리즘입니다.
최소제곱법은 손실함수를 각각의 회귀계수로 각각 편미분하여 0과 같다고 놓은 상태에서 최적의 회귀
계수를 찾는 알고리즘입니다.
𝜕 ∑i=1
N
(yi−f(xi))2
𝜕ෝα
= 0
𝜕 ∑i=1
N
(yi−f(xi))2
𝜕β
= 0
2. 인공신경망 기초_구성요소
25
미분(Derivative)은 함수의 순간변화율을 구하는 계산
과정을 뜻합니다.
순간변화율이란 변화를 뜻합니다. 예, A가 1만큼 증가
했을 때 B의 변화를 뜻합니다.
편미분(Partial derivative)은 다변수 함수의 특정 변수를
제외한 나머지 변수를 상수로 생각하여 미분하는 것
을 뜻합니다.
𝑦𝑖 − ොyi
𝑦
𝑥
α
β
26. Customer Forever
모형 학습 (전통회귀 vs 인공신경망)
인공신경망에서 모형 학습(가중치 업데이트)은 다음의 공식을 사용합니다.
W(new) = W(old) + ∆W
Wr+1
= Wr
+ ∆W
W(old)는 이미 알고 있는 값이기 때문에, W(new)를 구하기 위해서는 ∆𝐖를 알아야 합니다.
∆W를 풀면 다음과 같습니다: −𝛄𝜵𝐑(𝐖 𝐫
)
Wr+1
= Wr
− 𝛄𝜵𝐑(𝐖 𝐫
)
−𝛄𝜵𝐑(𝐖 𝐫
)는 해석하면 다음과 같습니다: “함수의 기울기를 구하여 기울기가 낮은 쪽으로 이동”
γ(감마)는 학습률을 의미합니다.
𝛻R Wr
는 손실 함수를 미분한다는 의미입니다.
앞에 음수(−)가 붙는 이유는 기울기가 낮은 쪽으로 이동하기 때문입니다.
2. 인공신경망 기초_구성요소
26
27. Customer Forever
경사 하강법
경사 하강법은 함수의 기울기를 구하여 기울기가 낮은 쪽으로 계속 이동시켜서 극값(global minimum)에
이를 도달할 때까지 학습을 반복하는 알고리즘을 뜻합니다.
2. 인공신경망 기초_구성요소
27
https://sebastianraschka.com/faq/docs/closed-form-vs-gd.html
오차 경사, 기울기
(미분)초기 가중치
최적 가중치
모형 학습
(=가중치 업데이트)
Wr+1
= Wr
− γ𝛻R(Wr
)
글로벌 최소 오차
28. Customer Forever
학습률
학습률은(learning rate) 한번 학습 시 업데이트되는 가중치의 크기를 조정하는데 사용됩니다.
학습률이 크면 학습을 듬성듬성하여 극값(global minimum)을 지나쳐 갈수 있고, 반대로 학습률이
작으면 학습을 촘촘히 하여 학습속도가 느려지고 지역값(Local minimum)에 빠지는 문제가 발생합니다.
2. 인공신경망 기초_구성요소
28
29. Customer Forever
모멘텀 (1/2)
인공신경망의 가중치 업데이트 공식은 다음과 같습니다: W(new) = W(old) + ∆W
앞장에서 가중치 업데이트 방식은, 손실함수를 W로 편미분하여 Gradient를 계산하고 학습률을 곱한
만큼의 변화량(∆Wr
)만큼 기존의 가중치에 더하여 새로운 가중치 계산하였습니다.
∆Wr
= −γ𝛻R Wr
Wr+1
= Wr
− γ𝛻R Wr
이렇게 손실 함수를 편미분해서 에러가 줄어드는
방향으로 조금씩 움직여가는
알고리즘을 경사하강법이라고 합니다.
경사하강법은 기울기가 낮은 쪽으로 이동하기
때문에 중간에 언덕(지역 최소값 근처)을 만나게
되면 언덕을 올라가지 못하고 근처 지역 최소값
으로 수렴하는 문제가 발생할 수 있습니다.
2. 인공신경망 기초_구성요소
29
30. Customer Forever
모멘텀 (2/2)
모멘텀(momentum)은 이러한 지역 최소값으로 수렴하는 문제를 경감시켜주는 방안입니다.
모멘텀은 기존의 가중치 변화량과 현재 가중치변화량을 서로 결합하여 가중치 업데이트에 사용하는
방법입니다.
Wr+1
= Wr
+ ∆W
where∆W = −γ𝛻R Wr
+ α∆(Wr−1
)
(※α는 모멘텀의 크기를 조절하는 값)
즉 언덕을 내려가는 공에게 관성을 부여하여
작은 언덕을 쉽게 넘어갈 수 있도록 만드는
원리와 같습니다.
2. 인공신경망 기초_구성요소
30
https://en.wikiversity.org/wiki/Learning_and_neural_networks
32. Customer Forever
전방 전달
전방 전달(feed-forward)은 최초 입력층의 입력값으로 부터 마지막 출력층의 출력값까지의 과
정을 뜻합니다.
① Zm= σ(αm
T
X)
② T = g (βT
Z)
③ f X = T
3. 인공신경망 MLP
32
Yk=1X2
⋯
XP
X1
Z2
ZM
Z1
⋯
①
③
∑|σ
∑|𝑔
②
33. Customer Forever
오차 역전파
33
3. 인공신경망 MLP
오차 역전파(back-propagation)는 전방 전달에서의 출력값을 통해 오차를 계산 후 가중치를
업데이트 하는 과정을 뜻합니다.
가중치(𝛂) 가중치(𝛃)
출력층 오차(𝛅)
변화량(𝛃 편미분)
히든층 오차(𝐬)
변화량(𝛂 편미분)
34. Customer Forever
가중치 업데이트
인공신경망에서 가중치(W) 업데이트는
다음의 공식을 사용합니다.
W(new) = W(old) + ∆W
Wr+1
= Wr
+ ∆W
Wr+1
= Wr
− γ𝛻R(W)
본 예제에서 가중치는 𝛂, 𝛃 이기때문에 다음과 같이 표현할 수 있습니다.
βkm
(r+1)
= βkm
(r)
− γr ∑i=1
N 𝜕Ri
𝜕βkm
(r)
αkm
(r+1)
= αkm
(r)
− γr ∑i=1
N 𝜕Ri
𝜕αkm
(r)
3. 인공신경망 MLP_이론
34
35. Customer Forever
지도학습 인공신경망 학습 절차 (뉴로 컴퓨터 개론, 오창석)
3. 인공신경망 MLP_이론
35
1 응용 목적에 적합한 신경망 구조를 설계합니다.
2 연결 강도를 초기화 합니다.
3 학습 패턴쌍을 입력하여 신경망의 출력을 구합니다.
4 출력과 목표치를 비교하여 오차를 계산합니다.
𝑠 𝑚𝑖 = 𝜎′(𝛼 𝑚
𝑇 𝑥𝑖)
𝑘=1
𝐾
𝛽 𝑘𝑚 𝛿 𝑘𝑖
5 오차를 학습 신호 발생기에 입력하여 연결 강도의 변화량을 계산합니다.
𝜕𝑅 𝑖
𝜕𝛽 𝑘𝑚
= 𝛿 𝑘𝑖 𝑧 𝑚𝑖
𝜕𝑅 𝑖
𝜕𝛼 𝑚𝑙
= 𝑠 𝑚𝑖 𝑥𝑖𝑙
6 연결 강도를 변경합니다.
𝛽 𝑘𝑚
(𝑟+1)
= 𝛽 𝑘𝑚
(𝑟)
− 𝛾𝑟 ∑𝑖=1
𝑁 𝜕𝑅 𝑖
𝜕𝛽 𝑘𝑚
(𝑟)
𝛼 𝑘𝑚
(𝑟+1)
= 𝛼 𝑘𝑚
(𝑟)
− 𝛾𝑟 ∑𝑖=1
𝑁 𝜕𝑅 𝑖
𝜕𝛼 𝑘𝑚
(𝑟)
7 변경된 연결 간도에 대하여 단계 3 ~ 6 단계를 반복합니다.
8 더 이상 연결 강도가 변하지 않으면 학습을 종료합니다.
가중치(𝛂) 가중치(𝛃)
출력층 오차(𝛅)
변화량(𝛃 편미분)
히든층 오차(𝐬)
변화량(𝛂 편미분)
36. Customer Forever
과적합 문제
과적합(overfitting)이란 모형이 과도하게 훈련 데이터 맞춤형으로 만들어져 다른 상황에 일반화되지 못
하고 오히려 현실과 맞지 않는 경우를 말합니다.
일반적으로 인공신경망 또는 딥러닝의 경우 히든층에 의해서 기존의 전통적인 통계기법보다 많은 수
의 가중치를 생성합니다. 이러한 프로세스는 모형의 복잡도를 증가시켜 모형의 과적합이 쉽게 발생합
니다.
3. 인공신경망 MLP_문제
36
Test Error
Train Error
과적합: 훈련데이터에서는 과하게 적합하여
새로운 데이터에서 오차가 증가
37. Customer Forever
과적합 문제 > # 드랍아웃
드랍아웃(Dropout)이란 인공신경망 학습 시에 모든 뉴런에 대해서 학습을 수행하는 것이 아니라
일부 뉴런을 생략하고 줄어든 신경망을 통해 학습을 수행하는 방법을 뜻합니다.
드랍아웃은 Ensemble효과를 발생하여 인공신경망의 과적합 문제를 해결 하는데 일조를 합니다.
Ensemble효과는 하나의 인공신경망으로 부터 여러 개의 작은 네트워크를 생성하면 하나의 네트워크
에서 발생하는 과적합이 서로 혼합되어 과적합을 경감시키는 효과를 얻을 수 있습니다.
3. 인공신경망 MLP_해결방안
37
39. Customer Forever
Convolutional Neural Network 소개
얀 라쿤(Yann LeCun)은 프랑스 출신의 과학자입니다.
1989년 라쿤은 오차역전파 훈련방식의 딥 뉴럴 네트워크(fully-connected neural network)를 통해서
우편번호 필기체를 인식하는데 성공합니다. 하지만 당시의 하드웨어 성능으로는 10개의 숫자를 인식
하는데 3일이라는데 시간이 소비되었습니다.
1998년 라쿤은 기존의 인공신경망을 보완하기 위해 local receptive field, shared weight, sub-sampling의
개념을 적용한 Convolutional Neural Network를 발표합니다.
현재 라쿤은 뉴욕주립대와 Facebook AI팀에서 활동하고 계십니다.
4. 인공신경망 CNN_개요
39
40. Customer Forever
Convolutional Neural Network 소개
CNN은 이미지 인식 분야에서 빠르게 전파되었습니다. CNN은 여러 가지 이미지 인식 테스트에서
우수한 성능을 검증 받았습니다.
우리가 잘 알고 있는 알파고도 CNN알고리즘을 사용해서 학습을 합니다.
자율주행 자동차도 CNN알고리즘을 사용합니다.
CNN는 다양한 인공신경망 알고리즘에서 가장 주목받고 있는 딥러닝 알고리즘입니다.
4. 인공신경망 CNN_개요
http://rodrigob.github.io/are_we_there_yet/build/classification_datasets_results.html
40
41. Customer Forever
이미지 입력 변수
이미지 인식에서 이미지를 컴퓨터가 인식하려면 어떻게 해야 할까요?
모든 이미지는 픽셀(pixel)값으로 전환이 가능합니다.
아래의 이미지는 픽셀값이 0부터 255까지 grayscale 이미지(2d)입니다.
4. 인공신경망 CNN_특징
https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/
41
픽셀값 0은 흰색
픽셀값 255는 검정색
42. Customer Forever
CNN 네트워크 구조
CNN에는 다음의 4가지 핵심 단계가 네트워크 구조를 형성합니다.
Convolution Layer
Non-linearity Step
Pooling Layer
Fully-connected Layer
4. 인공신경망 CNN_학습
42
http://t-robotics.blogspot.kr/2016/05/convolutional-neural-network_31.html#.WQl3KtryhPY
+ReLU
+ReLU
43. Customer Forever
Convolution Layer
Convolution Layer은 입력 이미지로부터 필터를 사용하여 특징을 추출하는 역할을 합니다.
CNN은 기존의 분류 학습과 다르게 특징을 추출하는 전처리 단계가 포함되어 있습니다.
따라서 별도의 전처리 단계를 필요로 하지 않습니다.
5x5 이미지 3x3 필터
이미지에 필터를 적용해서 생성된 특징맵을 Convolved Feature, Feature Map 또는 Activation Map
이라고 부릅니다.
4. 인공신경망 CNN_학습
43
https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/
45. Customer Forever
Non-linearity Step
Convolution Layer에서 생성 된 Feature Map은 Non-linearity Step에서 비선형 함수의 적용을 받습니다.
빠른 학습, 과적합, Vanishing Gradient 문제를 해결하기 위해 Non-linearity Step에서 Rectified Linear
Unit함수를 사용합니다.
4. 인공신경망 CNN_학습
45
https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/
Rectified Linear
f x = max(0, x)
46. Customer Forever
Pooling Layer
Pooling Layer은 이미지의 특성상 많은 픽셀이 존재하기 때문에 특징을 줄이기 위해 부분 샘플링
(subsampling)을 하는 층입니다.
부분 샘플링을 통해서 특징의 차원은 감소하지만 가장 중요한 특징은 보존이 됩니다.
Pooling 방법에는 Max, Average, Sum 등의 존재하지만 Max Pooling이 대부분의 경우에서 가장
우수한 성능을 보이는 것이 검증되었습니다.
4. 인공신경망 CNN_학습
46
https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/
47. Customer Forever
Pooling Layer
Pooling Layer에서는 각각의 feature map에 부분 샘플링(max pooling)이 적용됩니다.
Rectified Feature Map에 Max Pooling과 Sum Pooling을 적용한 결과입니다.
4. 인공신경망 CNN_학습
47
https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/
48. Customer Forever
Fully-connected Layer
Fully-connected Layer은 Softmax와 Multi-Layer Perceptron 알고리즘이 사용됩니다.
Fully-connected Layer은 마지막 Pooling층에서 생성 된 데이터셋을 입력값으로 받아서 출력값으로
특정 객체로 분류될 확률 값을 내보냅니다.
Fully-connected의 의미는 모든 뉴런이 다음 층의 뉴런과 모두 연결되어 있다는 것을 뜻합니다.
4. 인공신경망 CNN_학습
48
https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/
49. Customer Forever
지금까지 과정을 정리하면,
원본 이미지 데이터(픽셀)가 Convolution Layer, Non-linearity Step(ReLU), Pooling Layer를 통과하면서
여러 가지 특징을 생성합니다.
마지막 층인 Fully-connected Layer에서는 앞에서 전처리 된 데이터셋을 입력 받아서 분류 예측 모형
학습을 수행합니다.
예측 모형 학습은 Multi-Layer Perceptron 네트워크 구조와 오차역전파 알고리즘을 사용해서 손실
함수가 최소화 되도록 필터의 가중치 및 뉴런의 가중치를 반복해서 업데이트합니다.
4. 인공신경망 CNN_학습
49
https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/
52. Customer Forever
군집
군집분석이란 데이터가 속해 있는 군집을 모르는 상태에서 유사한 혹은 동질의 데이터 끼리 그룹으로
묶어 주는 분석 알고리즘입니다.
데이터가 2차원 또는 3차원으로 구성되어 있다면 산점도를 그려서 눈으로 확인해보는 것만으로도 데
이터에 내재한 패턴, 군집 유무, 데이터 간 관계를 파악할 수 있습니다.
하지만 데이터가 4차원 이상인 경우에는 사람의 눈으로 군집 유무 여부를 확인하고 패턴을 파악하는
것은 쉽지 않습니다.
일반적으로 군집분석이란 다차원의 데이터를 활용하여 유사한 데이터를 군집하고 군집별 패턴을 파악
하는데 사용합니다.
52
5. 인공신경망 SOM_기초
53. Customer Forever
전통적인 군집 > # 유클리디언 거리
유클리드 거리(Euclidean distance)는 두 점 사이의 거리를 계산할 때 흔히 쓰는 방법입니다.
두 점 A와 B가 각각 A = {A1,A2,…,An}와 B = {B1,B2,…,Bn}의 좌표를 갖을 때 두 점 사이의 거리를
계산하는 유클리디언 거리 공식은 다음과 같습니다.
(A1 − B1)2 + (A2 − B2)2 + ⋯+ (An − Bn)2
∑i=1
n
(Ai − Bi)2
5. 인공신경망 SOM_기초
https://lyfat.wordpress.com/2012/05/22/euclidean-vs-chebyshev-vs-manhattan-distance/
53
54. Customer Forever
전통적인 군집
본 강의에서는 군집방법에서 주로 사용되는 다음의 2가지 군집 방법에 대해서 살펴보도록 하겠습니다.
K평균 군집 (K-means Clustering)
계층적 군집 (Hierarchical Clustering)
5. 인공신경망 SOM_기초
54
55. Customer Forever
전통적인 군집 > # 계층적 군집
계층적(Hierarchical) 군집 방법은 병합적(agglomerative)군집과 분할적(division)군집으로 구분됩니다.
병합적 군집은 bottom-up방식의 군집 알고리즘입니다. 최초 각각의 개체들은 각각의 군집을 형성합니다.
이후 군집들 간의 거리를 계산하여 가장 가까운 거리의 군집을 계층적으로 병합하면서 하나의 군집이 형
성될때까지 군집을 진행하는 알고리즘입니다.
분할적 방법은 top-down방식의 군집 알고리즘입니다. 최초 모든 개체들은 하나의 군집을 형성합니다. 이
후 하나의 군집을 가장 거리가 먼 2개의 군집으로 나눔으로써 각각의 개체가 하나의 군집으로 형성될때
까지 군집을 진행하는 알고리즘입니다.
5. 인공신경망 SOM_기초
55
57. Customer Forever
Self Organizing Map 소개
튜보 코호넨(Teuvo Kohonen)은 핀란드 출신의 과학자입니다.
1980년 코호넨은 비지도학습 인공신경망 Self Organizing Map을 발표하였습니다.
SOM은 패턴인식, 차원축소, 다차원자료의 시각화 방법 등으로 많은 분야에서 활용되고 있습니다.
과거 코호넨은 핀란드 헬싱키 대학에서 인공지능분야를 연구하였습니다.
5. 인공신경망 SOM_기초
57
58. Customer Forever
Self Organizing Map 소개
SOM은 비지도학습 인공신경망의 한 종류로써 입력데이터를 저차원(일반적으로 2차원)의 공간으로
축소시키는 알고리즘입니다.
SOM과 다른 인공신경망의 차이점은 SOM은 오차역전파방법이 아닌 경쟁학습방법을 사용해서 모형
학습을 진행합니다.
5. 인공신경망 SOM_기초
고객1 고객2 고객N…
입력층
경쟁층
가중치 노드(뉴런)
입력패턴에 가장 가까운 노드를
승자로 인식하고 승자와 그 주변
노드에 학습기회(가중치 조정기회)
하나의 노드(뉴런)은
특성이 유사한
입력층을 대표하는
그룹
D고객군
노드(뉴런)이 구성되어
그 특성을 서로
경쟁하고 있는 2차원의
격자 층
입력 변수의
모임
SOM 인공신경망
군집학습
• 변수1 : 39세
• 변수2 : 스마트뱅킹 80%
• 변수3 : 인터넷뱅킹 5%
• 변수4 : 지점 5%
• 변수55개상품군 보유
58
60. Customer Forever
SOM기반의 2단계 군집분석
SOM은 비지도학습 인공신경망의 한 종류로써 입력데이터를 저차원(일반적으로 2차원)의 공간으로
축소시키는 알고리즘입니다.
아래의 그림은 20x20의 맵사이즈의 SOM결과입니다.
각각의 400개의 노드별 특징을 파악하기에는 군집의 수가 너무 많기 때문에 400개의 군집결과를
입력값으로 2차 군집을 진행합니다.
5. 인공신경망 SOM_응용
60
61. Customer Forever
SOM기반의 2단계 군집분석
2차 군집 알고리즘은 계층적군집분석, k평균군집분석 등 군집을 가장 잘 형성하는 군집알고리즘을
사용합니다.
다음은 2차 군집 알고리즘을 계층적군집분석을 적용한 결과입니다.
2차 군집을 적용한 결과 최종적으로 5개의 군집을 도출하였습니다.
이렇게 SOM분석결과를 기반으로 2차 군집을 적용하는 군집분석 알고리즘을 “SOM기반의 2차 군집
”(SOM-based Two-step Clustering)이라고 합니다.
5. 인공신경망 SOM_응용
61
2차 군집
62. Customer Forever
그룹별 페르소나
5. 인공신경망 SOM_시각화
62
http://www.shanelynn.ie/self-organising-maps-for-customer-segmentation-using-r/
인구통계자료를 사용한 SOM군집분석 결과
63. Customer Forever
그룹별 페르소나
5. 인공신경망 SOM_시각화
63
평균 연령 평균 학력 결혼 비율
평균 자동차 보유수평균 거주지 평수실업률
http://www.shanelynn.ie/self-organising-maps-for-customer-segmentation-using-r/
