Difference between Discriminative Learning and Generative Learning Cosine distance as a Basic metric of Deep Learning Multi-layer Perceptron as a common part of Deep Learning Variants Analogy between Similarity in Deep Learning and Wave Coherence Deep Neural Net. as a Wave Extractor

1. 딥러닝의 인공지능 수단으로
서의 성격과 방향
이동윤

2. 의도
• 기초적 개념인 유사도 거리의 이해
• 구성적 접근에 대한 옹호관점
• 그 관점 하에서 딥뉴럴넷 최종 2개층이 가지는
특수성에 대한 환기
• 최종 은닉층이 가지는 특수성과 가져야 할 바람
직한 특성에 대한 설명
• 바람직한 최종은닉층 출력을 돕는 수단으로서 현
재의 역전파 학습을 제외한 수단의 필요성 환기
• 그 측면에서 딥뉴럴넷들이 성공을 거둘 수 있었
던 원인을 설명하려는 첫 시도 (내용은 없고 도입
만.)
http://blog.kevinfream.com/2013/08/22/life-after-the-robots/
1. 인공지능이란?
- 여러 고려사항
- 회귀와 분류
2. 분류수행의 두가지 스타일
- 틀린걸 가르기
- 닮은걸 찾아내기
3. 닮은걸 찾아내는 도구로서의
딥러닝
4. 뉴럴넷의 역사
-다층 퍼셉트론
-다층 퍼셉트론의 한계와 딥러닝
5. 딥러닝 돌파구
-3가지 딥뉴럴넷
-딥뉴럴넷의 공통특징
5. 특징추출기의 강화방향
-결맞음
-패턴인식에서의 결맞음
-딥러닝에 있어서의 결맞음
-결맞음 계산법
6. 완전한 결맞음을 향하여

3. 1. 인공지능이란?
• 컴퓨터비젼
• 음성인식/합성
• 자연어이해
• 기타
http://blog.kevinfream.com/2013/08/22/life-after-the-robots/
1. 인공지능이란?
- 여러 고려사항
- 회귀와 분류
2. 분류수행의 두가지 스타일
- 틀린걸 가르기
- 닮은걸 찾아내기
3. 닮은걸 찾아내는 도구로서의
딥러닝
4. 뉴럴넷의 역사
-다층 퍼셉트론
-다층 퍼셉트론의 한계와 딥러닝
5. 딥러닝 돌파구
-3가지 딥뉴럴넷
-딥뉴럴넷의 공통특징
5. 특징추출기의 강화방향
-결맞음
-패턴인식에서의 결맞음
-딥러닝에 있어서의 결맞음
-결맞음 계산법
6. 완전한 결맞음을 향하여

4. 여러 고려사항
1. 인공지능이란?
- 여러 고려사항
- 회귀와 분류
2. 분류수행의 두가지 스타일
- 틀린걸 가르기
- 닮은걸 찾아내기
3. 닮은걸 찾아내는 도구로서의
딥러닝
4. 뉴럴넷의 역사
-다층 퍼셉트론
-다층 퍼셉트론의 한계와 딥러닝
5. 딥러닝 돌파구
-3가지 딥뉴럴넷
-딥뉴럴넷의 공통특징
5. 특징추출기의 강화방향
-결맞음
-패턴인식에서의 결맞음
-딥러닝에 있어서의 결맞음
-결맞음 계산법
6. 완전한 결맞음을 향하여
직접 가르칠 것인가
Vs.
스스로 배우게 할 것인가
(비통계적학습 대 통계적-)
아는걸 다뤄 아는걸 내게
할 것인가
Vs.
모르는거에서 아는걸 내
게할것인가
(기호처리 대 인식)
도달할 목표를 제시할 것
인가
Vs.
스스로 개척해가게할 것
인가
(지도학습 대 비지도-)
명확히 판단을 하게할 것
인가
Vs.
가까운 추측만 하게할 것
인가
(분류 대 회귀)
인간의 추측에서 시작하
게 할 것인가
Vs.
스스로 개척하게할 것인
가
(모수적학습 대 비모수적-)
다른지를 따지게 할 것인
가
Vs.
닮았는지를 조사하게 할
것인가
(판별과 구성)
…

5. 회귀와 분류
1. 인공지능이란?
- 여러 고려사항
- 회귀와 분류
2. 분류수행의 두가지 스타일
- 틀린걸 가르기
- 닮은걸 찾아내기
3. 닮은걸 찾아내는 도구로서의
딥러닝
4. 뉴럴넷의 역사
-다층 퍼셉트론
-다층 퍼셉트론의 한계와 딥러닝
5. 딥러닝 돌파구
-3가지 딥뉴럴넷
-딥뉴럴넷의 공통특징
5. 특징추출기의 강화방향
-결맞음
-패턴인식에서의 결맞음
-딥러닝에 있어서의 결맞음
-결맞음 계산법
6. 완전한 결맞음을 향하여
Q. 짜장면 먹을래 짬뽕 먹을래?
A. 짜장면은 약간 끌리고 짬뽕은 야~악간 끌려 (회귀)
A. 짬뽕이 짜장면보다 더 좋으니 짬뽕 먹을래 (분류)

6. 분류수행의 두가지 스타일
1. 인공지능이란?
- 여러 고려사항
- 회귀와 분류
2. 분류수행의 두가지 스타일
- 틀린걸 가르기
- 닮은걸 찾아내기
3. 닮은걸 찾아내는 도구로서의
딥러닝
4. 뉴럴넷의 역사
-다층 퍼셉트론
-다층 퍼셉트론의 한계와 딥러닝
5. 딥러닝 돌파구
-3가지 딥뉴럴넷
-딥뉴럴넷의 공통특징
5. 특징추출기의 강화방향
-결맞음
-패턴인식에서의 결맞음
-딥러닝에 있어서의 결맞음
-결맞음 계산법
6. 완전한 결맞음을 향하여
1. 다른지에 중점
나와 가장 다른 건. 톰이니 난 톰과는 한 조가 되지 않을래
2. 닮은지에 중점
나와 가장 닮은 건. 제인이니 난 제인과 한 조가 될래
http://www.evolvingai.org/fooling

7. 틀린걸 가르기
1. 인공지능이란?
- 여러 고려사항
- 회귀와 분류
2. 분류수행의 두가지 스타일
- 틀린걸 가르기
- 닮은걸 찾아내기
3. 닮은걸 찾아내는 도구로서의
딥러닝
4. 뉴럴넷의 역사
-다층 퍼셉트론
-다층 퍼셉트론의 한계와 딥러닝
5. 딥러닝 돌파구
-3가지 딥뉴럴넷
-딥뉴럴넷의 공통특징
5. 특징추출기의 강화방향
-결맞음
-패턴인식에서의 결맞음
-딥러닝에 있어서의 결맞음
-결맞음 계산법
6. 완전한 결맞음을 향하여
http://www.evolvingai.org/fooling
Q A

8. 닮은걸 찾아내기
1. 인공지능이란?
- 여러 고려사항
- 회귀와 분류
2. 분류수행의 두가지 스타일
- 틀린걸 가르기
- 닮은걸 찾아내기
3. 닮은걸 찾아내는 도구로서의
딥러닝
4. 뉴럴넷의 역사
-다층 퍼셉트론
-다층 퍼셉트론의 한계와 딥러닝
5. 딥러닝 돌파구
-3가지 딥뉴럴넷
-딥뉴럴넷의 공통특징
5. 특징추출기의 강화방향
-결맞음
-패턴인식에서의 결맞음
-딥러닝에 있어서의 결맞음
-결맞음 계산법
6. 완전한 결맞음을 향하여
Cat face: https://wallpaperscraft.com/download/cat_face_happy_56740/2560x1440
?
Network: http://www.turingfinance.com/misconceptions-about-neural-networks/

9. 회귀와 분류
1. 인공지능이란?
- 여러 고려사항
- 회귀와 분류
2. 분류수행의 두가지 스타일
- 틀린걸 가르기
- 닮은걸 찾아내기
3. 닮은걸 찾아내는 도구로서의
딥러닝
4. 뉴럴넷의 역사
-다층 퍼셉트론
-다층 퍼셉트론의 한계와 딥러닝
5. 딥러닝 돌파구
-3가지 딥뉴럴넷
-딥뉴럴넷의 공통특징
5. 특징추출기의 강화방향
-결맞음
-패턴인식에서의 결맞음
-딥러닝에 있어서의 결맞음
-결맞음 계산법
6. 완전한 결맞음을 향하여
.

10. 다층 퍼셉트론
1. 인공지능이란?
- 여러 고려사항
- 회귀와 분류
2. 분류수행의 두가지 스타일
- 틀린걸 가르기
- 닮은걸 찾아내기
3. 닮은걸 찾아내는 도구로서의
딥러닝
4. 뉴럴넷의 역사
-다층 퍼셉트론
-다층 퍼셉트론의 한계와 딥러닝
5. 딥러닝 돌파구
-3가지 딥뉴럴넷
-딥뉴럴넷의 공통특징
5. 특징추출기의 강화방향
-결맞음
-패턴인식에서의 결맞음
-딥러닝에 있어서의 결맞음
-결맞음 계산법
6. 완전한 결맞음을 향하여
http://docs.opencv.org/modules/ml/doc/n
eural_networks.html

11. 다층 퍼셉트론의 한계와 딥러닝
1. 인공지능이란?
- 여러 고려사항
- 회귀와 분류
2. 분류수행의 두가지 스타일
- 틀린걸 가르기
- 닮은걸 찾아내기
3. 닮은걸 찾아내는 도구로서의
딥러닝
4. 뉴럴넷의 역사
-다층 퍼셉트론
-다층 퍼셉트론의 한계와 딥러닝
5. 딥러닝 돌파구
-3가지 딥뉴럴넷
-딥뉴럴넷의 공통특징
5. 특징추출기의 강화방향
-결맞음
-패턴인식에서의 결맞음
-딥러닝에 있어서의 결맞음
-결맞음 계산법
6. 완전한 결맞음을 향하여
.
More is Better?

12. 5. 딥러닝 돌파구
1. 인공지능이란?
- 여러 고려사항
- 회귀와 분류
2. 분류수행의 두가지 스타일
- 틀린걸 가르기
- 닮은걸 찾아내기
3. 닮은걸 찾아내는 도구로서의
딥러닝
4. 뉴럴넷의 역사
-다층 퍼셉트론
-다층 퍼셉트론의 한계와 딥러닝
5. 딥러닝 돌파구
-3가지 딥뉴럴넷
-딥뉴럴넷의 공통특징
5. 특징추출기의 강화방향
-결맞음
-패턴인식에서의 결맞음
-딥러닝에 있어서의 결맞음
-결맞음 계산법
6. 완전한 결맞음을 향하여

13. 3가지 딥뉴럴넷
1. 인공지능이란?
- 여러 고려사항
- 회귀와 분류
2. 분류수행의 두가지 스타일
- 틀린걸 가르기
- 닮은걸 찾아내기
3. 닮은걸 찾아내는 도구로서의
딥러닝
4. 뉴럴넷의 역사
-다층 퍼셉트론
-다층 퍼셉트론의 한계와 딥러닝
5. 딥러닝 돌파구
-3가지 딥뉴럴넷
-딥뉴럴넷의 공통특징
5. 특징추출기의 강화방향
-결맞음
-패턴인식에서의 결맞음
-딥러닝에 있어서의 결맞음
-결맞음 계산법
6. 완전한 결맞음을 향하여
Deep Belief Net. Long Short-Term Memory
Convolutional Neural Net.

14. 딥뉴럴넷의 공통특징
1. 인공지능이란?
- 여러 고려사항
- 회귀와 분류
2. 분류수행의 두가지 스타일
- 틀린걸 가르기
- 닮은걸 찾아내기
3. 닮은걸 찾아내는 도구로서의
딥러닝
4. 뉴럴넷의 역사
-다층 퍼셉트론
-다층 퍼셉트론의 한계와 딥러닝
5. 딥러닝 돌파구
-3가지 딥뉴럴넷
-딥뉴럴넷의 공통특징
5. 특징추출기의 강화방향
-결맞음
-패턴인식에서의 결맞음
-딥러닝에 있어서의 결맞음
-결맞음 계산법
6. 완전한 결맞음을 향하여
All successful deep neural net has …
… common part at those tail.
Technically speaking, just {generative classification}-wise tendency can induces the special interests
in this part. (together with Softmax judging way).

15. 딥뉴럴넷의 공통특징
1. 인공지능이란?
- 여러 고려사항
- 회귀와 분류
2. 분류수행의 두가지 스타일
- 틀린걸 가르기
- 닮은걸 찾아내기
3. 닮은걸 찾아내는 도구로서의
딥러닝
4. 뉴럴넷의 역사
-다층 퍼셉트론
-다층 퍼셉트론의 한계와 딥러닝
5. 딥러닝 돌파구
-3가지 딥뉴럴넷
-딥뉴럴넷의 공통특징
5. 특징추출기의 강화방향
-결맞음
-패턴인식에서의 결맞음
-딥러닝에 있어서의 결맞음
-결맞음 계산법
6. 완전한 결맞음을 향하여
All successful deep neural net has …
… common part at those tail.
Improved part is here

16. 결맞음
1. 인공지능이란?
- 여러 고려사항
- 회귀와 분류
2. 분류수행의 두가지 스타일
- 틀린걸 가르기
- 닮은걸 찾아내기
3. 닮은걸 찾아내는 도구로서의
딥러닝
4. 뉴럴넷의 역사
-다층 퍼셉트론
-다층 퍼셉트론의 한계와 딥러닝
5. 딥러닝 돌파구
-3가지 딥뉴럴넷
-딥뉴럴넷의 공통특징
5. 특징추출기의 강화방향
-결맞음
-패턴인식에서의 결맞음
-딥러닝에 있어서의 결맞음
-결맞음 계산법
6. 완전한 결맞음을 향하여
Coherent waves vs. Incoherent waves
Same
Be equal Not be equal

17. 패턴인식에서의 결맞음
1. 인공지능이란?
- 여러 고려사항
- 회귀와 분류
2. 분류수행의 두가지 스타일
- 틀린걸 가르기
- 닮은걸 찾아내기
3. 닮은걸 찾아내는 도구로서의
딥러닝
4. 뉴럴넷의 역사
-다층 퍼셉트론
-다층 퍼셉트론의 한계와 딥러닝
5. 딥러닝 돌파구
-3가지 딥뉴럴넷
-딥뉴럴넷의 공통특징
5. 특징추출기의 강화방향
-결맞음
-패턴인식에서의 결맞음
-딥러닝에 있어서의 결맞음
-결맞음 계산법
6. 완전한 결맞음을 향하여
How can I know, How well-coherent two waves are?
Well Bad

18. 패턴인식에서의 결맞음
1. 인공지능이란?
- 여러 고려사항
- 회귀와 분류
2. 분류수행의 두가지 스타일
- 틀린걸 가르기
- 닮은걸 찾아내기
3. 닮은걸 찾아내는 도구로서의
딥러닝
4. 뉴럴넷의 역사
-다층 퍼셉트론
-다층 퍼셉트론의 한계와 딥러닝
5. 딥러닝 돌파구
-3가지 딥뉴럴넷
-딥뉴럴넷의 공통특징
5. 특징추출기의 강화방향
-결맞음
-패턴인식에서의 결맞음
-딥러닝에 있어서의 결맞음
-결맞음 계산법
6. 완전한 결맞음을 향하여
This kind of problem can cover various cases.
How much coherent?
(Coherency  Similarity and Waves  Features)

19. 딥러닝에 있어서의 결맞음
1. 인공지능이란?
- 여러 고려사항
- 회귀와 분류
2. 분류수행의 두가지 스타일
- 틀린걸 가르기
- 닮은걸 찾아내기
3. 닮은걸 찾아내는 도구로서의
딥러닝
4. 뉴럴넷의 역사
-다층 퍼셉트론
-다층 퍼셉트론의 한계와 딥러닝
5. 딥러닝 돌파구
-3가지 딥뉴럴넷
-딥뉴럴넷의 공통특징
5. 특징추출기의 강화방향
-결맞음
-패턴인식에서의 결맞음
-딥러닝에 있어서의 결맞음
-결맞음 계산법
6. 완전한 결맞음을 향하여
The final part of neural net checks coherency.
How much coherent?
(Coherency  Similarity and Waves  Features)

20. 결맞음 계산법
1. 인공지능이란?
- 여러 고려사항
- 회귀와 분류
2. 분류수행의 두가지 스타일
- 틀린걸 가르기
- 닮은걸 찾아내기
3. 닮은걸 찾아내는 도구로서의
딥러닝
4. 뉴럴넷의 역사
-다층 퍼셉트론
-다층 퍼셉트론의 한계와 딥러닝
5. 딥러닝 돌파구
-3가지 딥뉴럴넷
-딥뉴럴넷의 공통특징
5. 특징추출기의 강화방향
-결맞음
-패턴인식에서의 결맞음
-딥러닝에 있어서의 결맞음
-결맞음 계산법
6. 완전한 결맞음을 향하여
Geometrical Understanding of Coherency

21. 결맞음 계산법
1. 인공지능이란?
- 여러 고려사항
- 회귀와 분류
2. 분류수행의 두가지 스타일
- 틀린걸 가르기
- 닮은걸 찾아내기
3. 닮은걸 찾아내는 도구로서의
딥러닝
4. 뉴럴넷의 역사
-다층 퍼셉트론
-다층 퍼셉트론의 한계와 딥러닝
5. 딥러닝 돌파구
-3가지 딥뉴럴넷
-딥뉴럴넷의 공통특징
5. 특징추출기의 강화방향
-결맞음
-패턴인식에서의 결맞음
-딥러닝에 있어서의 결맞음
-결맞음 계산법
6. 완전한 결맞음을 향하여
Euclidean Distance vs. Cosine Distance

22. 완전한 결맞음을 향하여
1. 인공지능이란?
- 여러 고려사항
- 회귀와 분류
2. 분류수행의 두가지 스타일
- 틀린걸 가르기
- 닮은걸 찾아내기
3. 닮은걸 찾아내는 도구로서의
딥러닝
4. 뉴럴넷의 역사
-다층 퍼셉트론
-다층 퍼셉트론의 한계와 딥러닝
5. 딥러닝 돌파구
-3가지 딥뉴럴넷
-딥뉴럴넷의 공통특징
5. 특징추출기의 강화방향
-결맞음
-패턴인식에서의 결맞음
-딥러닝에 있어서의 결맞음
-결맞음 계산법
6. 완전한 결맞음을 향하여
The competency for ‘good wave extractor’.

23. 끝