SlideShare a Scribd company logo
1 of 9
Download to read offline
Linear Algebra
10. 벡터의 직교성과 직선투영
한양대 이상화 교수님 <선형대수>
http://www.kocw.net/home/search/kemView.do?kemId=977757
Orthogonality (직교성)
• 벡터의 길이 : 𝒙 𝟐 = 𝒊=𝟏
𝒏
𝒙𝒊
𝟐 = 𝒙 𝑻 𝒙  피타고라스의 정리
• 피타고라스의 정리를 다시 떠올리면,
• 𝒙 𝑻
𝒚 = 𝟎 : 𝜽 = 𝟗𝟎°
• 𝒙 𝑻
𝒚 > 𝟎 : 𝜽 < 𝟗𝟎°  𝒙 𝟐
+ 𝒚 𝟐
> 𝒙 − 𝒚 𝟐
• 𝒙 𝑻
𝒚 < 𝟎 : 𝜽 > 𝟗𝟎°  𝒙 𝟐
+ 𝒚 𝟐
< 𝒙 − 𝒚 𝟐
𝒙
𝒚
𝒙 𝟐
+ 𝒚 𝟐
= 𝒙 − 𝒚 𝟐
= 𝒚 − 𝒙 𝟐
𝒙 𝑻
𝒙 + 𝒚 𝑻
𝐲 = 𝒙 − 𝒚 𝑻
𝒙 − 𝒚 = 𝒚 − 𝒙 𝑻
𝒚 − 𝒙
= 𝒙 𝑻
𝒙 − 𝒚 𝑻
𝒙 − 𝒙 𝑻
𝒚 + 𝒚 𝑻
𝒚
𝒚 𝑻 𝒙 = 𝒙 𝑻 𝒚 = 𝟎  벡터 x와 벡터 y가 직교하는 조건𝜽
𝜽 𝜽
• If non-zero vectors 𝒗 𝟏, 𝒗 𝟐, … , 𝒗 𝒏 are mutually orthogonal, then the vectors are independent.
① 𝒗𝒊
𝑻
𝒗𝒋 = 𝟎 𝒇𝒐𝒓 𝒂𝒏𝒚 𝒊, 𝒋
②는 𝒄 𝟏 𝒗 𝟏 + 𝒄 𝟐 𝒗 𝟐 + ⋯ + 𝒄 𝒏 𝒗 𝒏 = 𝟎를 만족하는 값이 𝒄 𝟏 = 𝒄 𝟐 = ⋯ = 𝒄 𝒏 = 𝟎 밖에 없을 때 만족
𝒗 𝟏
𝑻 𝒄 𝟏 𝒗 𝟏 + 𝒄 𝟐 𝒗 𝟐 + ⋯ + 𝒄 𝒏 𝒗 𝒏 = 𝒄 𝟏 𝒗 𝟏
𝟐 + 𝒄 𝟐(𝒗 𝟏
𝑻
𝒗 𝟐) + ⋯ + 𝒄 𝒏(𝒗 𝟏
𝑻
𝒗 𝒏) = 𝒄 𝟏 𝒗 𝟏
𝟐 = 𝟎
 모든 non-zero 벡터 𝒗𝒊
𝑻
에 대해 𝒄𝒊 𝒗𝒊
𝟐
= 𝟎 이므로, 𝒄 𝟏 = 𝒄 𝟐 = ⋯ = 𝒄 𝒏 = 𝟎,
즉, 𝒗 𝟏, 𝒗 𝟐, … , 𝒗 𝒏는 선형독립이다.
Orthogonality (직교성)
① ②
=0 (①) =0 (①)
• N개의 직교하는 벡터(즉, 선형독립인 벡터)를 Basis로 사용하면 해당 공간을 모두 표현할 수 있고
연산도 훨씬 간편해진다.
• 벡터 공간의 모든 벡터 𝒙는 𝒙 = 𝒄𝒊 𝒗𝒊 로 표현 가능
• 그렇다면 각 𝒄𝒊는 어떻게 구할 수 있을까?  앞선 증명에서 쓰였던 방법을 그대로 사용
• 𝒗 𝟏, 𝒗 𝟐, … , 𝒗 𝒏이 직교하지 않는다면, 각 𝒄𝒊는 기존처럼 G.E.을 통해서 구해야 한다.
 직교하는 Basis를 사용하면 연산이 편해짐
Orthogonality (직교성)
𝒗𝒊
𝑻
𝒙 = 𝒗𝒊
𝑻
𝒄 𝟏 𝒗 𝟏 + 𝒄 𝟐 𝒗 𝟐 + ⋯ + 𝒄 𝒏 𝒗 𝒏
= 𝒄 𝟏(𝒗𝒊
𝑻
𝒗 𝟏) + 𝒄 𝟐(𝒗𝒊
𝑻
𝒗 𝟐) + ⋯ + 𝒄𝒊 𝒗𝒊
𝟐
+ ⋯ + 𝒄 𝒏(𝒗𝒊
𝑻
𝒗 𝒏)
= 𝒄𝒊 𝒗𝒊
𝟐
𝒄𝒊 =
𝒗𝒊
𝑻
𝒙
𝒗𝒊
𝟐
• 벡터 뿐만 아니라 Subspace끼리 역시 직교할 수 있다.
• Subspace 𝑆1의 모든 벡터가 또 다른 Subspace 𝑆2의 모든 벡터에 수직일 때, 𝑆1과 𝑆2는 직교
한다. (𝑣 ∈ 𝑉, 𝑤 ∈ 𝑊 이고 𝑣 𝑇
𝑤 = 0 𝑓𝑜𝑟 ∀ 𝑣, 𝑤 일 때)
• Row space is orthogonal to the nullspace in 𝑹 𝒏
.
• Column space is orthogonal to the left nullspace in 𝑹 𝒎
.
Orthogonal Subspaces
𝐴𝑥 = 0일 때, 𝑥는 Nullspace
𝐴𝑥 =
𝑅𝑜𝑤1
𝑅𝑜𝑤2
⋯
𝑅𝑜𝑤 𝑀
𝑥1
𝑥2
⋯
𝑥 𝑛
=
0
0
⋯
0
모든 행에 대해 (𝑅𝑜𝑤 𝑖) 𝑇
𝑥 = 0이기 때문에,
Nullspace는 Row space에 직교한다.
𝐴 𝑇 𝑦 = 0일 때, 𝑦는 Left nullspace
𝐴 𝑇
𝑦 =
𝐶𝑜𝑙𝑢𝑚𝑛 1
𝐶𝑜𝑙𝑢𝑚𝑛 2
⋯
𝐶𝑜𝑙𝑢𝑚𝑛 𝑁
𝑦1
𝑦2
⋯
𝑦 𝑚
=
0
0
⋯
0
모든 행에 대해 (𝐶𝑜𝑙𝑢𝑚𝑛 𝑖) 𝑇
𝑦 = 0이기 때문에,
Left Nullspace는 Column space에 직교한다.
𝑨𝒙 = 𝑨 𝒙 𝒓 + 𝒙 𝒏 = 𝒃
Row Space Column
Space
Left
Nullspace
Nullspace
𝑹 𝒏 𝑹 𝒎
𝒃
𝒙 𝒓 𝐴𝑥 𝑟 = 𝑏
𝒙 𝒏
𝑥 = 𝑥 𝑟 + 𝑥 𝑛
𝐴𝑥 𝑛 = 0
• Projection (투영)
• 보통 Least Square 문제에 활용된다. 𝐴𝑥 = 𝑏 의 해가 존재하지 않을 때, 최적의 값 𝑝를 구한다.
• 내적(Inner Product)과 코사인(Cosine)
Cosines and Projections onto Lines
𝜽
Line 𝑎 or Subspace S
b
p
e=b-p  𝒑 is the projection of 𝒃 onto the subspace 𝑺.
(Closest point on line 𝒂 to 𝒃)
𝜽
b
a
b-a
𝑏 − 𝑎 2
= 𝑎 2
+ 𝑏 2
− 2 𝑎 𝑏 cos 𝜃 (제 2 코사인법칙)
𝑏 − 𝑎 𝑇
𝑏 − 𝑎 = 𝑎 𝑇
𝑎 + 𝑏 𝑇
𝑏 − 2 𝑎 𝑏 cos 𝜃
𝑏 𝑇
𝑏 − 𝑎 𝑇
𝑏 − 𝑏 𝑇
𝑎 + 𝑎 𝑇
𝑎 = 𝑎 𝑇
𝑎 + 𝑏 𝑇
𝑏 − 2 𝑎 𝑏 cos 𝜃
𝒂 𝑻
𝒃 = 𝒂 𝒃 𝒄𝒐𝒔 𝜽  내적(𝒂 𝑻
𝒃)은 반대편 벡터에 대한 Projection을 의미한다
• Projection 𝒑
• Projection도 행렬 연산으로 표현할 수 있다.
• 𝒑 = 𝒙𝒂 =
𝒂 𝑻 𝒃
𝒂 𝑻 𝒂
𝒂 = 𝒂
𝒂 𝑻 𝒃
𝒂 𝑻 𝒂
=
𝒂𝒂 𝑻
𝒂 𝑻 𝒂
𝒃
Projection Matrix P
𝜽
Line 𝒂
b
p
𝑏 − 𝑥𝑎
𝒙
(𝑏 − 𝑥𝑎) ⊥ 𝑎 (수선의 발이기 때문에)
𝑎 𝑇
(𝑏 − 𝑥𝑎) = 𝑎 𝑇
𝑏 − 𝑥𝑎 𝑇
𝑎 = 0
𝒙 =
𝒂 𝑻 𝒃
𝒂 𝑻 𝒂
, 𝒑 = 𝒙𝒂
𝒙는 크기값,
벡터 𝑎 방향으로 𝑥만큼 이동한 점이 Projection 𝒑
𝑎 =
1
1
1
일 때, 𝑃 =
𝑎𝑎 𝑇
𝑎 𝑇 𝑎
=
1
3
1 1 1
1 1 1
1 1 1
Projection Matrix P
Projection Matrix P에 벡터 b를 곱하면,
직선 a 상에서 b와 가장 가까운 점(Projection)을 구할 수 있다.
𝑝 = 𝑃𝑏 =
1
3
1 1 1
1 1 1
1 1 1
𝑏
• Projection Matrix P
• 𝑃는 대칭행렬
• 𝑃2
= 𝑃  Projection point에서 한번 더 투영하면 그 자리 그대로
• 𝐶(𝑃) consists of the line through 𝑎.
• 𝑁(𝑃) consists of the plane perpendicular to 𝑎.
• Every column of 𝑃 is the multiple of 𝑎, so 𝑃𝑏 is the multiple of 𝑎.
Projection Matrix P
𝑎 =
𝑎1
𝑎2
𝑎3
일 때, 𝑎𝑎 𝑇
=
𝑎1
𝑎2
𝑎3
𝑎1 𝑎2 𝑎3 =
𝑎1 𝑎1 𝑎1 𝑎2 𝑎1 𝑎3
𝑎2 𝑎1 𝑎2 𝑎2 𝑎2 𝑎3
𝑎3 𝑎1 𝑎3 𝑎2 𝑎3 𝑎3
= 𝑎1 𝑎 𝑎2 𝑎 𝑎3 𝑎 =
𝑎1 𝑎 𝑇
𝑎2 𝑎 𝑇
𝑎3 𝑎 𝑇
𝑹𝒂𝒏𝒌(𝑷) = 𝟏
𝑃 =
𝑎𝑎 𝑇
𝑎 𝑇 𝑎
=
1
𝑎 𝑇 𝑎
∙ 𝑎𝑎 𝑇

More Related Content

What's hot

CVPR 2022 Tutorial에 대한 쉽고 상세한 Diffusion Probabilistic Model
CVPR 2022 Tutorial에 대한 쉽고 상세한 Diffusion Probabilistic ModelCVPR 2022 Tutorial에 대한 쉽고 상세한 Diffusion Probabilistic Model
CVPR 2022 Tutorial에 대한 쉽고 상세한 Diffusion Probabilistic Modeljaypi Ko
 
[오컴 Clip IT 세미나] 머신러닝과 인공지능의 현재와 미래
[오컴 Clip IT 세미나] 머신러닝과 인공지능의 현재와 미래[오컴 Clip IT 세미나] 머신러닝과 인공지능의 현재와 미래
[오컴 Clip IT 세미나] 머신러닝과 인공지능의 현재와 미래Taehoon Ko
 
[PR12] intro. to gans jaejun yoo
[PR12] intro. to gans   jaejun yoo[PR12] intro. to gans   jaejun yoo
[PR12] intro. to gans jaejun yooJaeJun Yoo
 
Householder transformation | Householder Reflection with QR Decomposition
Householder transformation | Householder Reflection with QR DecompositionHouseholder transformation | Householder Reflection with QR Decomposition
Householder transformation | Householder Reflection with QR DecompositionIsaac Yowetu
 
Solution of equations and eigenvalue problems
Solution of equations and eigenvalue problemsSolution of equations and eigenvalue problems
Solution of equations and eigenvalue problemsSanthanam Krishnan
 
[251] implementing deep learning using cu dnn
[251] implementing deep learning using cu dnn[251] implementing deep learning using cu dnn
[251] implementing deep learning using cu dnnNAVER D2
 
Metropolis-Hastings MCMC Short Tutorial
Metropolis-Hastings MCMC Short TutorialMetropolis-Hastings MCMC Short Tutorial
Metropolis-Hastings MCMC Short TutorialRalph Schlosser
 
はじめてのパターン認識8章 サポートベクトルマシン
はじめてのパターン認識8章 サポートベクトルマシンはじめてのパターン認識8章 サポートベクトルマシン
はじめてのパターン認識8章 サポートベクトルマシンNobuyukiTakayasu
 
Backpropagation: Understanding How to Update ANNs Weights Step-by-Step
Backpropagation: Understanding How to Update ANNs Weights Step-by-StepBackpropagation: Understanding How to Update ANNs Weights Step-by-Step
Backpropagation: Understanding How to Update ANNs Weights Step-by-StepAhmed Gad
 
SLAM-베이즈필터와 칼만필터
SLAM-베이즈필터와 칼만필터SLAM-베이즈필터와 칼만필터
SLAM-베이즈필터와 칼만필터jdo
 
[부스트캠프 Tech Talk] 김봉진_WandB로 Auto ML 뿌수기
[부스트캠프 Tech Talk] 김봉진_WandB로 Auto ML 뿌수기[부스트캠프 Tech Talk] 김봉진_WandB로 Auto ML 뿌수기
[부스트캠프 Tech Talk] 김봉진_WandB로 Auto ML 뿌수기CONNECT FOUNDATION
 
Score-Based Generative Modeling through Stochastic Differential Equations
Score-Based Generative Modeling through Stochastic Differential EquationsScore-Based Generative Modeling through Stochastic Differential Equations
Score-Based Generative Modeling through Stochastic Differential EquationsSangwoo Mo
 
Top-k shortest path
Top-k shortest pathTop-k shortest path
Top-k shortest pathredhatdb
 
Multi Object Filtering Multi Target Tracking
Multi Object Filtering Multi Target TrackingMulti Object Filtering Multi Target Tracking
Multi Object Filtering Multi Target TrackingEngin Gul
 
Particle swarm optimization
Particle swarm optimizationParticle swarm optimization
Particle swarm optimizationanurag singh
 
Markov chain intro
Markov chain introMarkov chain intro
Markov chain intro2vikasdubey
 
Dynamic Routing Between Capsules
Dynamic Routing Between CapsulesDynamic Routing Between Capsules
Dynamic Routing Between CapsulesKyuhwan Jung
 
Gaussian Elimination Method
Gaussian Elimination MethodGaussian Elimination Method
Gaussian Elimination MethodAndi Firdaus
 
Gauss Elimination & Gauss Jordan Methods in Numerical & Statistical Methods
Gauss Elimination & Gauss Jordan Methods in Numerical & Statistical MethodsGauss Elimination & Gauss Jordan Methods in Numerical & Statistical Methods
Gauss Elimination & Gauss Jordan Methods in Numerical & Statistical MethodsJanki Shah
 

What's hot (20)

CVPR 2022 Tutorial에 대한 쉽고 상세한 Diffusion Probabilistic Model
CVPR 2022 Tutorial에 대한 쉽고 상세한 Diffusion Probabilistic ModelCVPR 2022 Tutorial에 대한 쉽고 상세한 Diffusion Probabilistic Model
CVPR 2022 Tutorial에 대한 쉽고 상세한 Diffusion Probabilistic Model
 
Graph Kernelpdf
Graph KernelpdfGraph Kernelpdf
Graph Kernelpdf
 
[오컴 Clip IT 세미나] 머신러닝과 인공지능의 현재와 미래
[오컴 Clip IT 세미나] 머신러닝과 인공지능의 현재와 미래[오컴 Clip IT 세미나] 머신러닝과 인공지능의 현재와 미래
[오컴 Clip IT 세미나] 머신러닝과 인공지능의 현재와 미래
 
[PR12] intro. to gans jaejun yoo
[PR12] intro. to gans   jaejun yoo[PR12] intro. to gans   jaejun yoo
[PR12] intro. to gans jaejun yoo
 
Householder transformation | Householder Reflection with QR Decomposition
Householder transformation | Householder Reflection with QR DecompositionHouseholder transformation | Householder Reflection with QR Decomposition
Householder transformation | Householder Reflection with QR Decomposition
 
Solution of equations and eigenvalue problems
Solution of equations and eigenvalue problemsSolution of equations and eigenvalue problems
Solution of equations and eigenvalue problems
 
[251] implementing deep learning using cu dnn
[251] implementing deep learning using cu dnn[251] implementing deep learning using cu dnn
[251] implementing deep learning using cu dnn
 
Metropolis-Hastings MCMC Short Tutorial
Metropolis-Hastings MCMC Short TutorialMetropolis-Hastings MCMC Short Tutorial
Metropolis-Hastings MCMC Short Tutorial
 
はじめてのパターン認識8章 サポートベクトルマシン
はじめてのパターン認識8章 サポートベクトルマシンはじめてのパターン認識8章 サポートベクトルマシン
はじめてのパターン認識8章 サポートベクトルマシン
 
Backpropagation: Understanding How to Update ANNs Weights Step-by-Step
Backpropagation: Understanding How to Update ANNs Weights Step-by-StepBackpropagation: Understanding How to Update ANNs Weights Step-by-Step
Backpropagation: Understanding How to Update ANNs Weights Step-by-Step
 
SLAM-베이즈필터와 칼만필터
SLAM-베이즈필터와 칼만필터SLAM-베이즈필터와 칼만필터
SLAM-베이즈필터와 칼만필터
 
[부스트캠프 Tech Talk] 김봉진_WandB로 Auto ML 뿌수기
[부스트캠프 Tech Talk] 김봉진_WandB로 Auto ML 뿌수기[부스트캠프 Tech Talk] 김봉진_WandB로 Auto ML 뿌수기
[부스트캠프 Tech Talk] 김봉진_WandB로 Auto ML 뿌수기
 
Score-Based Generative Modeling through Stochastic Differential Equations
Score-Based Generative Modeling through Stochastic Differential EquationsScore-Based Generative Modeling through Stochastic Differential Equations
Score-Based Generative Modeling through Stochastic Differential Equations
 
Top-k shortest path
Top-k shortest pathTop-k shortest path
Top-k shortest path
 
Multi Object Filtering Multi Target Tracking
Multi Object Filtering Multi Target TrackingMulti Object Filtering Multi Target Tracking
Multi Object Filtering Multi Target Tracking
 
Particle swarm optimization
Particle swarm optimizationParticle swarm optimization
Particle swarm optimization
 
Markov chain intro
Markov chain introMarkov chain intro
Markov chain intro
 
Dynamic Routing Between Capsules
Dynamic Routing Between CapsulesDynamic Routing Between Capsules
Dynamic Routing Between Capsules
 
Gaussian Elimination Method
Gaussian Elimination MethodGaussian Elimination Method
Gaussian Elimination Method
 
Gauss Elimination & Gauss Jordan Methods in Numerical & Statistical Methods
Gauss Elimination & Gauss Jordan Methods in Numerical & Statistical MethodsGauss Elimination & Gauss Jordan Methods in Numerical & Statistical Methods
Gauss Elimination & Gauss Jordan Methods in Numerical & Statistical Methods
 

Similar to 선형대수 09. 벡터의 직교성과 투영

선형대수 08. 선형 변환 (Linear Transformation)
선형대수 08. 선형 변환 (Linear Transformation)선형대수 08. 선형 변환 (Linear Transformation)
선형대수 08. 선형 변환 (Linear Transformation)AHRA CHO
 
선형대수 07. 선형독립, 4가지 부벡터공간
선형대수 07. 선형독립, 4가지 부벡터공간선형대수 07. 선형독립, 4가지 부벡터공간
선형대수 07. 선형독립, 4가지 부벡터공간AHRA CHO
 
0131 1 spectral_theorem_transformation
0131 1 spectral_theorem_transformation0131 1 spectral_theorem_transformation
0131 1 spectral_theorem_transformationJeonghun Yoon
 
Linear algebra.pptx
Linear algebra.pptxLinear algebra.pptx
Linear algebra.pptxGeonWooYoo1
 
0124 1 linear_algebra_basic_vector
0124 1 linear_algebra_basic_vector0124 1 linear_algebra_basic_vector
0124 1 linear_algebra_basic_vectorJeonghun Yoon
 
Eigendecomposition and pca
Eigendecomposition and pcaEigendecomposition and pca
Eigendecomposition and pcaJinhwan Suk
 
선형대수 11강 벡터 투영과 최소제곱법
선형대수 11강 벡터 투영과 최소제곱법선형대수 11강 벡터 투영과 최소제곱법
선형대수 11강 벡터 투영과 최소제곱법AHRA CHO
 
Ray-triangle intersection
Ray-triangle intersectionRay-triangle intersection
Ray-triangle intersection동환 김
 
03. linear regression
03. linear regression03. linear regression
03. linear regressionJeonghun Yoon
 
Lecture 2: Supervised Learning
Lecture 2: Supervised LearningLecture 2: Supervised Learning
Lecture 2: Supervised LearningSang Jun Lee
 
프로그래머를위한선형대수학1.2
프로그래머를위한선형대수학1.2프로그래머를위한선형대수학1.2
프로그래머를위한선형대수학1.2HyeonSeok Choi
 
Auto-Encoders and Variational Auto-Encoders
Auto-Encoders and Variational Auto-EncodersAuto-Encoders and Variational Auto-Encoders
Auto-Encoders and Variational Auto-EncodersJinho Lee
 
Neural network (perceptron)
Neural network (perceptron)Neural network (perceptron)
Neural network (perceptron)Jeonghun Yoon
 
08. spectal clustering
08. spectal clustering08. spectal clustering
08. spectal clusteringJeonghun Yoon
 

Similar to 선형대수 09. 벡터의 직교성과 투영 (20)

선형대수 08. 선형 변환 (Linear Transformation)
선형대수 08. 선형 변환 (Linear Transformation)선형대수 08. 선형 변환 (Linear Transformation)
선형대수 08. 선형 변환 (Linear Transformation)
 
선형대수 07. 선형독립, 4가지 부벡터공간
선형대수 07. 선형독립, 4가지 부벡터공간선형대수 07. 선형독립, 4가지 부벡터공간
선형대수 07. 선형독립, 4가지 부벡터공간
 
벡터
벡터벡터
벡터
 
0131 1 spectral_theorem_transformation
0131 1 spectral_theorem_transformation0131 1 spectral_theorem_transformation
0131 1 spectral_theorem_transformation
 
Linear algebra.pptx
Linear algebra.pptxLinear algebra.pptx
Linear algebra.pptx
 
0124 1 linear_algebra_basic_vector
0124 1 linear_algebra_basic_vector0124 1 linear_algebra_basic_vector
0124 1 linear_algebra_basic_vector
 
Eigendecomposition and pca
Eigendecomposition and pcaEigendecomposition and pca
Eigendecomposition and pca
 
선형대수 11강 벡터 투영과 최소제곱법
선형대수 11강 벡터 투영과 최소제곱법선형대수 11강 벡터 투영과 최소제곱법
선형대수 11강 벡터 투영과 최소제곱법
 
Ray-triangle intersection
Ray-triangle intersectionRay-triangle intersection
Ray-triangle intersection
 
03. linear regression
03. linear regression03. linear regression
03. linear regression
 
점, 선, 면
점, 선, 면점, 선, 면
점, 선, 면
 
행렬
행렬행렬
행렬
 
Lecture 2: Supervised Learning
Lecture 2: Supervised LearningLecture 2: Supervised Learning
Lecture 2: Supervised Learning
 
프로그래머를위한선형대수학1.2
프로그래머를위한선형대수학1.2프로그래머를위한선형대수학1.2
프로그래머를위한선형대수학1.2
 
행렬
행렬행렬
행렬
 
Auto-Encoders and Variational Auto-Encoders
Auto-Encoders and Variational Auto-EncodersAuto-Encoders and Variational Auto-Encoders
Auto-Encoders and Variational Auto-Encoders
 
Neural network (perceptron)
Neural network (perceptron)Neural network (perceptron)
Neural network (perceptron)
 
Vae
VaeVae
Vae
 
정점 변환
정점 변환정점 변환
정점 변환
 
08. spectal clustering
08. spectal clustering08. spectal clustering
08. spectal clustering
 

More from AHRA CHO

선형대수 03. LU Decomposition
선형대수 03. LU Decomposition선형대수 03. LU Decomposition
선형대수 03. LU DecompositionAHRA CHO
 
선형대수 02. 가우스 소거법
선형대수 02. 가우스 소거법선형대수 02. 가우스 소거법
선형대수 02. 가우스 소거법AHRA CHO
 
01_ML 기초_선형회귀_Linear Regression
01_ML 기초_선형회귀_Linear Regression01_ML 기초_선형회귀_Linear Regression
01_ML 기초_선형회귀_Linear RegressionAHRA CHO
 
00_ML 기초_기본개념
00_ML 기초_기본개념00_ML 기초_기본개념
00_ML 기초_기본개념AHRA CHO
 
[2012 2] 1주차 사회적경제 개요
[2012 2] 1주차 사회적경제 개요[2012 2] 1주차 사회적경제 개요
[2012 2] 1주차 사회적경제 개요AHRA CHO
 
[2012 2] 1주차 사회적경제의 역사
[2012 2] 1주차 사회적경제의 역사[2012 2] 1주차 사회적경제의 역사
[2012 2] 1주차 사회적경제의 역사AHRA CHO
 

More from AHRA CHO (6)

선형대수 03. LU Decomposition
선형대수 03. LU Decomposition선형대수 03. LU Decomposition
선형대수 03. LU Decomposition
 
선형대수 02. 가우스 소거법
선형대수 02. 가우스 소거법선형대수 02. 가우스 소거법
선형대수 02. 가우스 소거법
 
01_ML 기초_선형회귀_Linear Regression
01_ML 기초_선형회귀_Linear Regression01_ML 기초_선형회귀_Linear Regression
01_ML 기초_선형회귀_Linear Regression
 
00_ML 기초_기본개념
00_ML 기초_기본개념00_ML 기초_기본개념
00_ML 기초_기본개념
 
[2012 2] 1주차 사회적경제 개요
[2012 2] 1주차 사회적경제 개요[2012 2] 1주차 사회적경제 개요
[2012 2] 1주차 사회적경제 개요
 
[2012 2] 1주차 사회적경제의 역사
[2012 2] 1주차 사회적경제의 역사[2012 2] 1주차 사회적경제의 역사
[2012 2] 1주차 사회적경제의 역사
 

선형대수 09. 벡터의 직교성과 투영

  • 1. Linear Algebra 10. 벡터의 직교성과 직선투영 한양대 이상화 교수님 <선형대수> http://www.kocw.net/home/search/kemView.do?kemId=977757
  • 2. Orthogonality (직교성) • 벡터의 길이 : 𝒙 𝟐 = 𝒊=𝟏 𝒏 𝒙𝒊 𝟐 = 𝒙 𝑻 𝒙  피타고라스의 정리 • 피타고라스의 정리를 다시 떠올리면, • 𝒙 𝑻 𝒚 = 𝟎 : 𝜽 = 𝟗𝟎° • 𝒙 𝑻 𝒚 > 𝟎 : 𝜽 < 𝟗𝟎°  𝒙 𝟐 + 𝒚 𝟐 > 𝒙 − 𝒚 𝟐 • 𝒙 𝑻 𝒚 < 𝟎 : 𝜽 > 𝟗𝟎°  𝒙 𝟐 + 𝒚 𝟐 < 𝒙 − 𝒚 𝟐 𝒙 𝒚 𝒙 𝟐 + 𝒚 𝟐 = 𝒙 − 𝒚 𝟐 = 𝒚 − 𝒙 𝟐 𝒙 𝑻 𝒙 + 𝒚 𝑻 𝐲 = 𝒙 − 𝒚 𝑻 𝒙 − 𝒚 = 𝒚 − 𝒙 𝑻 𝒚 − 𝒙 = 𝒙 𝑻 𝒙 − 𝒚 𝑻 𝒙 − 𝒙 𝑻 𝒚 + 𝒚 𝑻 𝒚 𝒚 𝑻 𝒙 = 𝒙 𝑻 𝒚 = 𝟎  벡터 x와 벡터 y가 직교하는 조건𝜽 𝜽 𝜽
  • 3. • If non-zero vectors 𝒗 𝟏, 𝒗 𝟐, … , 𝒗 𝒏 are mutually orthogonal, then the vectors are independent. ① 𝒗𝒊 𝑻 𝒗𝒋 = 𝟎 𝒇𝒐𝒓 𝒂𝒏𝒚 𝒊, 𝒋 ②는 𝒄 𝟏 𝒗 𝟏 + 𝒄 𝟐 𝒗 𝟐 + ⋯ + 𝒄 𝒏 𝒗 𝒏 = 𝟎를 만족하는 값이 𝒄 𝟏 = 𝒄 𝟐 = ⋯ = 𝒄 𝒏 = 𝟎 밖에 없을 때 만족 𝒗 𝟏 𝑻 𝒄 𝟏 𝒗 𝟏 + 𝒄 𝟐 𝒗 𝟐 + ⋯ + 𝒄 𝒏 𝒗 𝒏 = 𝒄 𝟏 𝒗 𝟏 𝟐 + 𝒄 𝟐(𝒗 𝟏 𝑻 𝒗 𝟐) + ⋯ + 𝒄 𝒏(𝒗 𝟏 𝑻 𝒗 𝒏) = 𝒄 𝟏 𝒗 𝟏 𝟐 = 𝟎  모든 non-zero 벡터 𝒗𝒊 𝑻 에 대해 𝒄𝒊 𝒗𝒊 𝟐 = 𝟎 이므로, 𝒄 𝟏 = 𝒄 𝟐 = ⋯ = 𝒄 𝒏 = 𝟎, 즉, 𝒗 𝟏, 𝒗 𝟐, … , 𝒗 𝒏는 선형독립이다. Orthogonality (직교성) ① ② =0 (①) =0 (①)
  • 4. • N개의 직교하는 벡터(즉, 선형독립인 벡터)를 Basis로 사용하면 해당 공간을 모두 표현할 수 있고 연산도 훨씬 간편해진다. • 벡터 공간의 모든 벡터 𝒙는 𝒙 = 𝒄𝒊 𝒗𝒊 로 표현 가능 • 그렇다면 각 𝒄𝒊는 어떻게 구할 수 있을까?  앞선 증명에서 쓰였던 방법을 그대로 사용 • 𝒗 𝟏, 𝒗 𝟐, … , 𝒗 𝒏이 직교하지 않는다면, 각 𝒄𝒊는 기존처럼 G.E.을 통해서 구해야 한다.  직교하는 Basis를 사용하면 연산이 편해짐 Orthogonality (직교성) 𝒗𝒊 𝑻 𝒙 = 𝒗𝒊 𝑻 𝒄 𝟏 𝒗 𝟏 + 𝒄 𝟐 𝒗 𝟐 + ⋯ + 𝒄 𝒏 𝒗 𝒏 = 𝒄 𝟏(𝒗𝒊 𝑻 𝒗 𝟏) + 𝒄 𝟐(𝒗𝒊 𝑻 𝒗 𝟐) + ⋯ + 𝒄𝒊 𝒗𝒊 𝟐 + ⋯ + 𝒄 𝒏(𝒗𝒊 𝑻 𝒗 𝒏) = 𝒄𝒊 𝒗𝒊 𝟐 𝒄𝒊 = 𝒗𝒊 𝑻 𝒙 𝒗𝒊 𝟐
  • 5. • 벡터 뿐만 아니라 Subspace끼리 역시 직교할 수 있다. • Subspace 𝑆1의 모든 벡터가 또 다른 Subspace 𝑆2의 모든 벡터에 수직일 때, 𝑆1과 𝑆2는 직교 한다. (𝑣 ∈ 𝑉, 𝑤 ∈ 𝑊 이고 𝑣 𝑇 𝑤 = 0 𝑓𝑜𝑟 ∀ 𝑣, 𝑤 일 때) • Row space is orthogonal to the nullspace in 𝑹 𝒏 . • Column space is orthogonal to the left nullspace in 𝑹 𝒎 . Orthogonal Subspaces 𝐴𝑥 = 0일 때, 𝑥는 Nullspace 𝐴𝑥 = 𝑅𝑜𝑤1 𝑅𝑜𝑤2 ⋯ 𝑅𝑜𝑤 𝑀 𝑥1 𝑥2 ⋯ 𝑥 𝑛 = 0 0 ⋯ 0 모든 행에 대해 (𝑅𝑜𝑤 𝑖) 𝑇 𝑥 = 0이기 때문에, Nullspace는 Row space에 직교한다. 𝐴 𝑇 𝑦 = 0일 때, 𝑦는 Left nullspace 𝐴 𝑇 𝑦 = 𝐶𝑜𝑙𝑢𝑚𝑛 1 𝐶𝑜𝑙𝑢𝑚𝑛 2 ⋯ 𝐶𝑜𝑙𝑢𝑚𝑛 𝑁 𝑦1 𝑦2 ⋯ 𝑦 𝑚 = 0 0 ⋯ 0 모든 행에 대해 (𝐶𝑜𝑙𝑢𝑚𝑛 𝑖) 𝑇 𝑦 = 0이기 때문에, Left Nullspace는 Column space에 직교한다.
  • 6. 𝑨𝒙 = 𝑨 𝒙 𝒓 + 𝒙 𝒏 = 𝒃 Row Space Column Space Left Nullspace Nullspace 𝑹 𝒏 𝑹 𝒎 𝒃 𝒙 𝒓 𝐴𝑥 𝑟 = 𝑏 𝒙 𝒏 𝑥 = 𝑥 𝑟 + 𝑥 𝑛 𝐴𝑥 𝑛 = 0
  • 7. • Projection (투영) • 보통 Least Square 문제에 활용된다. 𝐴𝑥 = 𝑏 의 해가 존재하지 않을 때, 최적의 값 𝑝를 구한다. • 내적(Inner Product)과 코사인(Cosine) Cosines and Projections onto Lines 𝜽 Line 𝑎 or Subspace S b p e=b-p  𝒑 is the projection of 𝒃 onto the subspace 𝑺. (Closest point on line 𝒂 to 𝒃) 𝜽 b a b-a 𝑏 − 𝑎 2 = 𝑎 2 + 𝑏 2 − 2 𝑎 𝑏 cos 𝜃 (제 2 코사인법칙) 𝑏 − 𝑎 𝑇 𝑏 − 𝑎 = 𝑎 𝑇 𝑎 + 𝑏 𝑇 𝑏 − 2 𝑎 𝑏 cos 𝜃 𝑏 𝑇 𝑏 − 𝑎 𝑇 𝑏 − 𝑏 𝑇 𝑎 + 𝑎 𝑇 𝑎 = 𝑎 𝑇 𝑎 + 𝑏 𝑇 𝑏 − 2 𝑎 𝑏 cos 𝜃 𝒂 𝑻 𝒃 = 𝒂 𝒃 𝒄𝒐𝒔 𝜽  내적(𝒂 𝑻 𝒃)은 반대편 벡터에 대한 Projection을 의미한다
  • 8. • Projection 𝒑 • Projection도 행렬 연산으로 표현할 수 있다. • 𝒑 = 𝒙𝒂 = 𝒂 𝑻 𝒃 𝒂 𝑻 𝒂 𝒂 = 𝒂 𝒂 𝑻 𝒃 𝒂 𝑻 𝒂 = 𝒂𝒂 𝑻 𝒂 𝑻 𝒂 𝒃 Projection Matrix P 𝜽 Line 𝒂 b p 𝑏 − 𝑥𝑎 𝒙 (𝑏 − 𝑥𝑎) ⊥ 𝑎 (수선의 발이기 때문에) 𝑎 𝑇 (𝑏 − 𝑥𝑎) = 𝑎 𝑇 𝑏 − 𝑥𝑎 𝑇 𝑎 = 0 𝒙 = 𝒂 𝑻 𝒃 𝒂 𝑻 𝒂 , 𝒑 = 𝒙𝒂 𝒙는 크기값, 벡터 𝑎 방향으로 𝑥만큼 이동한 점이 Projection 𝒑 𝑎 = 1 1 1 일 때, 𝑃 = 𝑎𝑎 𝑇 𝑎 𝑇 𝑎 = 1 3 1 1 1 1 1 1 1 1 1 Projection Matrix P Projection Matrix P에 벡터 b를 곱하면, 직선 a 상에서 b와 가장 가까운 점(Projection)을 구할 수 있다. 𝑝 = 𝑃𝑏 = 1 3 1 1 1 1 1 1 1 1 1 𝑏
  • 9. • Projection Matrix P • 𝑃는 대칭행렬 • 𝑃2 = 𝑃  Projection point에서 한번 더 투영하면 그 자리 그대로 • 𝐶(𝑃) consists of the line through 𝑎. • 𝑁(𝑃) consists of the plane perpendicular to 𝑎. • Every column of 𝑃 is the multiple of 𝑎, so 𝑃𝑏 is the multiple of 𝑎. Projection Matrix P 𝑎 = 𝑎1 𝑎2 𝑎3 일 때, 𝑎𝑎 𝑇 = 𝑎1 𝑎2 𝑎3 𝑎1 𝑎2 𝑎3 = 𝑎1 𝑎1 𝑎1 𝑎2 𝑎1 𝑎3 𝑎2 𝑎1 𝑎2 𝑎2 𝑎2 𝑎3 𝑎3 𝑎1 𝑎3 𝑎2 𝑎3 𝑎3 = 𝑎1 𝑎 𝑎2 𝑎 𝑎3 𝑎 = 𝑎1 𝑎 𝑇 𝑎2 𝑎 𝑇 𝑎3 𝑎 𝑇 𝑹𝒂𝒏𝒌(𝑷) = 𝟏 𝑃 = 𝑎𝑎 𝑇 𝑎 𝑇 𝑎 = 1 𝑎 𝑇 𝑎 ∙ 𝑎𝑎 𝑇