한양대 이상화 교수님 <선형대수> KOCW 11강 벡터 투영과 최소제곱법 강의 정리 노트

1. Linear Algebra
11. 벡터투영과 최소제곱법
한양대 이상화 교수님 <선형대수>
http://www.kocw.net/home/search/kemView.do?kemId=977757

2. M x N 행렬과 방정식
A x
A
A x
x
b
b
b
=
=
=
(1) M = N 일 때
- 방정식의 개수 = 미지수의 개수
- 가우스 소거법으로 “LDU 분할”
- 𝐴가 non-singular 일 때 유일한 해 존재
(2) M < N 일 때
- 방정식의 개수 < 미지수의 개수
- 가우스 소거법으로 “Row Reduced Form”
- 해가 무수히 많이 존재한다면, free/pivot variable로 관계식 표현
(3) M > N 일 때
- 방정식의 개수 > 미지수의 개수
- 유일한 해가 존재할 수 있지만, 해가 존재하지 않을 가능성이 높음
- 해가 존재하지 않을 때 최적의 해를 찾아야 함

3. 최적의 해 찾기
• 최적의 해는 어떻게 찾을까?
 Minimizing Errors
𝜽
C(A)
b
p
Error  Ax-b Error 𝐴𝑥 − 𝑏 2 = 𝐸2
2𝑥 = 𝑏1
3𝑥 = 𝑏2
4𝑥 = 𝑏3
2
3
4
𝑥 =
𝑏1
𝑏2
𝑏3
* 𝑏 ∈ 𝐶(𝐴) 이라면
𝑏1
𝑏2
𝑏3
=
2
3
4
∗ 𝑠𝑐𝑎𝑙𝑎𝑟 이고,
𝑥 =
𝑏1
2
=
𝑏2
3
=
𝑏3
4
하나 존재!
𝒃 ∉ 𝑪(𝑨) 일 때, error를 최소화하는 𝒙를 찾아야 함
𝐸2
= (2𝑥 − 𝑏1)2
+(3𝑥 − 𝑏2)2
+(4𝑥 − 𝑏3)2
𝑑𝐸2
𝑑𝑥
= 0  𝑥 =
2𝑏1+3𝑏2+4𝑏3
22+32+42 =
𝑎 𝑇 𝑏
𝑎 𝑇 𝑎
C(A) : a line through (2, 3, 4)
b
p

4. • 𝒃 − 𝑨 𝒙 ⊥ 𝑪 𝑨
 Since column space is perpendicular to left nullspace,
𝑏 − 𝐴 𝑥 is in the left nullspace.
𝐴 𝑇 𝑏 − 𝐴 𝑥 = 0  𝑨 𝑻 𝑨 𝒙 = 𝑨 𝑻 𝒃
• The error vector must be orthogonal to each column vector of A.
𝑎𝑖
𝑇
𝑏 − 𝐴 𝑥 = 0 
𝑎1
𝑇
𝑎2
𝑇
…
𝑎 𝑛
𝑇
𝑏 − 𝐴 𝑥 = 0 𝐴 𝑇
𝑏 − 𝐴 𝑥 = 0  𝑨 𝑻
𝑨 𝒙 = 𝑨 𝑻
𝒃
• 𝑨 𝑻
𝑨 𝒙 = 𝑨 𝑻
𝒃 에서 𝑨 𝑻
𝑨의 역행렬이 존재한다면,
𝑥 = (𝐴 𝑇 𝐴)−1 𝐴 𝑇 𝑏
𝑝 = 𝐴 𝑥 = 𝐴(𝐴 𝑇
𝐴)−1
𝐴 𝑇
𝑏
Least Square Problem
origin
𝑨 𝒙
𝒃
𝒆
𝑪(𝑨)

5. 𝐴 =
1 2
1 3
0 0
, 𝑏 =
4
5
6
𝐶(𝐴)는 𝑥 − 𝑦 평면
𝐴 𝑇
𝐴 =
2 5
5 13
𝑥 = (𝐴 𝑇 𝐴)−1 𝐴 𝑇 𝑏 =
13 −5
−5 2
1 1 0
2 3 0
4
5
6
=
2
1
𝑝 = 𝐴 𝑥 =
1 2
1 3
0 0
2
1
=
4
5
0
Least Square Problem
𝑏 = (4, 5, 6)
𝑝 = (4, 5, 0)

6. • 회귀 분석 문제
• 일직선에 있지 않은 (같은 벡터 공간에 있지 않은) 점들을 가장 근사한(error가 작은) 직선에
투영하기
Least Square Problem
𝑦 = 𝐷𝑥 + 𝐶  𝐶와 𝐷가 미지수
𝒃 𝟏
𝒃 𝟐
𝒃 𝟑
𝒃 𝟒
𝒃 𝟓
𝒃 𝟔
𝒃 𝟕
1 𝑡1
1 𝑡2
⋮ ⋮
1 𝑡 𝑛
𝐶
𝐷
=
𝑏1
𝑏2
⋮
𝑏 𝑛
 𝐴𝑥 = 𝑏 형태 𝑥 = 𝐶
𝐷