Recommended
More Related Content
What's hot
What's hot (20)
Similar to 선형 최소 자승 최적화
More from Jubok Kim
More from Jubok Kim (14)
선형 최소 자승 최적화
- 1. “나는 전산과니까 수학 과목은 필수만 들어도 되잖아 (笑)” 라고 생각하고 응용수학을 수강하지 않은 걸 n년째 후회(만)하는 당신도 느낌적인 느낌으로 어쨌든 구현은 할 수 있는 선형 최소 자승 최적화 넥슨코리아 데브캣 스튜디오 파이오니어랩 김주복 (근혜동산 회장 아님) 2017.03.30 ㅣ i n e a r L e a s t - s q u a r e s O p t i m i z a t i o n
- 2. 들어가기 전에 내가 하는 소리가 맞는지 틀렸는지 나도 모릅니다 수상하면 레퍼런스를 보세요 이미 다 알면서 얼마나 헛소리하는지 보러 온 사람은 돌아가
- 3. 사전 지식 그래도 여러분 다항식의 미분 정도는 기억한다고 믿습니다 제발 예제)
- 4. 아니 사실 몰라도 돼 식만 세우면 편미분은 알파고가 기계가 한다 http://www.derivative-calculator.net/
- 5. 자 그럼 시작합니다 선형 최소 자승 최적화 l i n e a r L e a s t - s q u a r e s O p t i m i z a t i o n
- 6. 근데 제목부터 모르겠다… 선형 최소 자승 최적화 l i n e a r L e a s t - s q u a r e s O p t i m i z a t i o n
- 7. 선형? ”Linear” “미분”했는데 숫자가 나온다 = 선형 선형은 선 모양 비선형은 꾸불꾸불함
- 8. 최소 자승? “Least-squares” 데이터와 예측된 값의 거리(=오차의 제곱 square)의 합이 최소 데이터 예측과 오차 각 데이터 별 오차의 제곱의 합
- 9. 최적화? “Optimization” 거리의 합(=최소 자승)을 최소화하는 값을 구하기 E(a*, b*) < E(다른 모든 a, 다른 모든b) 인 a*, b*를 찾자!
- 10. 아 아아아 아아 그 그거 같은데 뭐였지 엑셀로 하는 그거!!!!!!!!!! http://egloos.zum.com/snowxtal/v/1510343
- 11. 관측 값이 있을 때…
- 12. 대충 수식을 때려 맞춘 다음에…
- 13. 엑셀에게 부탁해
- 14. 이걸 우리가 직접 풀 수 잇어 (왜) 문제를 좀 폼나게 적어보면 f는 원본 함수 f(x)는 d차원 공간에서 정의된 m차 다항식 최소 자승 근사 Least Squares Approximation 모든 데이터 지점 xi에서 fi와 f(xi)의 거리가 최대한 가까운 f(x)를 찾아보자!
- 15. 근데 최소값은 어떻게 찾지
- 16. 아 그래 미분해서 0이면 최소값! 아닌가? 아닌가?!? 근데 다차원 다항식은 뭘 어떻게 미분하는 거야
- 17. 여기서 등장하는 그라디언트 벡터 “Gradient Vector” “다변수 함수의 특정 지점에서 변화 방향과 크기” http://www.sharetechnote.com/html/Calculus_Gradient.html 그라디언트 기호 그라디언트의 정의 스칼라 벡터 전체적으로 벡터
- 18. 골뱅이는 편미분인데 신경쓰지 마세요 그냥 미분하고 똑같은데 변수 여러 개 중 하나만 변수로 치는 거야
- 19. 진짜야 잘 몰라도 됨 타이핑만 하면 기계가 해 줌
- 20. 편미분을 모아 벡터로 만들면 그라디언트 맞지 맞지 그 느낌적인 느낌 느낌
- 21. 그러면 이제 최소값을 구할 수 잇어 최소화하려고 하는 목표 함수
- 22. 최소화하려고 하는 목표 함수 계산하려고 하는 f와 유사한 함수 f(x)
- 23. 최소화하려고 하는 목표 함수 계산하려고 하는 f와 유사한 함수 f(x) 다항식 베이스 벡터
- 24. 최소화하려고 하는 목표 함수 계산하려고 하는 f와 유사한 함수 f(x) 다항식 베이스 벡터 다항식 계수 ← 계산해서 구하려는 값이 얘들이니까 지금은 모름
- 25. 복잡한 거 같은데 그냥 이런 수식이야 예를 들어 2차원 2차 다항식이라고 하면
- 27. 그러면 그라디언트가 나갈 차례!! 최소값이 되는 지점은 목표 함수의 그라디언트가 0인 곳!!!! 거기냐!!!!!!!!!!! 지금 바꿔가며 찾아볼 값은 계수니까 c1, …, ck에 대해서 편미분
- 28. 자, 이제 편미분하자!
- 29. 미분엔 곱 법칙이 있어… 다시 말하지만 어차피 웬만하면 기계가 다 해주니까 몰라도 돼… ← 미분의 곱 법칙 ← 곱 법칙을 f2꼴에 대해 적용
- 30. 이젠 진짜로 편미분 뿐이야 ← f2꼴이니까 ← 계수 c1에 대해서 편미분하면
- 31. 곱 법칙을 사용하면… ← f2꼴이니까 ← 계수 c1에 대해서 편미분하면
- 32. ← f2꼴이니까 ← 계수 c1에 대해서 편미분하면
- 33. 편미분을 모아서 그라디언트를 만들자 티끌 모아 태산 (아님)
- 34. 벡터 형태로 바꿔 쓰고
- 37. 이제 이것만 풀면 돼! 간단하지????
- 38. 아니 진짜야 생각보다 복잡하지 않아…요… 예를 들어 데이터 샘플을 2차원 2차 함수 f(x)로 근사하려고 한다면 모든 데이터 샘플 (xi, yi, fi)에 대해서 이 수식을 채운 뒤 Ax=B를 풀면 된다 ←
- 39. Ax=B는 어떻게 푸는데? 선형 대수 라이브러리가 해줍니다 아무 거나 주워다 붙여도 됨 https://eigen.tuxfamily.org/dox/group__LeastSquares.html
- 40. 여기는 지금은 신경 안 써도 돼
- 41. 별 거 아니네 최소 자승 어쩌구 선형 대수 라이브러리만 있으면 어떤 근사 문제도 간단하게 해결
- 42. 그런데 최소 자승 근사로 못 푸는 문제들은? 목표 함수가 다항식이 아니면? 목표 함수가 여러 개면?
- 43. 끝 다음 시간엔 비선형 최소 자승 최적화에 대해서 배워보자~