More Related Content
Similar to PRMLの線形回帰モデル(線形基底関数モデル) (20)
More from Yasunori Ozaki (16)
PRMLの線形回帰モデル(線形基底関数モデル)
- 2. 自己紹介
• 尾崎安範
• 経歴
– 豊田高専→名古屋大→東大院→
民間の研究所(予定)
• 研究分野
– 視線情報を用いたユーザ・インターフェース
• 興味
– コンピュータビジョン(画像認識など)
– データサイエンス(機械学習など)
2
- 33. 最小二乗法の幾何学(準備)(1/2)
• 最小二乗法で求めた結果の意味を
図で考えてみよう
モデルで
予測した結果
モデルy(x,w)
y(x1,w)
モデルy(x,w)
t1
t1
x1
補足
t
t
– モデルでy(x,w)=w0として求めた結果
y = yx1 , w, yx 2 , w , , yx N , w とはなにか?
x
x1
x
33
- 34. 最小二乗法の幾何学(準備) (2/2)
• 視点を変えてみよう
– 例えば、観測値を軸にして考えてみよう
y(x1,w)
モデルy(x,w)
t1
x1
補足
x
t1の軸
t
• モデルyはパラメータwをどう変えても、
部分空間S上にしか動けない
• 最小二乗法とは部分空間S上で一番観測値に
近くなる(誤差が少ない)ようにモデルのパラメータを
部分空間
選ぶこと
予測値
y=(y(x1,w),
y(x2,w))
0 w0 , w0
S 0
観測値
t=(t1,t2)
t2の軸
34
- 56. 付録:ノルム
• 空間中の2点の長さはいろいろ決めることができる
– マンハッタン距離: x
2
y2
1/ 2
– ユークリッド距離: x y
1/1
• 長さを一般化しよう!
xj
j
p
1/ p
– ノルムという概念
– pを固定したとき、特にL-pノルムという
• マンハッタン距離=L-1ノルム
• ユークリッド距離=L-2ノルム
• 正則化項を一般化しよう!
– L-1ノルムで重みを正規化→L1正規化(lasso)
– L-2ノルムで重みを正規化→L2正規化
56