サポートベクトルマシンの理論について。

1. サポートベクトルマシン
@Wakamatz

2. 構成
1. サポートベクトルマシンとは
2. 線形SVM
3. 非線形SVM
4. 汎化性能と正則化

3. サポートベクトルマシンとは
1. 2クラスの線形識別器である。
2. 2クラスについてマージン最大となるような超平面を求めるので
汎化性能が高い。
3. カーネルトリックを用いることで非線形の場合も対応可能であ
る。
4. 常に大域最適解が求まる。

4. 線形分離可能な場合
f(x) = + {w
t
xi w0
≥ 1
≤ −1
( ∈ )xi ω1
( ∈ )xi ω2
(1)

5. ハードマージン
マージン最大化
arg max
w,w0
arg min
i
| + |w
t
xi w0
||w||
(2)

6. 線形分離不可能な場合
：スラック変数≥ 0(i = 1, . . . , n)ξi
f(x) = + {w
t
xi w0
≥ 1 − ξi
≤ −1 + ξi
( ∈ )xi ω1
( ∈ )xi ω2
(3)

7. 教師信号を用いて表現
教師信号
:= {yi
1
−1
( ∈ )xi ω1
( ∈ )xi ω2
(4)
(3),(4)を合わせて
( + ) ≥ 0yi w
t
xi w0
≥ 0ξi
(5)

8. ソフトマージン
次の最小化問題を解くことにより を決定する。w, w0
G(w, ξ) := ||w| + cminimize
w, ,ξw0
1
2
|
2
∑
n
i=1
ξi
subject to ∀i, ( + ) − (1 − ) ≥ 0yi w
t
xi w0 ξi
∀i, ≥ 0ξi
(6)
※ は誤分類に対するペナルティの大きさを制御するパラメータc

9. ラグランジュ未定乗数法（１）
ラグランジュ未定乗数法を用いて解く。
式(6)のラグランジュ関数は下記の通り。
L(w, , ξ, λ, μ) := ||w| + c −w0
1
2
|
2
∑
i=1
n
ξi
{ ( + ) − (1 − )} −∑
i=1
n
λi yi w
t
xi w0 ξi ∑
i=1
n
μi ξi
(7)

10. ラグランジュ未定乗数法（２）
ラグランジュ関数のKTT（Karush-Kuhn-Tucker）条件は
= 0
∂L
∂w
= 0
∂L
∂w0
= 0
∂L
∂ξi
⇒
⇒
⇒
w = ∑
n
i=1
λi yi xi
= 0∑
n
i=1
λi yi
= c −λi μi
(8)
※Karush-Kuhn-Tucker条件とは、非線形計画において一階導関数が満た
すべき最適条件のこと

11. ソフトマージンの双対問題
実際には次式 の最大化問題を解く。F (λ)
ただし、
F (λ)maxmize
λ
subject to
:= 1 − Hλλ
t 1
2
λ
t
y = 0λ
t
c1 ≥ λ ≥ 0
(9)
λ
1
H
=
=
=
( , . . . ,λ1 λn )
t
(1, . . . , 1)
t
yi yj x
t
i
xj

12. 識別境界
を最大化する が求まるとF (λ) λ
∗
として、
w = ∑
i=1
n
λi yi xi
＝ −w
∗
0
yi w
t
xi
f(x) = x + = x +w
t
w
∗
0
∑
i=1
n
λ
∗
i
yi x
t
i
w
∗
0
(10)

13. 非線形SVM
より高次元の空間への写像を考える。
ϕ(x) : →R
d
R
D
を新しい学習パターンとみなす。ϕ( ) (i = 1, . . . , n)xi

14. マージン最大化
次の最小化問題を解くことにより を決定する。w, w0
G(w, ξ) := ||w| + cminimize
w, ,ξw0
1
2
|
2
∑
i=1
n
ξi
subject to ∀i, ( ϕ( ) + ) − (1 − ) ≥ 0yi w
T
xi w0 ξi
∀i, ≥ 0ξi

15. ラグランジュ未定乗数法（１）
ラグランジュ未定乗数法を用いて解く。
式(6)のラグランジュ関数は下記の通り。
L(w, , ξ, λ, μ) := ||w| + c −w0
1
2
|
2
∑
i=1
n
ξi
{ ( ϕ( ) + ) − (1 − )} −∑
i=1
n
λi yi w
T
xi w0 ξi ∑
i=1
n
μi ξi

16. ラグランジュ未定乗数法（２）
ラグランジュ未定乗数法を解く。
= 0
∂L
∂w
= 0
∂L
∂w0
= 0
∂L
∂ξi
⇒
⇒
⇒
w = ϕ( )∑
i=1
n
λi yi xi
= 0∑
i=1
n
λi yi
= c −λi μi

17. カーネル関数
関数 を次のように定義する。k(x, y)
k(x, y) := ϕ(x ϕ(y))
t
この時、識別函数 は最適解 を用いて。f(x) , ,w
∗
w
∗
0
λ
∗
i
f(x) =
=
tϕ(x) +w
∗
w
∗
0
k( , x) +∑
i=1
n
λ
∗
i
yi xi w
∗
0

18. カーネル関数のメリット
カーネル関数を用いることによって
学習データの各点の特徴空間上の座標 を計算しなくてよ
い。
が未知でも最適解を得ることができる。
ϕ(x)
ϕ(x)

19. 汎化性能と正則化
G(w, ξ) := ||w| + cminimize
w, ,ξw0
1
2
|
2
∑
i=1
n
ξi
はスラック変数（ ）による誤分類のペナルティとマージンの大きさの間のト
レードオフを制御するパラメータ
大 → 誤分類に対するペナルティ大、マージン小
小 → 誤分類に対するペナルティ小、マージン大
c ξi
c
c