7. 問題設定 I (p. 1∼3)
Data
Training Valida,on Test
Cross Valida,on
Cross validated hypothesis
Generaliza,on
Performance
data spli<ng
input : x X Rd
output : y Y R
Observed Data
h
h
Hypothesis
(h(x), y)
Loss func,on
6
8. 問題設定 II 判別問題 (§1.1.1)
• |Y| < ∞ のとき, input data から label を予測する.
• |Y| = 2 : 2 値判別 (e.g. 迷惑メール分類
Y = {“spam”, “nonspam”})
• |Y| ≥ 3 : 多値判別
• 判別問題における loss function (0-1 loss)
ℓ(ˆy, y) = 1[ˆy ̸= y] =
1 if y ̸= ˆy
0 otherwise
=
ℓy if y ̸= ˆy
0 otherwise
損失が真ラベルに依存する場合
7
9. 問題設定 III 回帰問題 (§1.1.2)
• Y = R のとき input から output を予測 (e.g. 株価や電力需
要の予測)
• 回帰問題の loss function (squared loss)
ℓ(ˆy, y) = |ˆy − y|2
8
10. 問題設定 IV ランキング問題 (§1.1.3)
• 3 つ組 data (x, x′, y) ∈ X2 × Y を観測
y =
+1 if x ≻ x′
−1 if x ≺ x′
• 以下のような仮説 h : X → R を学習
x ≻ x′
⇒ h(x) > h(x′
)
x ≺ x′
⇒ h(x) ≤ h(x′
)
• ランキング問題の loss function (0-1 loss)
ℓ(ˆh, y) =
1 if y(h1 − h2) ≤ 0
0 otherwise
ここで h1 = h(x), h2 = h(x′), ˆh = (h1, h2) ∈ R2.
0 − 1 損失の下でランキング問題は判別として扱える.
9
42. References
[1] Olivier Bousquet, Stéphane Boucheron, and Gábor Lugosi.
Introduction to statistical learning theory. In Advanced
lectures on machine learning, pages 169–207. Springer, 2004.
[2] Mehryar Mohri, Afshin Rostamizadeh, and Ameet Talwalkar.
Foundations of machine learning. MIT press, 2012.
[3] Shai Shalev-Shwartz and Shai Ben-David. Understanding
machine learning: From theory to algorithms. Cambridge
university press, 2014.
[4] 金森敬文. 統計的学習理論 (機械学習プロフェッショナルシ
リーズ), 2015.
41