MLaPP 4章「ガウシアンモデル」

1. Gaussianmodels ガウシアンモデル MLaPP Chapter 4

2. きょうの話題  ガウス分布とは  ガウス分布にもとづく判別分析  ガウス分布を用いた補間  ガウス分布とベイジアン

3. きょうの話題  ガウス分布とは  ガウス分布にもとづく判別分析  ガウス分布を用いた補間  ガウス分布とベイジアン割愛します m(_ _)m

4. きょうの話題  ガウス分布とは  ガウス分布にもとづく判別分析  ガウス分布を用いた補間

6. ガウス分布 (Gaussian Distribution) もっともよく使われる分布の王者正規分布 (Normal Distribution) とも呼ぶガウス分布とは概要

7. ガウス分布 (Gaussian Distribution) もっともよく使われる分布の王者正規分布 (Normal Distribution) とも呼ぶ単変量が許されるのは小学生まで！！！ガウス分布とは概要

8. ガウス分布 (Gaussian Distribution) もっともよく使われる分布の王者正規分布 (Normal Distribution) とも呼ぶガウス分布とは概要

9. ガウス分布とは概要ガウス分布 (Gaussian Distribution) もっともよく使われる分布の王者正規分布 (Normal Distribution) とも呼ぶ

10. ガウス分布とは概要ガウス分布 (Gaussian Distribution) もっともよく使われる分布の王者正規分布 (Normal Distribution) とも呼ぶ大事なのはこの後ろの部分（前半は正規化係数）

11. ガウス分布とは expの中を詳しく

12. ガウス分布とは expの中を詳しく

13. ガウス分布とは expの中を詳しくこういう v⊤Av みたいな形を「2次形式」といいます

14. ガウス分布とは expの中を詳しくこういう v⊤Av みたいな形を「2次形式」といいます 2次形式の性質はあいだの行列の固有値で決まるのでちょっと Σ-1 を固有値分解してみましょう

15. ガウス分布とは expの中を詳しくとすると

18. ガウス分布とは expの中を詳しくということは、2次元で考えれば

19. ガウス分布とは expの中を詳しくということは、2次元で考えれば Σ は半正定値（固有値が非負） ↓ 分布の等高線が楕円になる！

20. ガウス分布とは expの中を詳しくこのは

21. ガウス分布とは expの中を詳しくこのは x と μ のユークリッド距離の分散を補正したもの（＝マハラノビス距離）の２乗

22. ガウス分布とは expの中を詳しくこのは x と μ のユークリッド距離の分散を補正したもの（＝マハラノビス距離）の２乗

23. ガウス分布とは expの中を詳しくこのは x と μ のユークリッド距離の分散を補正したもの（＝マハラノビス距離）の２乗 → ガウス分布を書き直すと

24. ガウス分布 (Gaussian Distribution) もっともよく使われる分布の王者正規分布 (Normal Distribution) とも呼ぶガウス分布とは概要、再び

25. ガウス分布 (Gaussian Distribution) もっともよく使われる分布の王者正規分布 (Normal Distribution) とも呼ぶガウス分布とは概要、再び

26. 一言でいえばガウス分布とはどの辺が王者なのか

27. 一言でいえば「ガウス分布たん可愛いよ (；´Д｀)ﾊｧﾊｧ」ガウス分布とはどの辺が王者なのか

28. 一言でいえば「ガウス分布たん可愛いよ (；´Д｀)ﾊｧﾊｧ」「シンプルでありながら現実に即している」ガウス分布とはどの辺が王者なのか

29. 一言でいえば「ガウス分布たん可愛いよ (；´Д｀)ﾊｧﾊｧ」「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先であるガウス分布とはどの辺が王者なのか

30. 一言でいえば「ガウス分布たん可愛いよ (；´Д｀)ﾊｧﾊｧ」「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である • たった２つのパラメータで定まるガウス分布とはどの辺が王者なのか

31. 一言でいえば「ガウス分布たん可愛いよ (；´Д｀)ﾊｧﾊｧ」「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である • たった２つのパラメータで定まる • しかもその２つが解釈しやすい（平均と分散）ガウス分布とはどの辺が王者なのか

32. 一言でいえば「ガウス分布たん可愛いよ (；´Д｀)ﾊｧﾊｧ」「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である • たった２つのパラメータで定まる • しかもその２つが解釈しやすい（平均と分散） • 平均と分散以外に持っている知識は最小限ガウス分布とはどの辺が王者なのか

33. 一言でいえば「ガウス分布たん可愛いよ (；´Д｀)ﾊｧﾊｧ」「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である • たった２つのパラメータで定まる • しかもその２つが解釈しやすい（平均と分散） • 平均と分散以外に持っている知識は最小限 • 一見複雑なのに線形代数だけで計算がすむガウス分布とはどの辺が王者なのか

34. 一言でいえば「ガウス分布たん可愛いよ (；´Д｀)ﾊｧﾊｧ」「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である • たった２つのパラメータで定まる • しかもその２つが解釈しやすい（平均と分散） • 平均と分散以外に持っている知識は最小限 • 一見複雑なのに線形代数だけで計算がすむガウス分布とはどの辺が王者なのか実際には世の中みんなガウス分布に従っているわけじゃない対数正規分布、パレート分布、二項分布、ポアソン分布…… 分布に対して分かっていることがあるならそれを使えばいいないなら、ガウス分布を使おう

37. いま、一つのガウス分布に独立に従う N 個のデータ点｛x1, x2,…, xN｝があるとする：ガウス分布とは最尤推定法によるあてはめ

38. いま、一つのガウス分布に独立に従う N 個のデータ点｛x1, x2,…, xN｝があるとする：このとき、 μ と Σ の最尤推定量はガウス分布とは最尤推定法によるあてはめ

39. いま、一つのガウス分布に独立に従う N 個のデータ点｛x1, x2,…, xN｝があるとする：このとき、 μ と Σ の最尤推定量はガウス分布とは最尤推定法によるあてはめ最尤推定量が標本平均・標本分散そのもの！

40. ２つのパラメータが単に分布の平均と分散であるというだけでなく、最尤推定量が標本平均・分散と一致ガウス分布とは最尤推定法によるあてはめ

43. 【定理】ガウス分布は特定の平均と分散を持つ分布の中で、もっともエントロピーが大きい分布である（証明は教科書参照）ガウス分布とはガウス分布の情報量

44. 【定理】ガウス分布は特定の平均と分散を持つ分布の中で、もっともエントロピーが大きい分布である（証明は教科書参照）エントロピーが大きい＝表現できる情報量が多い正体不明の分布を表すのに、できるだけ仮定を置かず幅広い可能性に対応できるようにしているガウス分布とはガウス分布の情報量

47. ガウス分布はガウス分布とはガウス分布の変換

48. ガウス分布は • 線形変換した分布ガウス分布とはガウス分布の変換

49. ガウス分布は • 線形変換した分布 • 周辺分布ガウス分布とはガウス分布の変換

50. ガウス分布は • 線形変換した分布 • 周辺分布 • 条件付き分布ガウス分布とはガウス分布の変換

51. ガウス分布は • 線形変換した分布 • 周辺分布 • 条件付き分布もガウス分布になるガウス分布とはガウス分布の変換

52. ガウス分布は • 線形変換した分布 • 周辺分布 • 条件付き分布もガウス分布になる → 分布関数全体は不要。 μ と Σ さえ求めればいい！ガウス分布とはガウス分布の変換

54. x1 ∼ N (μ1,Σ1) を以下のように変換するとガウス分布とはガウス分布の線形変換

55. x1 ∼ N (μ1,Σ1) を以下のように変換すると変換後も x2 ∼ N (μ2,Σ2) となるガウス分布とはガウス分布の線形変換

56. x1 ∼ N (μ1,Σ1) を以下のように変換すると変換後も x2 ∼ N (μ2,Σ2) となるただしガウス分布とはガウス分布の線形変換

57. x1 ∼ N (μ1,Σ1) を以下のように変換すると変換後も x2 ∼ N (μ2,Σ2) となるただしガウス分布とはガウス分布の線形変換 x1 と同じ変換 x1 の拡大分の 2乗拡大

60. x = (x1,x2) ∼ N (μ,Σ) とする。ただしガウス分布とはガウス分布の周辺分布

61. x = (x1,x2) ∼ N (μ,Σ) とする。ただしガウス分布とはガウス分布の周辺分布 x2 x1 Σ = Σ12 Σ11 Σ12 Σ21 x2x1 μ2 μ1 μ = x2 x1 対応する部分を区切っただけ

62. x = (x1,x2) ∼ N (μ,Σ) とする。ただしガウス分布とはガウス分布の周辺分布

63. x = (x1,x2) ∼ N (μ,Σ) とする。ただし周辺分布は x1 ∼ N (μ1,Σ11) ガウス分布とはガウス分布の周辺分布対応する部分を区切っただけ

64. x = (x1,x2) ∼ N (μ,Σ) とする。ただし周辺分布は x1 ∼ N (μ1,Σ11) x2 ∼ N (μ2,Σ22) ガウス分布とはガウス分布の周辺分布対応する部分を区切っただけ

67. x = (x1,x2) ∼ N (μ,Σ) とする。ただしガウス分布とはガウス分布の条件付き分布

68. x = (x1,x2) ∼ N (μ,Σ) とする。ただしガウス分布とはガウス分布の条件付き分布精度行列（分散の逆行列）を考えると見通しが良い

69. x = (x1,x2) ∼ N (μ,Σ) とする。ただしガウス分布とはガウス分布の条件付き分布

70. x = (x1,x2) ∼ N (μ,Σ) とする。ただし条件付き分布は x1|x2 ∼ N (μ1|2,Σ1|2) ガウス分布とはガウス分布の条件付き分布

71. x = (x1,x2) ∼ N (μ,Σ) とする。ただし条件付き分布は x1|x2 ∼ N (μ1|2,Σ1|2) ガウス分布とはガウス分布の条件付き分布

72. x = (x1,x2) ∼ N (μ,Σ) とする。ただし条件付き分布は x1|x2 ∼ N (μ1|2,Σ1|2) ガウス分布とはガウス分布の条件付き分布 μ に x2 が入ることだけ注意！

73. x = (x1,x2) ∼ N (μ,Σ) とする。ただし条件付き分布は x1|x2 ∼ N (μ1|2,Σ1|2) ガウス分布とはガウス分布の条件付き分布 μ に x2 が入ることだけ注意！

77. ガウス分布 (Gaussian Distribution) • 中心極限定理のたどり着く先である • たった２つのパラメータで定まる • しかもその２つが解釈しやすい（平均と分散） • 平均と分散以外に持っている知識は最小限 • 一見複雑なのに線形代数だけで計算がすむガウス分布とはまとめ

79. きょうの話題  ガウス分布とは  ガウス分布にもとづく判別分析  ガウス分布を用いた補間

80. ガウス分布にもとづく判別分析判別分析とは分類問題に対する手法の一つ分類問題 (classification) クラスのわかっているデータ（教師データ）をもとに、未知のデータを分類する問題

81. ガウス分布にもとづく判別分析判別分析とはガウス判別分析の解き方 1. データは、クラスごとに固有のガウス分布から iid で生成されていると仮定する 2. 教師データからパラメータを推定する 3. 未知のデータに対し各クラスに属する確率を求め最も高いクラスに分類する 55 60 65 70 75 80 80 100 120 140 160 180 200 220 240 260 280

83. 55 60 65 70 75 80 80 100 120 140 160 180 200 220 240 260 280 ガウス分布にもとづく判別分析判別分析とはガウス判別分析の解き方 1. データは、クラスごとに固有のガウス分布から iid で生成されていると仮定する 2. 教師データからパラメータを推定する 3. 未知のデータに対し各クラスに属する確率を求め最も高いクラスに分類する生成モデルを仮定

84. 55 60 65 70 75 80 80 100 120 140 160 180 200 220 240 260 280 ガウス分布にもとづく判別分析判別分析とはガウス判別分析の解き方 1. データは、クラスごとに固有のガウス分布から iid で生成されていると仮定する 2. 教師データからパラメータを推定する 3. 未知のデータに対し各クラスに属する確率を求め最も高いクラスに分類する生成モデルを仮定

85. ガウス分布にもとづく判別分析生成モデルクラスごとに固有のガウス分布パラメータ θ が与えられて、クラスを c に定めたときに x が生成される確率

90. ガウス分布にもとづく判別分析生成モデルクラスごとに固有のガウス分布パラメータ θ が与えられて、クラスを c に定めたときに x が生成される確率クラス c の平均と分散モデル全体のパラメータ（各 μc, Σc を含む）

91. ガウス分布にもとづく判別分析生成モデルクラスごとに固有のガウス分布パラメータ θ が与えられて、クラスを c に定めたときに x が生成される確率ついでに、下記も仮定：クラス c の出やすさは πc

92. ガウス分布にもとづく判別分析生成モデルクラスごとに固有のガウス分布パラメータ θ が与えられて、クラスを c に定めたときに x が生成される確率ついでに、下記も仮定：クラス c の出やすさは πc 各 πc もパラメータ θ の一部

95. 55 60 65 70 75 80 80 100 120 140 160 180 200 220 240 260 280 ガウス分布にもとづく判別分析判別分析とはガウス判別分析の解き方 1. データは、クラスごとに固有のガウス分布から iid で生成されていると仮定する 2. 教師データからパラメータを推定する 3. 未知のデータに対し各クラスに属する確率を求め最も高いクラスに分類するベイズの法則により計算

96. 55 60 65 70 75 80 80 100 120 140 160 180 200 220 240 260 280 ガウス分布にもとづく判別分析判別分析とはガウス判別分析の解き方 1. データは、クラスごとに固有のガウス分布から iid で生成されていると仮定する 2. 教師データからパラメータを推定する 3. 未知のデータに対し各クラスに属する確率を求め最も高いクラスに分類するベイズの法則により計算

97. ガウス分布にもとづく判別分析クラス事後確率未知のデータ点 x が与えられたときに、それがクラス c に属する確率

101. ガウス分布にもとづく判別分析クラス事後確率未知のデータ点 x が与えられたときに、それがクラス c に属する確率みなさんベイズの公式覚えてますか！？

103. ガウス分布にもとづく判別分析クラス事後確率未知のデータ点 x が与えられたときに、それがクラス c に属する確率尤度

104. ガウス分布にもとづく判別分析クラス事後確率未知のデータ点 x が与えられたときに、それがクラス c に属する確率尤度事前分布

105. ガウス分布にもとづく判別分析クラス事後確率未知のデータ点 x が与えられたときに、それがクラス c に属する確率尤度事前分布

108. ガウス分布にもとづく判別分析クラス事後確率未知のデータ点 x が与えられたときに、それがクラス c に属する確率よって x は下記のように分類される

111. ガウス分布にもとづく判別分析いろいろなガウス判別分析パラメータへの制限や推定法によって、ガウス判別分析はいくつかの種類に分けられる • 制限なし QDA • 等分散 LDA • 特徴量が独立 Naïve Bayes • 等分散＆特徴量が独立 Diagonal LDA • 事前分布で正則化

112. ガウス分布にもとづく判別分析いろいろなガウス判別分析パラメータへの制限や推定法によって、ガウス判別分析はいくつかの種類に分けられる • 制限なし • 等分散 • 特徴量が独立 • 等分散＆特徴量が独立 • 事前分布で正則化

113. ガウス分布にもとづく判別分析２次判別分析パラメータへなにも制約をおかなかった場合、一般に分離境界は２次式になる → ２次判別分析 (QuadraticDiscriminantAnalysis)

116. ガウス分布にもとづく判別分析２次判別分析パラメータへなにも制約をおかなかった場合、一般に分離境界は２次式になる → ２次判別分析 (QuadraticDiscriminantAnalysis) 分散が同じだと境界が直線に

117. ガウス分布にもとづく判別分析いろいろなガウス判別分析パラメータへの制限や推定法によって、ガウス判別分析はいくつかの種類に分けられる • 制限なし • 等分散 • 特徴量が独立 • 等分散＆特徴量が独立 • 事前分布で正則化

118. ガウス分布にもとづく判別分析いろいろなガウス判別分析パラメータへの制限や推定法によって、ガウス判別分析はいくつかの種類に分けられる • 制限なし２次判別分析 (QDA) • 等分散 • 特徴量が独立 • 等分散＆特徴量が独立 • 事前分布で正則化

120. ガウス分布にもとづく判別分析２次判別分析分散が各クラスで共通だと分離境界は１次式になる → 線形判別分析 (LinearDiscriminantAnalysis)

121. ガウス分布にもとづく判別分析２次判別分析分散が各クラスで共通だと分離境界は１次式になる → 線形判別分析 (LinearDiscriminantAnalysis)

122. ガウス分布にもとづく判別分析２次判別分析分散が各クラスで共通だと分離境界は１次式になる → 線形判別分析 (LinearDiscriminantAnalysis) よく PCA との対比で語られることの多い LDA ですが、実は背後に等分散なガウス分布を生成モデルとして仮定していた！

123. ガウス分布にもとづく判別分析２次判別分析分散が各クラスで共通だと分離境界は１次式になる → 線形判別分析 (LinearDiscriminantAnalysis) よく PCA との対比で語られることの多い LDA ですが、実は背後に等分散なガウス分布を生成モデルとして仮定していた！ LDAって言ってもトピックモデルの方 (Latent Dirichlet allocation) じゃないよ！

125. ガウス分布にもとづく判別分析いろいろなガウス判別分析パラメータへの制限や推定法によって、ガウス判別分析はいくつかの種類に分けられる • 制限なし２次判別分析 (QDA) • 等分散線形判別分析 (LDA) • 特徴量が独立 • 等分散＆特徴量が独立 • 事前分布で正則化

127. ガウス分布にもとづく判別分析単純ベイズ法特徴量が独立＝データの各次元が独立 x = (x1, x2, …, xi, …, xN) 独立

128. ガウス分布にもとづく判別分析単純ベイズ法特徴量が独立＝データの各次元が独立 x = (x1, x2, …, xi, …, xN) つまり独立独立 ⇔ 同時分布を積に分解できる

129. ガウス分布にもとづく判別分析単純ベイズ法特徴量が独立＝データの各次元が独立 x = (x1, x2, …, xi, …, xN) つまりこれはガウス分布による単純ベイズ (Naïve Bayes) と等価！独立独立 ⇔ 同時分布を積に分解できる

132. ガウス分布にもとづく判別分析単純ベイズ法特徴量が独立＝データの各次元が独立 x = (x1, x2, …, xi, …, xN) つまり独立独立 ⇔ 同時分布を積に分解できるただし

133. ガウス分布にもとづく判別分析単純ベイズ法特徴量が独立＝データの各次元が独立 x = (x1, x2, …, xi, …, xN) つまり独立独立 ⇔ 同時分布を積に分解できるただしガウス判別分析の観点で言うと、分散を対角行列に制限している（無相関）ことに等しい

135. ガウス分布にもとづく判別分析いろいろなガウス判別分析パラメータへの制限や推定法によって、ガウス判別分析はいくつかの種類に分けられる • 制限なし２次判別分析 (QDA) • 等分散線形判別分析 (LDA) • 特徴量が独立単純ベイズ • 等分散＆特徴量が独立 • 事前分布で正則化

137. ガウス分布にもとづく判別分析対角線形判別分析分散行列を対角かつ各クラスで共通に制限したものを対角線形判別分析 (Diagonal LDA) と呼ぶ

138. ガウス分布にもとづく判別分析対角線形判別分析分散行列を対角かつ各クラスで共通に制限したものを対角線形判別分析 (Diagonal LDA) と呼ぶ正則化がかなり強く働くので、高次元データに強い

139. ガウス分布にもとづく判別分析対角線形判別分析分散行列を対角かつ各クラスで共通に制限したものを対角線形判別分析 (Diagonal LDA) と呼ぶ正則化がかなり強く働くので、高次元データに強い Σ の推定値には合併経験分散 (PooledEmpiricalVariance) を用いることが多い

140. ガウス分布にもとづく判別分析対角線形判別分析分散行列を対角かつ各クラスで共通に制限したものを対角線形判別分析 (Diagonal LDA) と呼ぶ正則化がかなり強く働くので、高次元データに強い Σ の推定値には合併経験分散 (PooledEmpiricalVariance) を用いることが多いクラス内分散の不偏推定量みたいなもの

142. ガウス分布にもとづく判別分析いろいろなガウス判別分析パラメータへの制限や推定法によって、ガウス判別分析はいくつかの種類に分けられる • 制限なし２次判別分析 (QDA) • 等分散線形判別分析 (LDA) • 特徴量が独立単純ベイズ • 等分散＆特徴量が独立対角線形判別分析 • 事前分布で正則化

144. ガウス分布にもとづく判別分析事前分布による正則化ベイジアンなら直截的に Σ の値を制限するのではなく事前分布を使って正則化をすることも出来るここでは２種類紹介する • 分散に逆ウィシャート分布 • 平均のオフセットにラプラス分布

146. ガウス分布にもとづく判別分析事前分布による正則化ベイジアンなら直截的に Σ の値を制限するのではなく事前分布を使って正則化をすることも出来るここでは２種類紹介する • 分散に逆ウィシャート分布 • 平均のオフセットにラプラス分布おさらい：ベイズの公式 MAP推定では尤度だけでなく事前分布も推定に影響を与える

149. ガウス分布にもとづく判別分析正則化判別分析分散の事前分布として逆ウィシャート分布をおく

150. ガウス分布にもとづく判別分析正則化判別分析分散の事前分布として逆ウィシャート分布をおくこのとき分散の推定量は以下（ λ は ν0 で定まる量）

151. ガウス分布にもとづく判別分析正則化判別分析分散の事前分布として逆ウィシャート分布をおくこのとき分散の推定量は以下（ λ は ν0 で定まる量）の非対角成分を薄めている感じ (λ=1で対角LDAに一致)

152. ガウス分布にもとづく判別分析正則化判別分析分散の事前分布として逆ウィシャート分布をおくこのとき分散の推定量は以下（ λ は ν0 で定まる量）次元が高すぎて（ D>N ）、が計算出来ないときはデータ行列 X の特異値分解を使うとよい

155. ガウス分布にもとづく判別分析 NearestShrunken CentroidsClassifier 対角LDAですら高次元データには弱い → Σ は対角行列かつ各クラス共通に制限したうえでさらに不要な特徴量を削りたい（L0 正則化に近い）クラス平均 μc を各次元 j について、クラス共通の平均各クラスごとのオフセットという形に分解この Δcj が０になろうとするような事前分布（中心０のラプラス分布）をおく → すべての c について Δcj=0 となれば特徴量 j は削れた！

156. ガウス分布にもとづく判別分析 NearestShrunken CentroidsClassifier 対角LDAですら高次元データには弱い → Σ は対角行列かつ各クラス共通に制限したうえでさらに不要な特徴量を削りたい（L0 正則化に近い）クラス平均 μc を各次元 j について、クラス共通の平均各クラスごとのオフセットという形に分解この Δcj が０になろうとするような事前分布（中心０のラプラス分布）をおく → すべての c について Δcj=0 となれば特徴量 j は削れた！

157. ガウス分布にもとづく判別分析 NearestShrunken CentroidsClassifier 対角LDAですら高次元データには弱い → Σ は対角行列かつ各クラス共通に制限したうえでさらに不要な特徴量を削りたい（L0 正則化に近い）

161. ガウス分布にもとづく判別分析いろいろなガウス判別分析パラメータへの制限や推定法によって、ガウス判別分析はいくつかの種類に分けられる • 制限なし２次判別分析 (QDA) • 等分散線形判別分析 (LDA) • 特徴量が独立単純ベイズ • 等分散＆特徴量が独立対角線形判別分析 • 事前分布で正則化正則化判別分析 Nearest Shrunken Centroids Classifier

162. ガウス分布にもとづく判別分析いろいろなガウス判別分析パラメータへの制限や推定法によって、ガウス判別分析はいくつかの種類に分けられる • 制限なし２次判別分析 (QDA) • 等分散線形判別分析 (LDA) • 特徴量が独立単純ベイズ • 等分散＆特徴量が独立対角線形判別分析 • 事前分布で正則化正則化判別分析 Nearest Shrunken Centroids Classifier

163. きょうの話題  ガウス分布とは  ガウス分布にもとづく判別分析  ガウス分布を用いた補間

164. きょうの話題  ガウス分布とは  ガウス分布にもとづく判別分析  ガウス分布を用いた補間

165. ガウス分布による補間補間とは補間問題 (Interpolation) 与えられたデータ点 {(xi,yi)} から定義域全体の関数 y(x) の振る舞いを推定すること（ふつう最小点と最大点のあいだのみを扱うことが多い）機械学習の言葉でいえば回帰 (regression) にあたる

166. ガウス分布による補間２通りのデータここで扱う手法は、データの種類によって２つに別れる • ノイズのないデータ • ノイズのあるデータ

168. ガウス分布による補間ノイズのないデータの補間対象とする区間を D 等分し、そのi番目を yi = ƒ(xi) とする

169. ガウス分布による補間ノイズのないデータの補間対象とする区間を D 等分し、そのi番目を yi = ƒ(xi) とする。 ƒ はなめらかだと仮定してとおく（両隣の平均＋ずれ）

170. ガウス分布による補間ノイズのないデータの補間対象とする区間を D 等分し、そのi番目を yi = ƒ(xi) とする。 ƒ はなめらかだと仮定してとおく（両隣の平均＋ずれ）

171. ガウス分布による補間ノイズのないデータの補間対象とする区間を D 等分し、そのi番目を yi = ƒ(xi) とする。 ƒ はなめらかだと仮定してとおく（両隣の平均＋ずれ）ただし行列の形で書き直した

172. ガウス分布による補間ノイズのないデータの補間対象とする区間を D 等分し、そのi番目を yi = ƒ(xi) とする。 ƒ はなめらかだと仮定してとおく（両隣の平均＋ずれ）ただし行列の形で書き直した D 列 D-2 行

173. ガウス分布による補間ノイズのないデータの補間対象とする区間を D 等分し、そのi番目を yi = ƒ(xi) とする。 ƒ はなめらかだと仮定してとおく（両隣の平均＋ずれ）ただし行列の形で書き直した

174. ガウス分布による補間ノイズのないデータの補間 y＝(y1, y2), y1:未知データ, y2:既知データとする y ＝既知未知

175. ガウス分布による補間ノイズのないデータの補間 y＝(y1, y2), y1:未知データ, y2:既知データとするすると y ＝既知未知

176. ガウス分布による補間ノイズのないデータの補間 y＝(y1, y2), y1:未知データ, y2:既知データとするすると → y1が予測できる！ y ＝既知未知

177. ガウス分布による補間ノイズのないデータの補間 y＝(y1, y2), y1:未知データ, y2:既知データとするすると → y1が予測できる！ y ＝既知未知

180. ガウス分布による補間ノイズのあるデータの補間やることはさっきと同じ！唯一の違いはデータ y が線形ガウスシステムで生成されているとみなすことすると

183. きょうの話題  ガウス分布とは  ガウス分布にもとづく判別分析  ガウス分布を用いた補間

184. きょうの話題  ガウス分布とは  ガウス分布にもとづく判別分析  ガウス分布を用いた補間

185. きょうの話題  ガウス分布とは  ガウス分布にもとづく判別分析  ガウス分布を用いた補間

MLaPP 4章「ガウシアンモデル」

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

More from Shinichi Tamura

More from Shinichi Tamura (7)

Recently uploaded

Recently uploaded (8)