Recommended
More Related Content
What's hot
What's hot (20)
Recently uploaded
Recently uploaded (7)
PRML読書会#2,#3資料
- 1. 1章 読書会#2, #3 資料 twitter: @wrist facebook: hiromasa.ohashi 14年1月19日日曜日
- 2. スライド作成について • • • 図: 著者HPから落としてくる 表: CamScannerというiPhoneアプリで撮影 数式: tex2imgで画像を作成 • • 14年1月19日日曜日 osxだとCUI版がある https://github.com/wrist/prml_reading_scripts
- 5. 第1章 目次(1) 1. 序論 1.1. 例:多項式フィッティング 1.2. 確率論 1.2.1.確率密度 1.2.2.期待値と分散 1.2.3.ベイズ確率 1.2.4.ガウス分布 1.2.5.曲線フィッテイング再訪 1.2.6.ベイズ曲線フィッティング 14年1月19日日曜日
- 6. 第1章 目次(2) 1. 序論 1.3. モデル選択 1.4. 次元の呪い 1.5. 決定理論 1.5.1.誤識別率の最小化 1.5.2.期待損失の最小化 1.5.3.棄却オプション 1.5.4.推論と決定 1.5.5.回帰のための損失関数 14年1月19日日曜日
- 10. 機械学習の分類 • 教師あり学習(supervised learning) • • 教師なし学習(unsupervised learning) • 14年1月19日日曜日 クラス分類(classification)、回帰(regression) クラスタリング(clustering)、 密度推定(densitiy estimation)、視覚化(visualization)
- 11. 多項式曲線フィッティング • N個の観測点から緑の曲線を見つけたい • 多項式で近似 • 二乗誤差を最小化するように学習 14年1月19日日曜日
- 17. 今回 14年1月19日日曜日
- 19. 各種確率 同時確率 (結合確率; joint probability) 周辺確率 (marginal probability) 加法定理の適用 条件付き確率 (conditional probability) 乗法定理 14年1月19日日曜日
- 20. 確率の基本法則とベイズの定理 • 確率の加法定理と確率の乗法定理 • ベイズの定理(Bayes’ theorem) • p(X,Y)=p(Y,X)よりp(Y|X)p(X)=p(X|Y)p(Y) 14年1月19日日曜日
- 22. 果物の箱の例 • • p(B=r)=4/10, p(B=b)=6/10 • ある箱から果物を取り出す確率 • • • • 14年1月19日日曜日 p(B=r)+p(B=b)=1 p(F=a|B=r)=1/4, p(F=o|B=r)=3/4 p(F=a|B=b)=3/4, p(F=o|B=b)=1/4 それぞれの箱から果物を引く確率の和も1 p(F=a)= p(F=a, B=r) + p(F=a, B=b) = p(F=a|B=r)p(B=r) + p(F=a|B=b)p(B=b) = 1/4*4/10+3/4*6/10=11/20
- 29. 非線形変換に対する確率密度 • 変数変換x=g(y)を考える • ヤコビ行列により変換 • 関数f(x)はf (y)=f(g(y)) • 確率密度はヤコビアンによって変換 ~ 14年1月19日日曜日
- 30. 確率密度の変換(1変数の変換) • • • 異なる密度を添字で区別 px(x), py(y) px(x)δx =~ py(y)δy より py(y) =~ px(x)|dx/dy| x=g(y)の時の確率密度変換 • • 14年1月19日日曜日 要は置換積分 確率密度の最大値は変数の選び方に依存
- 36. 1.2.2 期待値と分散 • 期待値(expectation) 離散分布の場合 連続分布の場合 サンプル近似 多変数関数の期待値に 対する添字表示 条件付き期待値 (conditional expectation) 14年1月19日日曜日
- 44. ベイズ的視点の利点 • 事前知識を自然に取り入れられる • 例：公平なコインを３回投げて毎回表が出る • • 14年1月19日日曜日 最尤推定：表が出る確率1 ベイズ的アプローチ：極端な結論を防げる
- 47. 1.2.4 ガウス分布 • 正規分布(normal distribution)、ガウス分布(Gaussian distribution) • 平均(mean)μ, 分散(variance)σ2, 標準偏差(standard deviation)σ, 精度パラメータ(precision parameter)β=1/σ2 14年1月19日日曜日
- 48. scipyでplot 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 14年1月19日日曜日 #!/usr/bin/env python # vim:fileencoding=utf-8 import numpy as np import scipy as sp import matplotlib.pyplot as plt from scipy.stats import norm mu = 0 sigma = 1 rv = norm(loc = mu, scale = sigma) xmax = np.minimum(rv.dist.b, 3) x = np.linspace(-xmax, xmax, 1000) y = rv.pdf(x) fig = plt.figure(1) ax = fig.add_subplot(1,1,1) ax.plot(x, y) plt.show()
- 51. 多次元正規分布 • D次元ベクトルの連続変数x、 D次元平均ベクトルμ、DxD共分散行列Σ • 共分散行列に応じて分布形状が変わる • 対角か全角か 14年1月19日日曜日
- 52. numpy.randomで 多次元正規分布からサンプリング 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 #!/usr/bin/env python # vim:fileencoding=utf-8 import numpy as np import scipy as sp import matplotlib.pyplot as plt from numpy import random mean = [0, 0] cov = [[1, 0], [0, 100]] # 対角 x, y = random.multivariate_normal(mean, cov, 10000).T fig = plt.figure(1) ax = fig.add_subplot(1,1,1) ax.plot(x, y, 'x') plt.show() 14年1月19日日曜日
- 53. 全角の場合 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 #!/usr/bin/env python # vim:fileencoding=utf-8 import numpy as np import scipy as sp import matplotlib.pyplot as plt from numpy import random mean = [0, 0] cov = [[1, 2], [30, 100]] # 全角 x, y = random.multivariate_normal(mean, cov, 10000).T fig = plt.figure(1) ax = fig.add_subplot(1,1,1) ax.plot(x, y, 'x') plt.show() 14年1月19日日曜日 楕円が表現可能であるが パラメータ数が増加 →混合ガウス分布(2章)
- 54. 複数の観測値に対する確率 • • 独立同分布(i.i.d; independent identically データ集合x=(x1,...,xN)T distributed) • データ点が同じ分布から独立に生成 14年1月19日日曜日
- 62. 1.2.6 ベイズ曲線フィッティング • 先に示した予測分布は与えられたwによ るもの • ベイズ的な取り扱いでは全てのwを考 慮する必要有 14年1月19日日曜日
- 64. 1.3 モデル選択 • モデルの複雑さ • パラメータ数M, 正則化項λ • 最尤アプローチには過学習の問題 • 訓練データに対する性能で モデル性能は測れない 14年1月19日日曜日
- 65. データが沢山あるとき • • 色々なモデルを一部のデータで学習 確認用のデータで各々のモデルを評価 • • 確認用集合(検証用集合: validation set) 確認用集合に過学習してしまうこともある のでテスト用集合(test set)も用意すべき 14年1月19日日曜日
- 67. 交差確認のデメリット • 計算量の増加 • 同じ訓練を複数回実施 • 複数パラメータ存在時はより増加 • 訓練データのみに依存し過学習による バイアスを持たない尺度が必要 14年1月19日日曜日
- 68. 尺度 • AIC(akaike information criterion) • を最大にするモデルを選択 • BIC(Bayesian information criterion) (4.4.1) • 完全なベイズアプローチ(3.4) • ノンパラメトリックアプローチ 14年1月19日日曜日
- 71. 複数変数入力に対する多項式 • D次元入力に対する3次多項式 • 独立な係数の数がD に比例 • M次多項式だとD • べき乗に増加 3 M 14年1月19日日曜日
- 72. 球の体積による理解 D次元空間における球の体積 半径1-εから1の間の体積比 Dが増えると体積は表皮に集中 極座標変換したガウス分布の 半径rに対する確率密度(演習1.20) 14年1月19日日曜日
- 74. 1.5 決定理論(decision theory) • • 不確かさを含む状況における最適な意思決定 入力ベクトルx, 目標変数t • • 実際の応用(決定理論で扱う) • • 14年1月19日日曜日 xの新しい値に対しtを予測することが目的 tの特定の値を予測 tの取る値に応じて特定の行動
- 75. 医療診断問題の例 • X線画像から癌の判定 • 入力ベクトルxが画像、出力変数が癌で あるC1 (t=0) かそうでないC2 (t=1) • 同時分布p(x,C)(p(x,t))の推定により決定 14年1月19日日曜日