Recommended
More Related Content
What's hot
What's hot (20)
Similar to ロジスティック回帰入門
Similar to ロジスティック回帰入門 (20)
More from y-uti
More from y-uti (20)
Recently uploaded
Recently uploaded (8)
ロジスティック回帰入門
- 2. 自己紹介 内山 雄司 (@y__uti) ◦ http://y-uti.hatenablog.jp/ (phpusers-ja) 仕事 ◦ 受託開発の会社 (株式会社ピコラボ) でプログラマをしています 興味 ◦ プログラミング言語処理系 ◦ 機械学習 2019-02-13 社内勉強会 2
- 3. 目標 (説明しようとしていること) 1. 線形分類器について理解する 2. ロジスティック回帰を実装できるようになる 3. ロジスティック回帰モデルを理解する 重要かつ基本的ですが今回は説明しないこと ◦ 交差検証 ◦ 過学習と正則化 ◦ 予測結果の評価 (適合率、再現率、F 値) 2019-02-13 社内勉強会 3
- 8. 分類問題の具体例 未知のデータがどちらに分類されるかを予測する 2019-02-13 社内勉強会 8 ここにデータがあったら 0 と 1 どちらの可能性が大きいか？ ここならどうか？ ここならどうか？
- 10. 代表的な手法：決定木 if-else の組み合わせで分類する 2019-02-13 社内勉強会 10 0 0 1 1 0 1
- 11. 代表的な手法：k-近傍法 近い順に k 個の点を見つけて多数決で分類する 2019-02-13 社内勉強会 11 0 0 1
- 12. ロジスティック回帰とは 線形分類器の一種 直線からの距離に応じて「1 である確率」が決まるモデル 2019-02-13 社内勉強会 12 こちらに離れるほど 1 っぽいこちらに離れるほど 0 っぽい 直線上は五分五分
- 13. 確率を考えるメリット 0 か 1 か、だけでなく確率が求まると嬉しい ◦ 五分五分に近いところは判断を保留して詳細にチェックするとか 背後に統計的な理論付けがある ◦ 教科書を開くとしっかり書いてある ◦ 最後の方で少しだけ説明します コンピュータでの計算上も都合がよい ◦ ここからの話の中心 ◦ ⇒ ということで一旦「確率」のことは忘れて・・・ 2019-02-13 社内勉強会 13
- 15. 線形分類器 1. 直線を一つ定める 2. データが直線のどちら側にあるかで分類する 2019-02-13 社内勉強会 15 0 1
- 16. 直線を決める 平面上の直線は「傾き」と「切片」で表せる 2019-02-13 社内勉強会 16 y = 傾き * x + 切片 左辺に移項してまとめる 変数名を付けて整理する ax + by + c = 0 0 1 y - 傾き * x - 切片 = 0 a, b, c を決めれば直線が決まる
- 17. データを分類する データ (x, y) に対して ax + by + c を計算する 計算結果の正負によって直線との位置関係が分かる 2019-02-13 社内勉強会 17 0 1 符号 直線との位置関係 (注) 分類 正 直線より上にある 1 0 直線に重なっている (任意) 負 直線より下にある 0 (注) b が正の場合。負の場合は逆になる
- 18. 線形分類器の実装例 a, b, c を指定してオブジェクトを作り predict で予測する 2019-02-13 社内勉強会 18 class LinearClassifier(): def __init__(self, a, b, c): self.a = a self.b = b self.c = c def predict(self, x, y): if self.a * x + self.b * y + self.c >= 0: return 1 else: return 0
- 19. 線形分類器の使用例 サンプルデータの一つを予測 2019-02-13 社内勉強会 19 classifier = LinearClassifier(a=1, b=2, c=3) x, y = features[0] # [7.0, 3.2] answer = labels[0] # 0 predicted = classifier.predict(x, y) print('x={}, y={}, predicted={}, answer={}' .format(x, y, predicted, answer)) # x=7.0, y=3.2, predicted=1, answer=0 外れた
- 20. 線形分類器の学習 直線の選び方 (= a, b, c の選び方) で良し悪しが変わる 2019-02-13 社内勉強会 20 0 1 0 1 よく当たる a, b, c を見つけたい 手持ちのデータを利用して良い a, b, c を学習する
- 21. 素朴な実装方法 以下のような方法を思いつくが・・・ ◦ 三重のループで a, b, c を走査して「誤分類の数」が最小のものを選ぶ ◦ ランダムに a, b, c の組を沢山作り「誤分類の数」が最小のものを選ぶ 問題点 ◦ 計算コストが大きい ◦ a, b, c を探す範囲の手がかりもない 効率的に a, b, c を探す方法が必要 2019-02-13 社内勉強会 21
- 22. 勾配降下法 (考え方) 適当な初期値から始める a = 0, b = 0, c = -9 (errors = 50) 変数を一つだけ変えたときの誤分類の数をそれぞれ調べる 2019-02-13 社内勉強会 22 誤分類の数が減る方向にパラメータを更新する
- 23. 勾配降下法 (考え方) 適当な初期値から始める a = 1.4, b = 0, c = -9 (errors = 33) 変数を一つだけ変えたときの誤分類の数をそれぞれ調べる 2019-02-13 社内勉強会 23 誤分類の数が減る方向にパラメータを更新する
- 24. 勾配降下法 (考え方) 適当な初期値から始める a = 1.4, b = 0.05, c = -8.8 (errors = 26) 変数を一つだけ変えたときの誤分類の数をそれぞれ調べる 2019-02-13 社内勉強会 24 誤分類の数が減る方向にパラメータを更新する
- 25. コスト関数 誤分類の数を数える方法では勾配降下法を上手く使えない 2019-02-13 社内勉強会 25 勾配降下法 = 現在地点の勾配を計算して降下する しかし誤分類の数は階段状で勾配がない
- 26. コスト関数 誤分類の数を数える方法では勾配降下法を上手く使えない 2019-02-13 社内勉強会 26 勾配降下法 = 現在地点の勾配を計算して降下する しかし誤分類の数は階段状で勾配がない 代わりに滑らかな関数を使って考える
- 28. 確率の計算 0 か 1 かではなく "1 っぽさ" を予測 ax + by + c の符号だけで判断せずに値を考える 2019-02-13 社内勉強会 28 値が大きいほど 1 っぽい値が小さいほど 0 っぽい
- 29. シグモイド関数 "1 っぽさ" を 0 から 1 の範囲で「確率」として表現する 計算式： 1 ÷ (1 + exp(-(ax + by + c))) 2019-02-13 社内勉強会 29 何故これが「確率」と言えるのかは難しい
- 30. 尤度の計算 モデルの「尤も (もっとも) らしさ」 適当な a, b, c で次のような予測結果になったとすると・・・ 2019-02-13 社内勉強会 30 正解 である確率 である確率 0 0.27 0.73 0 0.48 0.52 1 0.85 0.15 1 0.90 0.10 0 0.52 0.48 これは 1 - "1 である確率" で計算
- 31. 尤度の計算 モデルの「尤も (もっとも) らしさ」 適当な a, b, c で次のような予測結果になったとすると・・・ 2019-02-13 社内勉強会 31 正解 である確率 である確率 0 0.27 0.73 0 0.48 0.52 1 0.85 0.15 1 0.90 0.10 0 0.52 0.48 尤度 = 0.73 × 0.52 × 0.85 × 0.90 × 0.48 = 0.13938912 値が大きいほど良い (= データに良く当てはまっている) 正解側の確率を 全部かけ合わせる
- 32. 対数尤度の計算 実際はデータの数が多いので浮動小数点数の精度が問題になる そこで対数で計算する 2019-02-13 社内勉強会 32 正解 である確率の対数 である確率の対数 0 -1.31 -0.31 0 -0.73 -0.65 1 -0.16 -1.90 1 -1.01 -2.30 0 -0.65 -0.73 対数尤度 = (-0.31) + (-0.63) + (-0.16) + (-1.01) + (-0.73) = -2.84 値が大きいほど良い (= データに良く当てはまっている) 正解側の確率の対数を 全部足し合わせる
- 33. コストの計算 コスト = －対数尤度 ÷ データ数 2019-02-13 社内勉強会 33 正解 である確率の対数 である確率の対数 0 -1.31 -0.31 0 -0.73 -0.65 1 -0.16 -1.90 1 -1.01 -2.30 0 -0.65 -0.73 コスト = (0.31 + 0.63 + 0.16 + 1.01 + 0.73) ÷ 5 = 0.568 値が小さいほど良い (= データに良く当てはまっている)
- 34. 誤分類の数とコスト関数 a = 1.4, b = 0, c = -9 の場合 (errors = 33, cost = 0.569...) 2019-02-13 社内勉強会 34 誤分類の数 コスト関数
- 35. ここまでの整理 確率は無視！0, 1 に分類することだけを考えてみた 1. ax + by + c の正負によって分類する 2. できるだけ良く当たる (a, b, c) の組を見つけたい 3. 誤分類の数が減る方向に (a, b, c) を動かしていきたいが・・・ 4. 「誤分類の数」は階段状の関数なので、これが難しい 確率で考える方が計算上も都合がよさそうだとわかった 5. 正負によって 0, 1 に分類するのではなく確率を考える 6. 誤分類の数ではなく、確率を元に「コスト関数」を考える すると 7. コスト関数は滑らかな関数になった (狙いどおり) 8. あとはコスト関数の勾配を考えよう 2019-02-13 社内勉強会 35
- 36. コスト関数の勾配の計算 コスト関数を a, b, c それぞれで偏微分する 計算式 ◦ a の勾配：(1 である確率 - 正解) * x を全データについて平均する ◦ b の勾配：(1 である確率 - 正解) * y を全データについて平均する ◦ c の勾配：(1 である確率 - 正解) * 1 を全データについて平均する 2019-02-13 社内勉強会 36 (何故このような式になるのかは難しい)
- 37. コスト関数の勾配 a = 1.4, b = 0, c = -9 の場合 2019-02-13 社内勉強会 37 コスト関数 勾配
- 38. コスト関数の勾配 a = 1.4, b = 0, c = -9 の場合 2019-02-13 社内勉強会 38 コスト関数 勾配 勾配が負 = コスト関数が右下がり 勾配が正 = コスト関数が右上がり
- 39. 勾配降下法 適当な初期値 a, b, c を設定する 以下を繰り返す 1. a, b, c それぞれの勾配を計算する 2. 勾配が正 (= 右上がり) なら a, b, c を減少 (= 左に移動) させる 3. 勾配が負 (= 右下がり) なら a, b, c を増加 (= 右に移動) させる するとコスト関数が減少していく コスト関数の減少 = データへの当てはまりが良い 2019-02-13 社内勉強会 39
- 40. 勾配降下法による学習 初期値を a=0, b=0, c=0 として 1,200 回反復 (学習率 0.15) 2019-02-13 社内勉強会 40
- 42. ロジスティック回帰モデル ax + by + c の値によって 1 である確率が下図のように変化する 2019-02-13 社内勉強会 42 この関数はどこから出てきたのか
- 43. ロジスティック回帰モデル ax + by + c の値によって 1 である確率が下図のように変化する 2019-02-13 社内勉強会 43 1 である確率 0 である確率 オッズ = 1 である確率 ÷ 0 である確率 = exp(ax + by + c) 対数オッズが ax + by + c にしたがうというモデル
- 44. パラメータの意味 たとえば a = 2 だとすると ◦ x が 1 増えると ax + by + c (= 対数オッズ) が 2 増える ◦ すると「1 である確率 ÷ 0 である確率」(= オッズ) は exp(2) 倍になる 2019-02-13 社内勉強会 44
- 45. オッズと確率 0 を「はずれ」、1 を「当たり」とすると・・・ 2019-02-13 社内勉強会 45 オッズ はずれと当たりの割り合い 当選確率 0.001 はずれ 1000 枚、当たり 1 枚 0.0999% 0.01 はずれ 100 枚、当たり 1 枚 0.990% 0.1 はずれ 10 枚、当たり 1 枚 9.09% 1.0 はずれ 1 枚、当たり 1 枚 50% 10 はずれ 1 枚、当たり 10 枚 90.9% 100 はずれ 1 枚、当たり 100 枚 99.0% 1000 はずれ 1 枚、当たり 1000 枚 99.9% 10 倍 10 倍 10 倍 この対数が横軸 これが縦軸