いまさら聞けない機械学習の評価指標
•
61 likes•105,994 views
現在は機械学習ライブラリが充実しており、また、教師データの獲得も容易になっています。 そのため、機械学習のビジネス利用への敷居が下がっています。 予測や分類といった問題を解く際には、設定した課題に対してどのモデルが最も適しているかを評価するための指標(評価関数)が必要になります。 Kaggle(([有名なデータサイエンスのコンペティション](https://www.kaggle.com)))などでは評価指標が定まっていますが、実ビジネスで機械学習を応用する際には自ら評価指標を設定する必要があります。 しかし、適切な評価関数を選ぶのは初学者には難しく、またビジネスの問題設定、目的意識によっても異なります。 さらに、オフラインでの予測はユーザの実際の行動予測とはギャップがある 場合もあります。 [1] Data-Driven Metric Development for Online Controlled Experiments: Seven Lessons Learned Xiaolin Shi*, Yahoo Labs; Alex Deng, Microsoft; KDD '16 [2] 情報検索の基礎 Christopher D.Manning (著), Prabhakar Raghavan (著), Hinrich Schutze (著) 岩野 和生ら (翻訳), 共立出版 2012 [3] kaggle: https://www.kaggle.com/ そこで、多くある評価関数のうち代表的なものを幾つかをまとめました。
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to いまさら聞けない機械学習の評価指標
Similar to いまさら聞けない機械学習の評価指標 (20)
More from 圭輔 大曽根
More from 圭輔 大曽根 (11)
いまさら聞けない機械学習の評価指標
- 1. いまさら聞けない機械学習の評価指標 大曽根 圭輔（Gunosy Inc.） 2016年 8月 3日 【FiNC×プレイド】Machine Learning Meetup #1
- 2. 自己紹介 大学時代はファジィ理論やってました 最近こどもが生まれました 進捗 トレーナーレベル: 20 捕まえた数81 プライベートでE2D3という 可視化のソフトウェア作ってて 総務大臣に表彰されました 大曽根 圭輔 @dr_paradi 博士 (工学)
- 4. 話したいこと ビジネスの問題設定によって評価指標は異なる さらに、オフラインでの予測はユーザの実際の行動予測とは ギャップがある場合もある 解こうとしている問題は何かを考え評価指標も常に改善しよう
- 6. よく見る分割表[2] 正解で正 正解で負 予測で正 真陽性 TP: True Positive 偽陽性 FP: False Positive 予測で負 偽陰性 FN: False Negative 真陰性 TN: True Negative
- 7. 正解率 正解で正 正解で負 予測で正 真陽性 TP: True Positive 偽陽性 FP: False Positive 予測で負 偽陰性 FN: False Negative 真陰性 TN: True Negative
- 8. 適合率 正解で正 正解で負 予測で正 真陽性 TP: True Positive 偽陽性 FP: False Positive 予測で負 偽陰性 FN: False Negative 真陰性 TN: True Negative
- 9. 再現率 正解で正 正解で負 予測で正 真陽性 TP: True Positive 偽陽性 FP: False Positive 予測で負 偽陰性 FN: False Negative 真陰性 TN: True Negative
- 10. 正解率でよいのでは?
- 11. 正解率? 正解で正 正解で負 予測で正 0 0 予測で負 1% 99%
- 12. !?
- 13. この場合には精度(accuracy)0.99 -> 適合率、再現率、F値は0 2値分類においては初めから正解もしくは不正解が多いの場 合には偽陽性が高くなってしまう -> 特に検索の問題で顕著 (ユーザが欲しいものは全体の中の一部) 適合率、再現率はトレードオフの関係にあるので AUCを使うことも多い (Are Under the Curve: ROC曲線の下の領域) 全部負と予測で精度99%?
- 14. それでいいのか?
- 16. Ultrasound Nerve Segmentation Dice係数 Predicting Red Hat Business Value AUC (area under the ROC curve) Grupo Bimbo Inventory Demand RMSLE (Root Mean Squared Logarithmic Error) TalkingData Mobile User Demographics multi-class logarithmic loss Integer Sequence Learning accuracy Painter by Numbers AUC (area under the ROC curve) Active Competitionsの評価指標
- 17. Dice係数 AUC (area under the ROC curve) RMSLE (Root Mean Squared Logarithmic Error) multi-class logarithmic loss accuracy AUC (area under the ROC curve) 評価指標を紹介
- 20. AUC ROC曲線の(ROC Curve)線の下の面積 (Area Under The Curve) ROC曲線はモデルのパラメータを変えた際の適合率と再現率 をプロットしたもの SVMなどのパラメータチューニングの際の グリッドサーチによく用いられる
- 21. RMSLE (標準二乗対数誤差) 対数をとった最小二乗誤差 • Root Mean Squared Logarithmic Error
- 22. RMS●Es Root Mean Squared Error Root Mean Squared Logarithmic Error • Root Mean Squared Percentage Error
- 24. Multi-class logarithmic loss 多クラス分類の際に使用。0に近いほうがよい yijは(0, 1) pijはモデルから出力された確率
- 25. Multi-class logarithmic loss この場合だと予測モデル2のほうが評価が高くなる 正解データ 予測モデル1 予測モデル2 クラス1 1 0.6 0.8 クラス2 0 0.3 0.1 クラス3 0 0.2 0.1
- 27. DCG ランキング 正解データ 予測モデル1 予測モデル2 1 1 1 0 2 1 0 0 3 1 1 1 4 1 0 1 5 0 0 1 DCG(1) = 4 + 2/log3 DCG(2) = 2/log3 + 1/log4>
- 28. nDCG • nDCG -> 標準化している • [0, 1]で標準化れているので比較がしやすい
- 33. 参考 [1] Data-Driven Metric Development for Online Controlled Experiments: Seven Lessons Learned Xiaolin Shi*, Yahoo Labs; Alex Deng, Microsoft; KDD '16 [2] 情報検索の基礎 Christopher D.Manning (著), Prabhakar Raghavan (著), Hinrich Schutze (著) 岩野 和生ら (翻訳), 共立出版 2012 [3] kaggle: https://www.kaggle.com/