Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to 机器学习概述
Similar to 机器学习概述 (14)
More from Dong Guo
机器学习概述
- 2. 机器学习应⽤用⼲⼴广泛
- 3. 什么是学习？
- 4. 什么是机器学习？ • “Machine learning is the study of computer algorithms that improve automatically through experience” – Tom Mitchell (1998) • 基于数据和假设归纳演绎 • 通常有⼈人的指导 • ⼀一类解决问题的⼯工具/思路 • 超越⼈人类了吗？ • 国际象棋，⼈人脸识别，语⾳音识别... • 围棋，物体识别，机器翻译…
- 5. 主要类别体系
- 6. Outline • 有监督学习 • 热点与动态 • 学习资源 • 滴滴MLP
- 7. 有监督学习
- 8. 有监督学习 • 基于有标注的样本集，学习⼀一个预测函数 • 三个要素 • 模型：预估函数的假设空间 (hypothesis space) • 策略：模型学习准则 • 优化算法 !!!!!!!!!!is!con'nuous,!real.valued,!e.g.!price,! temperature y(i)is#categorical,#########################.### e.g.#gender y(i) y(i) 2 {1. . . C}
- 9. 要素1. 模型假设空间 • 假设空间 • 线性函数，多项式函数，各种复杂函数 • “如⽆无必要，勿增实体”
- 10. 要素2. 模型学习准则 • 期望⻛风险最⼩小化 -> 经验⻛风险最⼩小化 • 损失函数 • Exponential loss • Binomial deviance loss • Squared Error Loss • Hingo loss
- 11. 要素3. 优化算法 • 最⼤大似然估计：期望最⼤大化(EM) • 数值优化: 梯度下降，⽜牛顿法，拟⽜牛顿法(L-BFGS) • ⻉贝叶斯⽅方法: 置信传播(BP), 期望传播(EP) • http://dongguo.me/blog/2014/01/01/expectation-propagation/ • 采样⽅方法: Gibbs Sampling
- 12. 常⽤用模型 预估函数 损失函数 优化算法 线性回归 梯度下降 Adaboost 前向分布算法 朴素⻉贝叶斯 — 对数似然损失 概率计算 Logistic回归 梯度下降，L-BFGS ⽀支持向量机 SMO解凸⼆二次规划 神经⺴⽹网络 多层logistic function 梯度下降
- 13. 模型⽐比较 混合特征类型应对 对离群点的适应 计算复杂度 可解释性 预估效果 决策树 3 3 2 3 2 K-近邻 1 2 1 3 2 朴素⻉贝叶斯 1 3 3 2 1 Logistic回归 2 3 3 2 2 ⽀支持向量机 2 2 1 2 3 神经⺴⽹网络 2 1 1 1 3 The bigger the better
- 14. 好⽤用的模型算法库 • LIBLINEAR：LR & SVM；⽀支持百万特征；效果好 • OWLQN：ICML 2007(MS) ；LR+L-BFGS • FTRL：KDD 2013(Google)；LR；在线学习 • Ad Predictor: ICML 2009(MS)；Bayes • Spark MLlib：分布式 Model& FTRL& OWLQN& Ad&predictor& AUC$ 0.638$ 0.641$ 0.639$ FTRL% OWLQN% AUC$ 0.723$ 0.724$ Sparse$por2on$ 37%$ 32%$ Liblinear) ) Spark)MLlib) !AUC% 0.857% 0.857% !AUC% 0.925% 0.924%
- 15. 选择适合的模型 • 没有“最好的”模型，有⼀一类问题较适合的模型 • 四个参考标准 • 问题的复杂性 • 训练样本数量和质量 • 计算能⼒力和训练时间 • 熟悉程度和实现成本
- 16. 评估⽅方法 • Mean Squared Error (MSE) • Accuracy • Precision-Recall • AUC(Area Under Curve)
- 17. 初级选⼿手的⻛风格 • 套⽤用机器学习解决所有问题 • 不熟悉模型适⽤用场景，直接套⽤用某个熟悉的模型 • 不做数据分析，直接开始训练 • 不做特征处理（离散化，特征选择，特征组合， 单特征评估） • 不思考训练(评估)样本和待预估样本是否同质
- 18. 热点与动态
- 19. Spark：优秀的ML分布式计算平台 • ⾼高易⽤用+⾼高性能+融⼊入HADOOP⽣生态 • ⾏行业和⽣生态圈拥抱Spark • IBM, Yahoo, Facebook，阿⾥里，华为， Cloudera，Hortonworks… • Spark MLlib 越来越丰富 [wiki]
- 20. ML应⽤用的⻔门槛越来越低 • 分布式机器学习平台：Spark • 在线课程：Coursera, Stanford, Databricks • 实践机会：kaggle.com • 各种算法库
- 21. ⼤大数据下的模型选择 • ⼤大数据上的简单模型 • CTR预估（LR on MPI） • 中等数据上的复杂模型 • ⺴⽹网⻚页排序（单机+GBDT+⼈人⼯工标注样本） • ⼤大数据上的复杂模型 • 图像识别（DNN）
- 22. 深度学习 • Learning based on Deep Structures • Why Now? • Before 2006, all attempts failed • Pre-training in unsupervised way! • GPU+⼤大规模分布式计算 • 应⽤用：⼈人脸识别，猫脸识别，语⾳音识别，CTR预估
- 23. 深度学习（2） • Pre-training: RBM and Auto-encoder !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! RBM2! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! RBM3! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! RBM1!
- 24. Parameter Server for Large-scale ML • Parameter Server • Large Scale Distributed Deep Network - NIPS 2012 Google • “DistBelief”: 4 hidden layer, 2560 nodes each, 40M parameters • 1.1 billion weakly labeled samples • Optimization: SGD or L-BFGS • Parameter Server for Distributed Machine Learning
- 25. 学习资料
- 26. 学习资料 • 2⻔门课 • Machine Learning 公开课 • Probabilistic Graphical Models 公开课 • ⼏几本书： • 统计学习⽅方法 （李航） • Pattern Recognition and Machine Learning • Machine Learning A Probabilistic Perspective • The Elements of Statistic Learning
- 27. 领域会议 • Top conference：NIPS, ICML, KDD, IJCAI, AAAI • 智能交通领域：TRB(Transportation Research Board) • 订单分配，订单预测，拼⻋车策略
- 28. 滴滴机器学习平台 • 滴滴通⽤用的机器学习平台: 全流程，分布式，图形化交 互+RPC调⽤用 [功能⽂文档] • 功能与架构
- 29. Thanks