人工智能11监督学习（PPT46页)

第11章监督学习剩余课程安排•本周是第八周，周四结束所有课程•第八周第2节结束实验三验收•第9周考试，考试时间11.01•8周.周日晚上交实验三的报告大纲•分类逻辑斯特回归支持向量机SVM神经网络BaggingandBoosting•回归自主学习课程论文3：SVR•实例Logistic回归基本理论和方法•研究某一事件发生的概率P=P(y=1)与若干因素之间的关系qqxxp110在0和1之间任意范围之间的数量若干个状态的标量logistic变换•logistic变换•Logistic回归模型),(1lnppqqxxpp1101ln优势比概率p的预测•P与多因素之间的关系预测qqqqxxxxeep1101101)(11011qqxxepqqxxpp1101lnP与单特征之间的关系图px1xxeep1010101最可能成功范围最不可能成功范围LR模型公式二分类：多项逻辑斯特回归（Multinomiallogisticregression，MLR）：注意：在实际分类应用时，因为特征向量往往维数较多，标签值的分类，优先选择MLR模型支持向量机SVM•在机器学习领域，支持向量机SVM(SupportVectorMachine)是一个有监督的学习模型，通常用来进行模式识别、分类、以及回归分析。线性分类器Binaryclassificationcanbeviewedasthetaskofseparatingclassesinfeaturespace（特征空间）:LinearClassificationWhichofthelinearseparatorsisoptimal?ClassificationMargin（间距）ClassificationMargin（间距）MaximumMarginClassification最大间距分类MaximizingthemarginisgoodaccordingtointuitionandPACtheory.意味着分类时只考虑支持向量，其他的训练样本被忽略。MaximumMarginClassification最大间距分类MaximizingthemarginisgoodaccordingtointuitionandPACtheory.意味着分类时只考虑支持向量，其他的训练样本被忽略。MaximumMarginClassificationMathematicallyMaximumMarginClassificationMathematically非线性SVMs非线性SVMs:特征空间课堂讨论神经网络问题求解求解线性子问题激活函数图形化描述求解过程图形化描述求解过程图形化描述求解过程深度神经网络输出层隐含层输入层神经网络深度神经网络Bagging•bagging是一种用来提高学习算法准确度的方法，这种方法通过构造一个预测函数系列，然后以一定的方式将它们组合成一个预测函数•基本思想1.给定一个弱学习算法,和一个训练集;2.单个弱学习算法准确率不高;3.将该学习算法使用多次,得出预测函数序列,进行投票;4.最后结果准确率将得到提高Bagging•算法1.Fort=1,2,…,TDo从数据集S中取样（放回选样）训练得到模型Ht对未知样本X分类时,每个模型Ht都得出一个分类，得票最高的即为未知样本X的分类2.也可通过得票的平均值用于连续值的预测•要求的分类算法Bagging要求“不稳定”（不稳定是指数据集的小的变动能够使得分类结果的显著的变动）的分类方法。比如：决策树，神经网络算法Boosting•发展历史BoostingAdaBoostAdaBoost回归•多项式最小二乘回归•支持向量回归SVR•神经网络•深度神经网络•。。。。。。实例•淘宝母婴预测分组12345年龄段1to6months6to12months1to3years3to6yearsolderthan6years预测模型整体框架基础交易记录user1user2user3…userk1…m产品特征属性特征1…n0…33…35…45…22…03…4……………1…25…4年龄段23315123分类模型多项逻辑斯蒂回归（multinomiallogisticregression）80%-20%交叉验证预测结果：幼儿年龄分组评价方案：准确率，召回率,microF1,混淆矩阵商品类目/属性表+特征提取数据准备特征提取母婴商品食物玩具服装…T恤裤子亲子装……商品编号一级类目叶子类目属性1属性21服装裤子适用年龄：2岁型号：L2食物奶粉适用年龄：3到6个月3用品奶瓶适用年龄：2岁容量：250ml…分类器•分类器选择：MLR•评价标准MicroF1值实验结果0.150.250.350.450.550.650.750.850.9512345MicroF1Agegroup3M-LR3M-MLR1Y-MLR1Y-TMLR1Y-3TBP-MLR总体准确率：78.2%70%覆盖率下各年龄段上的MicroF1值0.450.550.650.750.850.9512345MicroF1Agegroup1Y-TMLRunder100%coverage1Y-3TBP-MLRunder100%coverage1Y-3TBP-MLRunder70%coverage