机器学习---逻辑回归算法综述---情感分析---研究生课程报告

西华大学研究生课程报告第1页共12页西华大学研究生课程报告课程：机器学习与知识发现学院：计算机与软件工程学院专业：计算机技术姓名：陈白杨学号：2120180852110222019年2月西华大学研究生课程报告第2页共12页目录1逻辑回归算法综述...........................................................................................31.1概述........................................................................................................31.2线性模型................................................................................................31.3广义线性模型........................................................................................31.4逻辑回归模型........................................................................................41.5逻辑回归模型参数估计........................................................................61.6多项逻辑回归........................................................................................61.7参考文献................................................................................................72实验...................................................................................................................82.1实验任务................................................................................................82.2数据集IMDb..........................................................................................82.3试验设置................................................................................................82.4算法描述................................................................................................92.5试验步骤..............................................................................................102.6实验结果..............................................................................................102.7案例研究与分析..................................................................................112.8参考文献..............................................................................................12西华大学研究生课程报告第3页共12页1逻辑回归算法综述1.1概述逻辑回归模型由统计学家DavidCox于1958年发明，该模型本身只是根据输入对输出的概率进行建模，不进行统计分类，并不是分类器，但它可以用于构建分类器：选择某个数值作为阈值，将输出大于阈值的那个输入划分为一个类别，低于阈值则划分为另一个类别，这就构成了一种常见的二值分类器。逻辑回归是一种有监督的统计学习方法，其本质上是一种广义线性回归模型，下面从线性模型开始介绍。1.2线性模型给定由d个属性描述的示例𝒙=(𝑥1;𝑥2;…;𝑥𝑑),其中𝑥𝑖是x在第i个属性上的取值，线性模型试图学得一个通过属性的线性组合来进行预测的函数，即𝑓(𝑥)=𝑤1𝑥1+𝑤2𝑥2+⋯+𝑤𝑑𝑥𝑑+𝑏一般用向量形式写成𝑓(𝑥)=𝑤𝑇𝑥+𝑏其中𝒘=(𝑤1;𝑤2;…;𝑤𝑑).w和b学得后模型就得以确定。线性模型形式简单、易于建模，但却蕴含着机器学习中一些重要的基本思想。许多功能更为强大的非线性模型可在线性模型的基础上通过引入层级结构或高维映射而得。此外，由于参数w直观表达了各属性在预测中的重要性，因而线性模型具有很好的可解释性。1.3广义线性模型线性模型虽然简单，却有丰富的变化。如果令模型的预测值逼近于y=𝑤𝑇𝑥+𝑏的衍生物，比如𝑙𝑛𝑦，即将输出标记的对数作为线性模型的逼近目标，就得到对数线性回归模型。它反应了示例对应的输出标记是在指数尺度上变化，形式上仍然是线性回归，但实质上已是在求取输入空间到输出空间的非线性函数映西华大学研究生课程报告第4页共12页射。如果把对数函数换成更一般的单调可微函数𝑔(·)，就得到“广义线性回归模型”，即：y=𝑔−1(𝑤𝑇𝑥+𝑏)其中𝑔(·)称为联系函数。对数线性回归是广义线性模型在𝑔(·)=ln⁡(·)时的特例。广义线性模型的数学公式最早由JohnNelder和RobertWedderburn建立。它对包括线性回归、逻辑回归和泊松回归等在内的多个模型进行了统一。他们还提出了一种迭代加权最小二乘法来对该模型参数进行最大似然估计。1.4逻辑回归模型线性回归模型用于回归学习，如果能够找到一个单调可微的联系函数𝑔(·)，将分类任务的真实标记y与线性回归模型的预测值𝑤𝑇𝑥+𝑏联系起来，就可以实现分类任务。逻辑函数（logit，由英语单词logisticunit混合而成，和“逻辑”一词谐音）即是这样的一个常用函数：z11ey逻辑函数或逻辑曲线是一种常见的S形函数（即Sigmoid函数），它是皮埃尔·弗朗索瓦·韦吕勒在1844年（或1845）在研究它与人口增长的关系时命名的。其图像如下：从上图可以看出，逻辑函数将z值转换为一个接近0或1的y值，并且其输出值在z=0附近变化很陡。将逻辑函数作为𝑔−(·)代入上式，得到()11Twxbye上式又可以变化为西华大学研究生课程报告第5页共12页ln𝑦1−𝑦=𝑤𝑇𝑥+𝑏如果将y视为样本x作为正例的可能性，则1-y是其反例可能性，两者的比值称为“几率”（odds）。几率反映了x作为正例的相对可能性。对几率取对数则得到“对数几率”（logodds，亦称logit）：logit(𝑝)=ln𝑦1−𝑦上式表达的含义实际上就是在用线性回归模型的预测结果取逼近真实标记的对数几率，因此逻辑回归又称为“对数几率回归（LogitRegression）”、“逻辑斯蒂回归（LogisticRegression）”。虽然是名为“回归”，但实际上却是一种分类算法。如果将分类标记y视为在观测样本x条件下的类后验概率估计𝑝(𝑦=1𝑥),作在逻辑回归模型的公式可以重写为ln𝑝(𝑦=1𝑥)𝑝(𝑦=𝑥)=𝑤𝑇𝑥+𝑏这就是说，在逻辑回归模型中，输出y=1的对数几率是输入x的线性函数。或者说，输出y=1的对数几率是由输入x的线性函数表示的模型。由此，逻辑回归分类器的总体框架可以用下图表示：逻辑回归模型的有许多优点：无需实现假设数据分布，直接对分类可能性进行建模，避免了假设分布不准确的问题。且它不是仅预测出类别，而是可得到近似概率预测。西华大学研究生课程报告第6页共12页1.5逻辑回归模型参数估计逻辑回归模型学习时，对于给定的训练数据集𝑻={(𝑥1,𝑦1),(𝑥2,𝑦2),…,(𝑥𝑁,𝑦𝑁)}其中𝑥𝑖∈𝑅𝑛,𝑦𝑖∈{,1}，可以运用极大似然估计法估计模型参数。设：(=1𝑥)=(𝑥),(=𝑥)=1−(𝑥)似然函数为：∏[(𝑥𝑖)]𝑦𝑖[1−(𝑥𝑖)]1−𝑦𝑖𝑁𝑖=1对数似然函数为：(𝑤)=∑[𝑦𝑖log(𝑥𝑖)+(1−𝑦𝑖)log(1−(𝑥𝑖))]𝑁̇=1对(𝑤)求极大值，得到w的估计值。这样，模型的学习过程就变成了以对数似然函数为目标函数的最优化问题了。可以看出这个目标函数是任意阶可导的凸函数，有很好的数学性质，有许多数值优化算法都可以用于求取最优解，如梯度下降法、牛顿法等。1.6多项逻辑回归上面介绍的逻辑回归算法是二项分类模型，用于二分类任务。可将其推广为多项逻辑回归模型（multi-nominallogisticregressionmodel），用于多分类任务。假设离散型随机变量Y的取值集合是{1,2,..,K}，那么多项逻辑回顾模型可以表示为：(=𝑘𝑥)=𝑥𝑝(𝑤𝑥)1+∑𝑥𝑝(𝑤𝑥)−1=1,k=1,2,…K−1(=𝐾𝑥)=11+∑𝑥𝑝(𝑤𝑥)−1=1西华大学研究生课程报告第7页共12页其中𝑥∈𝑅𝑛+1,𝑤∈𝑅𝑛+1.二项逻辑回归的参数估计方法也可以推广到多项逻辑回归模型中。1.7参考文献周志华.(2016).机器学习.清华大学出版社，北京。李航.(2012).统计学习方法.清华大学出版社，北京。Raschka,S.&V.Mirjalili.(2017).PythonMachineLearningSecondEdition.PacktPublishing,Birmingham,UKWalker,SH;Duncan,DB(1967).Estimationoftheprobabilityofaneventasafunctionofseveralindependentvariables.Biometrika.54(1/2):167–178.Cox,D.R.(1958).Theregressionanalysisofbinarysequences(withdiscussion).JRoyStatSocB.20(2):215–242.Nelder,J.,Wedderburn,R.(1972).GeneralizedLinearModels.JournaloftheRoyalStatisticalSociety.SeriesA(General).BlackwellPublishing.135(3):370–384.Collins,M.,Schapire,R.E.,Singer,Y.(2004).LogisticRegression,AdaBoostandBregmanDistances.MachineLearningJournal.西华大学研究生课程报告第8页共12页2实验2.1实验任务情感分析（或意见挖掘）是人们的观点、情绪，评估对诸如产品、服务、组织等实体的态度。通常来说，情感分析的目的是为了找出说话者在某些话题上或者针对一个文本两极的观点态度。本次实验将采用上文介绍的逻