您好,欢迎访问三七文档
当前位置:首页 > 商业/管理/HR > 薪酬管理 > 中国科学院大学2012年《机器学习》试卷及其答案
中国科学院大学20139310班第1页共4页中国科学院大学2012年《机器学习》试卷及其答案任课教师:卿来云一、基础题(共36分)1、请描述极大似然估计MLE和最大后验估计MAP之间的区别。请解释为什么MLE比MAP更容易过拟合。(10分)MLE:取似然函数最大时的参数值为该参数的估计值,ymle=argmax[p(x|y)];MAP:取后验函数(似然与先验之积)最大时的参数值为该参数的估计值,ymap=argmax[p(x|y)p(y)]。因为MLE只考虑训练数据拟合程度没有考虑先验知识,把错误点也加入模型中,导致过拟合。2、在年度百花奖评奖揭晓之前,一位教授问80个电影系的学生,谁将分别获得8个奖项(如最佳导演、最佳男女主角等)。评奖结果揭晓后,该教授计算每个学生的猜中率,同时也计算了所有80个学生投票的结果。他发现所有人投票结果几乎比任何一个学生的结果正确率都高。这种提高是偶然的吗?请解释原因。(10分)设x为第i个学生的猜中率(要么0要么1)x~Ber(θ),E(x)=θ,V(x)=θ(1-θ)mean(x)~N(θ,θ(1-θ)/N),E(mean(x))=θ,V(mean(x))=θ(1-θ)/NV(x)3、假设给定如右数据集,其中A、B、C为二值随机变量,y为待预测的二值变量。(a)对一个新的输入A=0,B=0,C=1,朴素贝叶斯分类器将会怎样预测y?(10分)y~Ber(θ)p(y=0)=3/7,p(y=1)=4/7p(y=0|A=0B=0C=1)∝p(y=0)*p(A=0|y=0)*p(B=0|y=0)*p(C=1|y=0)=3/7*2/3*1/3*1/3=2/63p(y=1|A=0B=0C=1)∝p(y=1)*p(A=0|y=1)*p(B=0|y=1)*p(C=1|y=1)=4/7*1/4*2/4*2/4=1/28,因此属于y=1类(b)假设你知道在给定类别的情况下A、B、C是独立的随机变量,那么其他分类器(如Logstic回归、SVM分类器等)会比朴素贝叶斯分类器表现更好吗?为什么?(注意:与上面给的数据集没有关系。)(6分)不会。因为已知独立同分布的前提下NBC只用3个参数,不用NBC则需要23-1=7个参数。若不独立,则其他基于数据本身的判别式分类器效果较好。二、回归问题。(共24分)现有N个训练样本的数据集D={(xi,yi)},其中xi,yi为实数。中国科学院大学20139310班第2页共4页1.我们首先用线性回归拟合数据。为了测试我们的线性回归模型,我们随机选择一些样本作为训练样本,剩余样本作为测试样本。现在我们慢慢增加训练样本的数目,那么随着训练样本数目的增加,平均训练误差和平均测试误差将会如何变化?为什么?(6分)平均训练误差:A、增加B、减小平均测试误差:A、增加B、减小因为当训练样本增多时,模型参数发生改变以拟合新增的样本,因而使得模型原先的拟合程度下降,平均训练误差增加;而训练样本增多,模型越接近真实的分布,因而使得平均测试误差减小。2.给定如下图(a)所示数据。粗略看来这些数据不适合用线性回归模型表示。因此我们采用如下模型其中。假设我们采用极大似然估计w,请给出log似然函数并给出w的估计。(8分)p(yi|w,xi)~N(exp(wxi),1)L(w)=logp(y|w,x)=-0.5*Σ(yi-exp(wxi))2+C令g(w)=Σ[(yi-exp(wxi))*exp(wxi)*xi]=0求得w3.给定如下图(b)所示的数据。从图中我们可以看出该数据集有一些噪声,请设计一个对噪声鲁棒的线性回归模型,并简要分析该模型为什么能对噪声鲁棒。(10分)如图离群点较多(heavytail),使用鲁棒线性回归模型:y=wTx+ε~Laplace(wTx,b)因为当y服从拉式分布时L(θ)=logp(D|X,w,b)=ΣlogLap(yi|wTxi,b)=-N*log(2b)-Σ|yi-wTxi|/b,其损失为残差绝对值和,对离群点不敏感;而当y服从正态分布时,L(θ)=logp(D|X,w,b)=ΣlogN(yi|wTxi,σ2)=-(N/2)*log(2πσ2)-Σ(yi-wTxi)2/2σ2,其损失为残差平方和,放大了误差,对离群点敏感。因此使用Laplace(或Student)线性回归模型能对噪声鲁棒。三、SVM分类。(第1~5题各4分,第6题5分,共25分)下图为采用不同核函数或不同的松弛因子得到的SVM决策边界。但粗心的实验者忘记记录每个图形对应的模型和参数了。请你帮忙给下面每个模型标出正确的图形。中国科学院大学20139310班第3页共4页答:1.c2.b3.d4.a5.e6、考虑带松弛因子的线性SVM分类器:下面有一些关于某些变量随参数C的增大而变化的表述。如果表述总是成立,标示“是”;如果表述总是不成立,标示“否”;如果表述的正确性取决于C增大的具体情况,标示“不一定”。(1)w0不会增大(不一定)(2)||w||增大(不一定)(3)||w||不会减小(是)(4)会有更多的训练样本被分错(否)(5)间隔(Margin)不会增大(是)四、一个初学机器学习的朋友对房价进行预测。他在一个N=1000个房价数据的数据集上匹配了一个有533个参数的模型,该模型能解释数据集上99%的变化。中国科学院大学20139310班第4页共4页1、请问该模型能很好地预测来年的房价吗?简单解释原因。(5分)2、如果上述模型不能很好预测新的房价,请你设计一个合适的模型,给出模型的参数估计,并解释你的模型为什么是合理的。(10分)答:1.不能。因为模型参数过多太复杂,训练集上拟合太好,把错误点也考虑进来,因此发生了过拟合,预测误差较大。2.对之进行L1正则,即Lasso回归。y~N(wTx,σ2)w~Lap(0,t)L(θ)=C-Σ(yi-wTxi)2/2σ2-Σ|wi|/b,NLL=RSS+λ||w||通过调节L1正则系数λ大小避免模型过拟合,而且估计w参数的同时进行了特征选择,使得系数w尽可能多的为0,简化了模型。
本文标题:中国科学院大学2012年《机器学习》试卷及其答案
链接地址:https://www.777doc.com/doc-1807496 .html