厦门大学机器学习考试题

2013-2014春季-厦门大学-智能科学与技术系-《机器学习》课程考卷A卷1/2第一题判断题（10分，每小题1分）[1]逻辑斯蒂回归模型可以用来做分类，但是SVM不能用来做回归。（）[2]训练数据较少时更容易发生过拟合。（）[3]如果回归函数A比B简单，则A一定会比B在测试集上表现更好。（）[4]在核回归中，最影响回归的过拟合性和欠拟合之间平衡的参数为核函数的宽度。（）[5]在AdaBoost算法中，所有被错分的样本的权重更新比例相同。（）[6]Boosting的一个优点是不会过拟合。（）[7]梯度下降有时会陷于局部极小值，但EM算法不会。（）[8]SVM对噪声（如来自其他分布的噪声样本）鲁棒。（）[9]经验风险最小化在一定条件下与极大似然估计是等价的。（）[10]在回归分析中，最佳子集选择可以做特征选择；Lasso模型也可以实现特征选择。（）第二题统计学习方法的三要素（10分）1.(5分)H是一个函数空间，(,)pxy是XY上一个概率测度，1{,}niiiDxy是XY的一个子集（采样），()(,,(,)XYfLxyfxydp，11()(,,(,))niiiiifLxyfxyn，argmin(),argmin(),HzfHfHffff请问：[1](2分)()()zHff随着N增大而增大吗？为什么？[2](3分)()()zHff随着H增大而增大吗？为什么？2.(5分)比较感知机、逻辑斯蒂回归模型、AdaBoost和SVM的损失函数。第三题产生式模型和判别式模型（10分）[1]（5分）解释产生式模型和判别式模型，并分析二者的不同点；[2]列出三种判别式模型（3分）和两种产生式模型（2分）第四题EMandNaiveBayes（15分）[1]（5分）概述EM算法的用途及其主要思想；[2]（10分）EM算法可以用到朴素贝叶斯法的非监督学习，写出其算法。第五题HMM（10分）考虑盒子和球模型λ=(A,B,π)，状态集合Q={1,2,3}，观测集合V={红,白}，0.50.20.30.30.50.20.20.30.5A，0.50.50.40.60.70.3B，π=(0.2,0.4,0.4)𝑇设T=3，O=(红、白、红)，试用前向算法计算P(O|λ).第六题SVM（15分）考虑利用线性支持向量机对如下两类可分数据进行分类：+1：(1,1),(2,2),(2,0)-1：(0,0),(1,0),(0,1)[1]（4分）在图中做出这6个训练点，构造具有最优超平面和最优间隔的权重向量；[2]（3分）哪些是支撑向量？[3]（8分）通过寻找拉格朗日乘子i来构造在对偶空间的解，并将它与[1]中的结果比较。2013-2014春季-厦门大学-智能科学与技术系-《机器学习》课程考卷A卷2/2第七题Logistic回归模型（15分）如图1(a)所示，数据采用简化的线性logistic回归模型进行两类分类，即，121122112211,,1exp()PYxwwgwxwxwxwx为了简化，不采用偏差w0,训练数据可以被完全分开（训练误差为0，如图1(b)所示的L1）。++++++oooooooo++++++oooooooo图1(a)二维训练数据图1(b)可能的决策面：L1,L2,L3,L4L1L2L3L4[1]（8分）考虑一个正则化的方法，即最大化21221log,,2NiiiCPyx,注意只有被惩罚。则当C很大时，如图1(b)所示的4个决策边界中，哪条线可能是由该正则方法得到的？L2、L3和L4可以通过正则得到吗？简要说明理由。[2]（7分）如果我们将正则项给出L1范式，即最大化12121log,,2NiiiCPyx,则随着C增大，下面哪种情形可能出现（单选）？注：简要说明理由(A)1将变成0，然后也将变成0。(B)将变成0，然后1也将变成0。(C)1和将同时变成0。(D)两个权重都不会变成0，只是随着C的增大而减小为0。第八题AdaBoost（15分）考虑如下图2所示的训练样本，其中’X’和’O’分别表示正样本和负样本。采用AdaBoost算法对上述样本进行分类。在Boosting的每次迭代中，选择加权错误率最小的弱分类器。假设采用的弱分类器为平行两个坐标轴的线性分类器。[1]（4分）在图2中标出第一次迭代选择的弱分类器（L1），并给出决策面的‘+’和‘-’面。[2]（4分）在图2中用圆圈标出在第一次迭代后权重最大的样本，其权重是多少？[3]（4分）第一次迭代后权重最大的样本在经过第二次迭代后权重变为多少？[4]（3分）强分类器为弱分类器的加权组合。则在这些点中，存在被经过第二次迭代后的强分类器错分的样本吗？给出简短理由。00.511.522.533.544.555.560123456-1+1图2训练数据