《模式识别及其应用》试卷(A)标准答案

2006~2007学年第二学期期末考试《模式识别及其应用》试卷（A）标准答案一、结合自己的理解对如下基本概念作出解释（每小题4分,共20分)（1）模式识别和模式（2）样本的规范化（3）最近邻法（4）非监督参数估计（5）特征的选择与特征提取答：（1）模式识别就是要用机器去完成人类智能中通过视觉听觉触觉等感官去识别外界环境的自然信息的这些工作。存在于时间和空间中可观察的事物,如果我们可以区别它们是否相同或是相似,都可以称为模式,但模式所指的不是事物本身,而是我们从事物获得的信息,因此,模式往往表现为具有时间和空间分布的信息。（2）如果样本集，，……，时线性可分的，则必存在某个或某些权向量，使得对于任何都有，而对于任何，都有，如果在来自的样本前面加上一个负号，即令，有则，我们称这一过程为样本的规范化。（3）最近邻法就是对待识别的模式向量，只要比较与所有已知类别的样本之间的欧式距离，并决策与离它最近的样本同类。（4）非监督参数估计已知总体概率密度函数的形式但未知样本所属类别，要求推断出概率密度函数的某些参数。（5）特征提取在原始特征的维数很高的情况下，基于某种类别可分离性判据通过变换的方法用低维空间来表示样本，这个过程叫特征提取。特征选择基于某种类别可分离性判据，从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的，称为特征选择。二、问答题（每小题5分,共35分）（1）指出在Fisher线性判别中，的比例因子对Fisher判别结果无影响的原因。（2）对于同一个决策规则判别函数可定义成不同形式，从而有不同的决策面方程，指出决策区域是不变的。（3）类别可分离性判据应满足的基本条件是什么？（4）应用线性判别函数方法和Bayes决策方法进行模式分类各自的前提是什么？（5）试说明Mahalanobis距离平方的定义，到某点的Mahalanobis距离平方为常数的轨迹的几何意义，它与欧氏距离的区别与联系。（6）如果只知道各类的先验概率，最小错误率Bayes决策规则应如何表示？（7）结合你所学的谈谈你对“模式识别及其应用”这门课程的认识。答：（1）在Fisher线性判别中，由于我们的目的是寻求最好的投影方向，因此的比例因子对此并无影响。（2）对于同一个决策规则判别函数可定义成不同的等价形式，彼此决策面方程是不同的，但是决策域中的可以使所取的不同的等价判别函数满足对一切都成立，则将始终归于类，所以决策区域是不变的。（3）类别可分离性判据应满足的基本条件：①与错误概率（或其的上下界）有单调关系；②当特征独立时有可加性③具有“距离”的某些特性，即④对特征数目是单调不减，即加入新的特征后，判据值不减即（4）应用线性判别函数方法的前提：抽取到的模式样本的边界是“整齐”而不混杂的，而且以后遇到的待分类模式基本上不超过学习样本的分布范围；应用Bayes决策方法的前提：各类别先验概率以及条件概率密度均为已知，即各类别总体的概率分布是已知的和要决策分类的类别是一定的；（5）Mahalanobis距离的平方定义为：，其中，为两个数据，是一个正定对称矩阵（一般为协方差矩阵）。根据定义，距某一点的Mahalanobis距离相等点的轨迹是超椭球，如果是单位矩阵，则Mahalanobis距离就是通常的欧氏距离。（6）如果只知道各类的先验概率（，2，……，），最小错误率Bayes决策规则应如何表示为。（7）略。（内容可以为学习心得，学习小结及对这门课程的归纳，也可以是它的应用等）三、非主观题：（本大题共两小题，第一小题8分，第二小题7分）（1）设在一维特征空间中两类样本服从正态分布，，，，两类先验概率之比，试求按基于最小错误率贝叶斯决策原则的决策分界面的值。（2）对两类问题，若损失函数；，，，试求基于最小风险贝叶斯决策分界面处的两类错误率、与、的关系。（1）由于按基于最小错误率的贝叶斯决策，则分界面上的点服从（2）答：由于在基于最小风险贝叶斯决策分界面处有而在两类问题中，,故四、非主观题：（本大题8分）设总体分布密度为，，，并设，分别用最大似然估计和贝叶斯估计计算。已知的先验概率分布。解：五、非主观题：（本大题共三小题，每小题5分）（1）指出从到超平面的距离是在的约束条件下，使达到极小的解；在超平面上的投影是。（2）对于二维线性判别函数，将判别函数写成的形式，并画出的几何图形；同时将其影射成增广齐次线性判别函数。（3）为什么说近邻法的分类器是线性分类器，试以以下样本数据集说明，并画出用近邻法得到的分类器。第一类样本：，，，；第二类样本：，，，。解：（1）表明在超平面上，当达到极小时，应是在超平面上的投影。那么则即的极小解。、则在超平面上的投影是。（2）这里，；若将其影射成增广齐次线性判别函数则，。（3）近邻法分类器的每条分界线必然由两个分别属于两类的样本点决定，故一定是线性的。这些分界面拼接起来，就得到了分段线性的近邻法分类器。本题的分类器如图所示。六、非客观题(本大题7分)考虑基于具有先验知识和分布和的样本的分类器。（1）在这种情况下，求Bayes判定规则和Bayes错误率；（2）求按最近邻法决策的渐近平均错误率。解：