武汉大学模式识别复习提纲

考试事项及复习提纲考试时间及地点：本周日（12月1号），（8:50—11:25）2-4节，在1区教三楼3-102题目类型：满分100分6道简答+6道计算复习范围：1、09年试题+10年考试试题2、课本例题（附章节和页面）3、中科院考博题库题目透视：09年和10年试题预览：题目+答案一、简答题1简述模式识别系统的构成。2简述机器学习方法中随机训练、成批训练和在线训练的区别。3简述隐马尔可夫模型的三个核心问题。4简述基于贝叶斯分类器的分类系统产生的最终分类误差的来源。5简单列举出三种度量距离的方法。6具有d个输入单元、n个隐单元、c个输出单元以及偏置的一个标准三层反向传播网，网络中有多少权值？7最大似然方法与Bayes估计的差异答案：1、系统构成：信息获取是指通过传感器将光或声音等信息转化为计算机可以处理的电信息；预处理包括A\D,二值化，图象的平滑，变换，增强，恢复，滤波等,主要指图象处理；特征提取和选择是把测量空间的原始数据通过变换获得在特征空间最能反映分类本质的特征的过程；分类器设计的主要功能是通过训练确定判决规则，使按此类判决规则分类时，错误率最低；分类决策是在特征空间中对被识别对象进行分类。2、随机训练：模式是随机的从训练集中提取的，网络权值也根据不同的模式进行更新，训练数据可认为是一个随机变量；成批训练：所有的模式在训练前全部送往网络中；在线训练：每种模式只提供一次，不需要存储器来保存模式，当训练数据很多或者当内存消耗大而无法存储数据时，常采用在线训练。3、隐马尔可夫模型的三个核心问题：1）估值：HMM的转移概率已知，计算这个模型产生一个特定观测值的概率；2）解码：已知一个HMM和一个它所产生的观测序列，确定产生该观测序列最有可能的隐状态序列；3）学习：只知一个HMM的大致结构，其转移概率都未知。如何从一组可见符号的序列中，决定这些参数4、简述基于贝叶斯分类器的分类系统产生的最终分类误差的来源：贝叶斯误差：由于不同的类条件概率密度函数之间的互相重叠引起的固有误差，无法消除；模型误差：选择不正确的模型所导致的分类误差；估计误差：采用有限样本进行估计带来的误差。5、1||nijikjkkdXX12nijikjkkdXX简单列举出三种度量距离的方法：绝对值距离：欧几里德距离：11()||nqijikjkkqdqXX切比雪夫距离：明考夫斯基距离：6、具有d个输入单元、n个隐单元、c个输出单元以及偏置的一个标准三层反向传播网，网络中有多少权值？每个输入单元对应n个隐单元：d*n每个隐单元对应c个输出单元：n*c偏置单元连到每个隐单元和输出单元：n+c一共d*n+n*c+n+c个权值7、最大似然方法与Bayes估计的差异：最大似然估计就是把待估的参数看做是确定性的量，只是其取值未知。最佳估计就是使得产生以观测到的样本的概率最大的那个值。Bayes估计则是把待估计的参数看成是符合某种先验概率分布的随机变量。对样本进行观测的过程，就是把先验概率密度转化成后验概率密度的过程，这样就利用样本的信息修正了对参数的初始估计值。二、1（54页,12题）设max()x为类别状态，对所有的(1,...)iic，有max(|)(|)iPxPx。（a）证明max(|)1/Pwxc（b）证明对于最小误差判定规则，平均误差概率为dxxPxwP)()|(1max2、（116页，2题）令x具有均匀分布的概率密度：其他00/1),0(~)|(xUxP（1）假设n个样本点1D={,...}nxx都独立地服从)|(xP，证明对于的最大似||max)(1jkiknkijXXd然估计就是D中的最大值点max[D].（2）假设n=5个样本点是从这个分布中抽取的，并且有xkkmax=0.6.画出区间0≤≤1上的似然函数)|(DP。并且解释为什么此时不需要知道其余4个点的值。b)当n=5时，由以上可知)|(DP＝51，max()max()iDx，因此当max()0.6ix时就可以得到，不需要知道其余四个值。3、应用题：计算两类问题中二维数据的贝叶斯判决边界，并绘出判决边界的图形。假设两类分布的先验概率相等。w1的样本为（2，6），（3，4），（3，8），（4，6），w2的样本为（0，3），（1，-2），（2，-4），（5，-2）。2．考虑下面的二维空间的3-类别问题：w1w2w3x1x2x1x2x1x2100510280-1005-525-25510-4画出用最近邻规则区分的决策边界。计算样本均值m1，m2和m3。在同一张图上，画出如果把样本归类为与之最接近的样本最值的那个类时的判定边界。3.用伪逆矩阵构造线性分类器，分类两类二维点12:(1,2)20:(3,1)23tttt和（，）及和（，），并给出图示结果。4．假设在某个局部地区细胞识别正常1和异常2两类的先验概率分别为：正常状态：9.0)(1P异常状态：1.0)(2P现有一待识别的细胞，其观察值为x，从类条件概率密度分布曲线上查得4.0)|(,2.0)|(21xPxP并且已知0,1,6,022211211试对该细胞x用以下两种方法进行分类：①基于最小错误率的贝叶斯决策；②基于最小风险的贝叶斯决策。请分析两种分类结果的异同及原因。5.令：12344105,,,,5410xxxx下面给出了3种划分：1）112234{,},{,},DDxxxx2）11223{,4},{,},DDxxxx3）112324{,,},{},DDxxxx（a）找出误差平方和最小的划分；（b）找出行列式准则最小的划分。由上面的计算式可得je1=18je2=18je3=17.3;jd1=16jd2=16jd3=21.3a)因为je3最小所以第三种划分最好b)因为jd1=jd2jd3所以前两种最好