北邮模式识别课堂作业及部分答案

第一次课堂作业1.人在识别事物时是否可以避免错识？2.如果错识不可避免，那么你是否怀疑你所看到的、听到的、嗅到的到底是真是的，还是虚假的？3.如果不是，那么你依靠的是什么呢？用学术语言该如何表示。4.我们是以统计学为基础分析模式识别问题，采用的是错误概率评价分类器性能。如果不采用统计学，你是否能想到还有什么合理地分类器性能评价指标来替代错误率？1.知觉的特性为选择性、整体性、理解性、恒常性。错觉是错误的知觉，是在特定条件下产生的对客观事物歪曲的知觉。认知是一个过程，需要大脑的参与.人的认知并不神秘，也符合一定的规律，也会产生错误2.不是3.辨别事物的最基本方法是计算.从不同事物所具有的不同属性为出发点认识事物.一种是对事物的属性进行度量，属于定量的表示方法(向量表示法)。另一种则是对事务所包含的成分进行分析，称为定性的描述(结构性描述方法)。4.风险第二次课堂作业作为学生，你需要判断今天的课是否点名。结合该问题(或者其它你熟悉的识别问题，如”天气预报”)，说明:先验概率、后验概率和类条件概率？按照最小错误率如何决策？按照最小风险如何决策？ωi为老师点名的事件,x为判断老师点名的概率1.先验概率:指根据以往经验和分析得到的该老师点名的概率,即为先验概率P(ωi)后验概率:在收到某个消息之后，接收端所了解到的该消息发送的概率称为后验概率。在上过课之后,了解到的老师点名的概率为后验概率P(ωi|x)类条件概率:在老师点名这个事件发生的条件下,学生判断老师点名的概率p(x|ωi)2.如果P(ω1|X)P(ω2|X)，则X归为ω1类别如果P(ω1|X)≤P(ω2|X)，则X归为ω2类别3.1)计算出后验概率已知P(ωi)和P(X|ωi)，i=1,…，c，获得观测到的特征向量X根据贝叶斯公式计算j=1,…，x2)计算条件风险已知:后验概率和决策表计算出每个决策的条件风险3)找出使条件风险最小的决策αk,则αk就是最小风险贝叶斯决策。第3次课堂作业1.正态分布概率下采用最小错误率贝叶斯决策，满足什么条件时，分类边界是线性函数？2.什么是参数估计，什么是非参数估计(分别举例解释)？1.在正态分布条件下，基于最小错误率贝叶斯决策只要能做到两类协方差矩阵是一样的，那么无论先验概率相等不相等，都可以用线性分界面实现。a)在Σi=σ2IP(ωi)=P(ωj)条件下，正态分布概率模型下的最小错误率贝叶斯决策等价于最小距离分类器b)Σi=σ2IP(ωi)P(ωj)判别函数为最小欧氏距距离分类器c)2)Σi=Σ判别函数线性分类器2.参数估计:已经随机变量服从正态分布,估计均值为µ和方差ε非参数估计:未知数学模型,直接估计概率密度函数自己举例子吧参数估计:基于贝叶斯的最小错误率估计方法非参数估计:Parzen窗口估计kN近邻估计第4次课堂作业对比两种方法，回答:1.你怎样理解极大似然估计。2.你怎样理解贝叶斯估计基本思想。1.极大似然估计:已经得到实验结果的情况下,寻找着使得这个结果出现的可能性最大的那个数值作為θ的估计2.贝叶斯估计基本思想:已知参数θ的概率密度函数,根据样本的观测值,基于贝叶斯决策来估计参数(理解部分,自己加吧加吧)第6次课堂作业1.线性分类器的分界面是什么曲线？在线性判别函数条件下它对应d维空间的一个超平面g(X)＝0就是相应的决策面方程2.在两维空间存在一条不过原点的直线，ax1+bx2+c=0，采用增广向量形式：那么，在增加一维的三维空间中，αTY=0表示的是，它的方程表示为。Y=[1;x2;x1]a=[c;b;a]三维空间中决策面为一过原点的平面这样,特征空间增加了一维，但保持了样本间的欧氏距离不变对于分类效果也与原决策面相同，只是在Y空间中决策面是通过坐标原点的3.设五维空间的线性方程为55x1+68x2+32x3+16x4+26x5+10=0,试求出其权向量与样本向量点积的表达式WTX+w0=0中的W,X和w0,以及增广样本向量形式中αTY的α与Y。W=[55,68,32,16,26]’w0=10X=(x1,x2,x3,x4,x5)’A=[10,55,68,32,16,26]’Y=[1,x1,x2,x3,x4,x5)]’第七次作业1.线性分类器的分界面是超平面，线性分类器设计步骤是什么？2.Fisher线性判别函数是研究这类判别函数中最有影响的方法之一,请简述它的准则.3.感知器的准则函数是什么？它通过什么方法得到最优解？(1)1.按需要确定一准则函数J。2.确定准则函数J达到极值时W*及W*0的具体数值，从而确定判别函数，完成分类器设计。(2)Fisher准则就是要找到一个最合适的投影轴，使两类样本在该轴上投影的交迭部分最少，从而使分类效果为最佳。(3)训练样本的错分最小梯度下降法和迭代法第八次作业答案1.简述最近邻的决策规则2.简述k-最近邻的决策规则3.比较最近邻决策和最小错误率贝叶斯决策的错误率1.将与测试样本的类别作为决策的方法成为最近邻法2.找测试样本的k个最近样本做决策依据的方法3.最近邻法的渐近平均错误率的上下界分别为贝叶斯错误率由于一般情况下P*很小，因此又可粗略表示成第九次作业研究模式识别中事物的描述方法主要靠什么？设原特征空间表示成x=(x1,x2,x3)T,即一个三维空间。现在在x空间基础上得到一个二维的特征空间Y:(y1,y2)T–其中若y1=x1，y2=x2,属哪一种方法：特征选择还是特征提取？–若，试问属哪种？–怎样利用距离可分性判据J2进行特征提取？1.模式就是用它们所具有的特征(Feature)描述的。a)一种是对事物的属性进行度量，属于定量的表示方法(向量表示法)。b)另一种则是对事务所包含的成分进行分析，称为定性的描述(结构性描述方法)。2．选择提取矩阵Sw-1Sb的本征值为λ1，λ2…λD，按大小顺序排列为:λ1≥λ2≥…≥λD，选前d个本征值对应的本征向量作为W即:W=[μ1，μ2…μd]此时:J2(W)=λ1+λ2+…+λd第10次课堂作业简述PCA变换的基本思想？简述PCA变换的过程有那些特征选择的方法1.主成分分析(PCA)基本思想进行特征降维变换，不能完全地表示原有的对象，能量总会有损失。希望找到一种能量最为集中的的变换方法使损失最小2.原始输入:x变换后特征:y变换矩阵(线性变换):A则y=ATx考虑以Rx的特征向量作为A的列，则Ry=ATRxA=[a1,a2……an]TRx[a1,a2……an]=[a1,a2……an]T[λ1a1,λ2a2……λnan]=为对角矩阵，对角线元素为λ1,λ2……λn达到变换后特征不相关的目的原有N维，只保留m维，如果对特征向量排序，舍到最小的特征，则损失的能量最小即去掉ym+1……yN3.特征提取按欧氏距离度量的特征提取方法按概率距离判据提取特征特征选择最优搜索算法次优搜索法：单独最优特征组合，顺序前进法，顺序后退法，增l减r法第十一次课堂作业联系实际问题或者人的认知过程,谈谈什么是无监督学习？无监督学习能完成什么任务？然而在实际应用中，不少情况下无法预先知道样本的标签，也就是说没有训练样本因而只能从原先没有样本标签的样本集开始进行分类器设计，这就是通常说的无监督学习方法。计算机视觉图像分割基于内容的图像检索数据挖掘推荐系统/协同过滤文本分类简述C均值聚类算法？误差平方和为准则，实现极小的聚类选定代表点后要进行初始划分、迭代计算C—均值算法可归纳成：(1)选择某种方法把N个样本分成C个聚类的初始划分，计算每个聚类的均值和误差平方和jc(2)选择一个备选样本y，设其在第i类(3)若Ni=1，则转(2)，否则继续(4)计算(5)对于所有的j，若ej最小，则把y放入第j类(6)重新计算第i，j类的均值和jc(7)若连续迭代N次(即所有样本都运算过)不变，则停止，否则转到2。第十二次课堂作业画出前馈人工神经网络结构。谈谈对期望风险、经验风险和结构风险的理解。1.根据n个独立同分布观测样本:(x1,y1),(x2,y2),…,(xn,yn),在一组函数)},({xf中求一个最优的函数),(0xf对依赖关系进行估计,使期望风险),()),(,()(0yxdFxfyLR最小经验风险最小化2.学习的目标在于使期望风险最小化，传统的学习方法中采用了所谓经验风险最小化(ERM)准则,即用样本定义经验风险niiiempxfyLnR1)),(,(1)(作为对期望风险的估计,设计学习算法使它最小化3.结构风险最小化(StructuralRiskMinimization或译有序风险最小化)即SRM准则实现SRM原则可以有两种思路:1）在每个子集中求最小经验风险,然后选择使最小经验风险和置信范围之和最小的子集;2）设计函数集的某种结构使每个子集中都能取得最小的经验风险(如使训练误差为0),然后只需选择选择适当的子集使置信范围最小判断人工神经网络和支持向量机分别最小化哪一种风险。经验网络