模式识别详细

1模式识别主讲：蔡宣平教授电话：73441（O）,73442（H）E-mail：[e-mail]单位:电子科学与工程学院信息工程系2★课程对象★相关学科★教学方法★教学目标★基本要求★教材/参考文献关于本课程的有关说明3★课程对象●信息工程专业本科生的专业课●学院硕士研究生的学位课●学院博士研究生的必修课之一4★相关学科●统计学●概率论●线性代数（矩阵计算）●形式语言●人工智能●图像处理●计算机视觉等等5★教学方法●着重讲述模式识别的基本概念，基本方法和算法原理。●注重理论与实践紧密结合实例教学：通过实例讲述如何将所学知识运用到实际应用之中●避免引用过多的、繁琐的数学推导6★教学目标●掌握模式识别的基本概念和方法●有效地运用所学知识和方法解决实际问题●为研究新的模式识别的理论和方法打下基础7★基本要求●基本：完成课程学习，通过考试，获得学分。●提高：能够将所学知识和内容用于课题研究，解决实际问题。●飞跃：通过模式识别的学习，改进思维方式，为将来的工作打好基础，终身受益。8★教材/参考文献●孙即祥，现代模式识别，国防科技大学出版社，2003年。●吴逸飞译，模式识别－原理、方法及应用，清华大学出版社，2003年。●李晶皎等译，模式识别（第三版），电子工业出版社，2006年。9讲授课程内容及安排第一章引论第二章聚类分析第三章判别域代数界面方程法第四章统计判决第五章学习、训练与错误率估计第六章最近邻方法第七章特征提取和选择上机实习10第一章引论1.1概述1.2特征矢量和特征空间1.3随机矢量的描述1.4正态分布概念模式识别(PatternRecognition)：确定一个样本的类别属性（模式类）的过程，即把某一样本归属于多个类型中的某个类型。样本（Sample)：一个具体的研究（客观）对象。如患者，某人写的一个汉字，一幅图片等。模式(Pattern)：对客体（研究对象）特征的描述（定量的或结构的描述），是取自客观世界的某一样本的测量值的集合（或综合）。x),,,(21nxxxx特征(Features)：能描述模式特性的量（测量值）。在统计模式识别方法中，通常用一个矢量表示，称之为特征矢量，记为模式类(Class)：具有某些共同特性的模式的集合。概念模式识别的例子计算机自动诊断疾病:1.获取情况(信息采集)测量体温、血压、心率、血液化验、X光透射、B超、心电图、CT等尽可能多的信息，并将这些信息数字化后输入电脑。当然在实际应用中要考虑采集的成本，这就是说特征要进行选择的。2.运行在电脑中的专家系统或专用程序可以分析这些数据并进行分类，得出正常或不正常的判断，不正常情况还要指出是什么问题。14对象空间模式空间特征空间类型空间各类空间（Space)的概念模式采集：从客观世界（对象空间）到模式空间的过程称为模式采集。特征提取和特征选择：由模式空间到特征空间的变换和选择。类型判别：特征空间到类型空间所作的操作。模式识别三大任务151.1概述－模式识别系统数据采集特征提取二次特征提取与选择分类识别待识对象识别结果通常在采集信息过程中，还要去除所获取信息中的噪声，增强有用的信息等工作。这种使信息纯化的处理过程叫做信息的预处理。分类识别是根据事先确定的分类规则对前面选取的特征进行分类（即识别）。通常能描述对象的元素很多，为节约资源和提高处理速度，有时更为了可行性，在满足分类识别正确率要求的条件下，按某种准则尽量选用对正确分类识别作用较大的特征。使得用较少的特征就能完成分类识别任务。预处理这个环节的内容很广泛，与要解决的具体问题有关，例如，从图象中将汽车车牌的号码识别出来，就需要先将车牌从图像中找出来，再对车牌进行划分，将每个数字分别划分开。做到这一步以后，才能对每个数字进行识别。以上工作都应该在预处理阶段完成。数字化——比特流161.1概述－模式识别系统数据采集特征提取二次特征提取与选择分类识别待识对象识别结果数据采集特征提取改进分类识别规则二次特征提取与选择训练样本改进采集提取方法改进特征提取与选择制定改进分类识别规则人工干预正确率测试171.1概述－模式识别系统模式识别系统的主要环节：特征提取：符号表示，如长度、波形、。。。特征选择：选择有代表性的特征，能够正确分类学习和训练：利用已知样本建立分类和识别规则分类识别：对所获得样本按建立的分类规则进行分类识别18纸币识别器对纸币按面额进行分类面额1.1概述－系统实例5元10元20元50元100元191.1概述－系统实例长度(mm)宽度(mm)5元1366310元1417020元1467050元15170100元15677201.1概述－系统实例磁性金属条位置(大约)5元有54/8210元有54/8720元有57/8950元有60/91100元有63/935元10元20元50元100元12345678反射光波形221.1概述－系统实例数据采集、特征提取：长度、宽度、磁性、磁性的位置，光反射亮度、光透射亮度等等特征选择：长度、磁性及位置、反射亮度分类识别：确定纸币的面额及真伪231.1概述－系统实例训练集：是一个已知样本集，在监督学习方法中，用它来开发出模式分类器。测试集：在设计识别和分类系统时没有用过的独立样本集。系统评价原则：为了更好地对模式识别系统性能进行评价，必须使用一组独立于训练集的测试集对系统进行测试。24例:汽车车牌识别从摄像头获取包含车牌的彩色图象车牌定位和获取字符分割和识别输入图象特征提取粗略定位分割字符确定类型精细定位识别、输出2526271.1概述－模式识别的基本方法一、统计模式识别二、句法模式识别三、模糊模式识别四、人工神经网络法五、人工智能方法281.1概述－模式识别的基本方法一、统计模式识别模式描述方法：特征向量模式判定：模式类用条件概率分布P(X/i)表示,m类就有m个分布，然后判定未知模式属于哪一个分布。),,,(21nxxxx291.1概述－模式识别的基本方法一、统计模式识别理论基础：概率论，数理统计主要方法：线性、非线性分类、Bayes决策、聚类分析主要优点：1）比较成熟2）能考虑干扰噪声等影响3）识别模式基元能力强主要缺点：1）对结构复杂的模式抽取特征困难2）不能反映模式的结构特征，难以描述模式的性质3）难以从整体角度考虑识别问题301.1概述－模式识别的基本方法二、句法模式识别模式描述方法：符号串，树，图模式判定：是一种语言，用一个文法表示一个类，m类就有m个文法，然后判定未知模式遵循哪一个文法。31例2：如下图中一幅图形，要识别图中的物体，选用句法模式识别方法.1.1概述－模式识别的基本方法32解：图形结构复杂，首先应分解为简单的子图（背景、物体）。构成一个多级树结构：1.1概述－模式识别的基本方法33在学习过程中，确定基元与基元之间的关系，推断出生成景物的方法。判决过程中，首先提取基元，识别基元之间的连接关系，使用推断的文法规则做句法分析。若分析成立，则判断输入的景物属于相应的类型。1.1概述－模式识别的基本方法34理论基础：形式语言，自动机技术主要方法：自动机技术、CYK剖析算法、Early算法、转移图法主要优点：1）识别方便，可以从简单的基元开始，由简至繁。2）能反映模式的结构特征，能描述模式的性质。3）对图象畸变的抗干扰能力较强。主要缺点：当存在干扰及噪声时，抽取特征基元困难，且易失误。1.1概述－模式识别的基本方法351.1概述－模式识别的基本方法三、模糊模式识别模式描述方法：模糊集合A={(a,a),(b,b),...(n,n)}模式判定：是一种集合运算。用隶属度将模糊集合划分为若干子集，m类就有m个子集，然后根据择近原则分类。36理论基础：模糊数学主要方法：模糊统计法、二元对比排序法、推理法、模糊集运算规则、模糊矩阵主要优点：由于隶属度函数作为样本与模板间相似程度的度量，故往往能反映整体的与主体的特征，从而允许样本有相当程度的干扰与畸变。主要缺点：准确合理的隶属度函数往往难以建立，故限制了它的应用。1.1概述－模式识别的基本方法371.1概述－模式识别的基本方法四、人工神经网络法模式描述方法：以不同活跃度表示的输入节点集（神经元）模式判定：是一个非线性动态系统。通过对样本的学习建立起记忆，然后将未知模式判决为其最接近的记忆。38理论基础：神经生理学，心理学主要方法：BP模型、HOP模型、高阶网主要优点：可处理一些环境信息十分复杂，背景知识不清楚，推理规则不明确的问题。允许样本有较大的缺损、畸变。主要缺点：模型在不断丰富与完善中，目前能识别的模式类还不够多。1.1概述－模式识别的基本方法391.1概述－模式识别的基本方法五、逻辑推理法（人工智能法）模式描述方法：字符串表示的事实模式判定：是一种布尔运算。从事实出发运用一系列规则，推理得到不同结果，m个类就有m个结果。40理论基础：演绎逻辑，布尔代数主要方法：产生式推理、语义网推理、框架推理主要优点：已建立了关于知识表示及组织，目标搜索及匹配的完整体系。对需要众多规则的推理达到识别目标确认的问题，有很好的效果。主要缺点：当样本有缺损，背景不清晰，规则不明确甚至有歧义时，效果不好。1.1概述－模式识别的基本方法411.1概述－模式识别的发展简史1929年G.Tauschek发明阅读机，能够阅读0-9的数字。30年代Fisher提出统计分类理论，奠定了统计模式识别的基础。50年代NoamChemsky提出形式语言理论——傅京荪提出句法/结构模式识别。60年代L.A.Zadeh提出了模糊集理论，模糊模式识别方法得以发展和应用。421.1概述－模式识别的发展简史80年代以Hopfield网、BP网为代表的神经网络模型导致人工神经元网络复活，并在模式识别得到较广泛的应用。90年代小样本学习理论，支持向量机也受到了很大的重视。431.1概述－模式识别的应用(举例)生物学自动细胞学、染色体特性研究、遗传研究天文学天文望远镜图像分析、自动光谱学经济学股票交易预测、企业行为分析医学心电图分析、脑电图分析、医学图像分析441.1概述－主要实用系统举例文字识别（CharacterRecognition）OCR（OpticalCharacterRecognition）智能交通（IntelligentTraffic）车牌、车型。语音识别（Speechrecognition）翻译机，身份识别等目标识别ATR（AutomaicTargetRecognition）45461.2特征矢量和特征空间471.3随机矢量的描述随机矢量：在模式识别过程中，要对许多具体对象进行测量，以获得许多次观测值。每次观测值不一定相同，所以对许多对象而言，各个特征分量都是随机变量，即许多对象的特征向量在n维空间中呈随机性分布，称为随机矢量。481.3随机矢量的描述P),,,(21nXXXX),,,(21nxxxx),,,(),,,(221121nnnxXxXxXPxxxF)()(xXPxF(一)随机矢量的分布函数：设为随机矢量，为确定性矢量。随机矢量的联合概率分布函数定义为：式中表示括号中事件同时发生的概率。491.3随机矢量的描述(一)随机矢量的分布函数：)(),,,(21xpxxxpnnnnxxxxxxF2121),,,(X随机矢量的联合概率密度函数定义为：501.3随机矢量的描述5112X1X121.3随机矢量的描述xp(x))(1xp)(2xp2521.3随机矢量的描述531.3随机矢量的描述(二)随机矢量的数字特征：其中，的分量：1212E[]()d...(,,...,)dd...diiiiiinniXxpxxxpxxxxxxX)(ixpXiX式中，是的第个分量的边缘密度。随机矢量的均值矢量的各分量是相应的各随机分量的均值。541.3随机矢量的描述(二)随机矢量的数字特征：⑵条件期望在模式识别中，经常以类别作为条件，在这种情况下随机