模式识别文献综述

模式识别基础概念文献综述一．前言模式识别诞生于20世纪20年代。随着20世纪40年代计算机的出现，20世纪50年代人工智能的兴起，模式识别在20世纪60年代迅速发展成为一门学科。在20世纪60年代以前，模式识别主要限于统计学领域的理论研究，计算机的出现增加了对模式识别实际应用的需求，也推动了模式识别理论的发展。经过几十年的研究，取得了丰硕的成果，已经形成了一个比较完善的理论体系，主要包括统计模式识别、结构模式识别、模糊模式识别、神经网络模式识别和多分类器融合等研究内容。模式识别就是研究用计算机实现人类的模式识别能力的一门学科，目的是利用计算机将对象进行分类。这些对象与应用领域有关，它们可以是图像、信号，或者任何可测量且需要分类的对象，对象的专业术语就是模式（pattern）。按照广义的定义，存在于时间和空间中可观察的事物，如果可以区别它们是否相同或相似，都可以成为模式。二．模式识别基本概念一.模式识别系统模式识别的本质是根据模式的特征表达和模式类的划分方法，利用计算机将模式判属特定的类。因此，模式识别需要解决五个问题：模式的数字化表达、模式特性的选择、特征表达方法的确定、模式类的表达和判决方法的确定。一般地，模式识别系统由信息获取、预处理、特征提取和选择、分类判决等4部分组成，如图1-1所示。观察对象→→→→→→→→→类→类别号图1-1模式识别系统的组成框图二.线性分类器对一个判别函数来说，应该被确定的是两个内容：其一为方程的形式；其二为方程所带的系数。对于线性判别函数来说方程的形式是线性的，方程的维数为特征向量的维数，方程组的数量则决定于待判别对象的类数。对M类问题就应该有M个线性判别函数；对两类问题如果采用“+”“-”判别，则判别函数可以只有一个。既然方程组的数量、维数和形式已定，则对判别函数的设计就是确定函数的各系数，也就是线性方程的各权值。在计算机上确定各权值时采用的是“训练”或“学习”的方法，这就是待识别的模式集中挑选一批有代表的样本，它们经过人工判读成为已知类别的样本，把这批样本逐个输入到计算机的“训练”程序（或算法）中去，通过一次一次的迭代最后得到正确的线性判别函数，这样一个迭代的运算的过程成为训练过程。由于样本的分类首先经过人工判读，因而这样的构成分类器也称为有人监督或有教师的分类器。三.特征选择和提取1、特征选择特征的获取是依赖于具体的问题和相关专业的知识的，无法进信息获取预处理特征提取和选择分类判决行一般性的讨论。从模式识别角度，很多情况下人们面对的是已经得到的一组特征，或者是利用当时的技术手段把所有有可能观测到的特征都记录下来。这时，这些特征中可能有很多特征与要解决的分类问题关系并不密切，它们在后续的分类器设计中可能会影响分类器的性能。另一方面，有时即使很多特征都与分类器关系密切，但是特征过多会带来计算量大、推广能力差等问题，在这样数目有限时很多方法甚至会因为出现病态矩阵等问题而根本无法计算，因此人们也往往希望在保证分类效果的前提下用尽可能少的特征来完成分类。模式识别中的特征选择的问题，就是指在模式识别中，用计算方法从一组给定的特征中选择一部分特征进行分类。这是降低特征空间维数的一种基本方法。2、特征提取原始特征的数量可能很大，或者说样本处于一个高维空间中，通过映射（或变换）的方法可以用低维空间来表示样本，这个过程称为特征提取。映射后的特征称为二次特征，它们是原始特征的某种组合（通常是线性组合）。所谓特征提取，在广义上就是指一种变换。若Y是测量空间，X是特征空间，则变换A:Y→X就称为特征提取器。3特征选择和提取的作用特征选择和特征的提取的主要目的都是，在不降低或者很少降低分类结果性能的情况下，降低特征空间的维数，其主要作用在于：（1）简化计算。特征空间的维数越高，需占用的计算机资源就越多，设计和计算也就越复杂。（2）简化特征空间结构。由于特征提取和选择是去除类间差别小的特征，保留类间差别大的特征，因此，在特征空间中，每类所占据的子空间结构可分离性更强，从而也简化了类间分界面形状的复杂度。四.概率密度函数估计概率密度函数的估计方法分为两大类：参数估计与非参数估计。1参数估计中，已知概率密度函数形式，但其中部分或者全部参数未知，概率密度函数的估计问题就是用样本来估计这些参数。主要方法又有两类：最大似然估计和贝叶斯估计，两者在很多实际情况下结果接近，但从概念上它们的处理方法是不同的。参数估计是统计推断的基本问题之一，下面主要介绍几个参数估计的基本概念。（1）统计量。样本中包含着总体的信息，希望通过样本集把有关信息抽取出来，就是说针对不同要求构造出样本的某种函数，这种函数在统计学中称为统计量。（2）参数空间。如上所述，在参数估计中，总是假设总体概率密度函数的形式已知，而未知的仅是分布中的几个参数，将未知参数记为θ，在统计学中，将总体分布未知函数θ的全部可容许值组成的集合称为参数空间，记为ʘ。（3）点估计、点估计值、点估计量。点估计问题就是要构造一个统计量作为参数θ的估计。在统计学中，构造的此统计量称为θ的估计量，把样本的观测值代入统计量，得到一个具体数值，这个数值在统计学中称为θ的估计值。（4）区间估计。利用抽样分布估计参数可能在位于的区间，即要求用区间[d1,d2]作为θ的可能取值范围的一种估计。这个区间称为置信区间，这类估计称为区间估计。2非参数估计，就是概率密度函数的形式也未知，或者概率密度函数不符合目前研究的任何分布模型，因此不能仅仅估计几个参数，而是用样本把概率密度函数数值化地估计出来。五.聚类分析聚类就是按照一定的要求和规律对事物进行区分和分类的过程，在这一过程中没有任何关于分类的先验知识，仅靠事物间的相似性作为类属划分的准则，因此是无监督分类。聚类分析是指用数学的方法研究和处理给定对象的分类。多年来，人们提出了许多关于“聚类”的定义，但一直没有通用的定义。温熙森给出的聚类分析定义是：“聚类分析是统计模式识别的另一重要工具，它把模式归入到这样的类别或聚合类：同一个聚合类的模式比不同聚合类中的模式更相近”。它的基本原理就是在没有先验知识的情况下，基于“物以类聚”的观点，用数学方法分析各模式向量之间的距离及分散情况，按照样本距离远近划分类别。聚类分析是无监督分类方法，它把一个没有类别标记的样本集按照某种准则划分成若干个子集饿，使相似的样本尽可能归为一类，不相似的样本尽量划分到不同的类中。在实际应用中，很多情况下无法预先知道样本的类别，只能用没有样本类别标记的样本集进行分类器设计，这就是无监督分类方法。监督分类方法和无监督分类方法的区别主要如下：（1）监督分类方法有训练样本集，在训练样本集中给出不同类别的训练样本，用这些训练样本就可以找出区分不同类样本的方法，从而在特征空间中划定决策域。（2）监督分类方法由训练阶段和测试间断组成。训练阶段利用训练集中的训练样本进行分类器设计，确定分类器参数；测试阶段将待识别样本输入，根据份额ide决策准则，确定待识别样本的所属类别。（3）无监督分类方法可用来分析数据的内在规律，它没有训练样本：如聚类分析、主分量分析、数据拟合等方法都是无监督分类方法。对样本集进行聚类分析要考虑的问题如下：（1）相似性测度。如何度量样本间的相似性。（2）聚类准则。如何聚类取决于聚类的准则函数，使某种聚类准则达到极值。（3）聚类算法。用什么算法找出使准则函数取极值的最好聚类结果。（4）聚类的有效性。判定聚类很大程度上反映了样本集大的真是结构，应如何确定样本集中正确的类别数。三．小结在这篇综述中，介绍了模式识别里面的一些基本概念，模式识别是一个多领域的交叉学科，它涉及人工智能、统计学、计算机科学、工程学、医学等众多的研究问题。例如，语音识别、字符识别、医学图像识别、医疗诊断、商品销售分析等，吸引了众多的研究人员，且人们提出了许多新方法。在20世纪80年代，基于知识的系统和神经网络发展迅速。近年来，在概率和统计交叉的领域取得重大进展，例如，核函数方法的核贝叶斯计算方法。到目前为止，模式识别理论和技术还远未完善，尚有很多课题有待人们去研究和探索。四．参考文献[1]张学工.模式识别（第三版）.[M].北京：清华大学出版社,2000[2]李晶皎，赵丽红，王爱侠.模式识别[M].北京：电子工业出版社,2010[3]李弼程，邵美珍等.模式识别原理及应用[M].西安：西安电子科技大学出版社,2008[4]盛立东.模式识别导论[M].北京：北京邮电大学出版社,2010[5]边肇琪，等.模式识别.北京：清华大学出版社，1988[6]李介谷，蔡国廉，等.计算机模式识别技术.上海：上海交通大学出版社，1986[7]李金宗.模式识别导论.北京：高等教育出版社，1994[8]沈清，汤霖.模式识别导论.长沙:国防科技大学出版社，1991[9]王碧泉，陈祖萌.模式识别，理论、方法和应用.北京：地震出版社，1989[10]孙即祥.现代模式识别（第二版）.北京：高等教育出版社，2008[11]齐敏，李大键，郝重阳.模式识别导论.北京：清华大学出版社，2009[12]王开军，李健，张军英，过立新.聚类分析中类数估计方法的实验比较.计算机工程.2008[13]蔡元龙.模式识别.西安：西安电子科技大学出版社，1992[14]沈庭芝.数字图像处理及模式识别.北京：北京理工大学出版社，1998[15]傅京孙.模式识别及其应用.北京：科学出版社，1983[16]钟珞.模式识别.武汉：武汉大学出版社，2006[17]杨光正.模式识别.合肥：中国科学技术大学出版社，2007[18]舒宁.模式识别的理论与方法.武汉：武汉大学出版社，2004[19]张奎，黄凤岗.模式识别.哈尔滨：哈尔滨工程大学出版社，1998