模式识别课件

模式识别参考材料：[1]边肇祺，张学工等编，模式识别(第二版)清华大学出版社2000[2]R.O.Duda,P.E.Hart.PatternClassificationandSceneAnalysis.NewYork:Johnwiley&sons.1973[3]NelloCristianini&JognShawe–Jaylor.AnIntroductiontoSupportVectorMachinesandotherKernel–basedlearningmethod.CambridgeUniversityPress2000学习目标：模式识别这个词是PatternRecognition翻译来的，通俗一点讲究就是机器识别，计算机识别，或机器自动识别。Pattern这个词翻译成模式，模式是要让机器自动识别的事物（辨别是否相同或是否相似）。如一个具体数字，是印刷体还是手写体。本课程学习目标为，使学生能应用模式识别方法处理计算机自动识别事物、机器学习、数据分析中有关的技术问题。能掌握模式识别技术中最基本的概念，以及基本的处理问题方法。课程要求:本课程主要是学习让计算机自动识别的基本概念，方法的课程，但它与相关学科的术语都有密切联系，如人工智能也是让计算机具有智能，因此这两门课程有许多相通、互助的方面。模式识别技术中十分重要的概念是让机器通过学习确定参数改进性能，因此是机器学习这个学术名词中的重要与基础内容。模式识别主要是对视频、图像、声音等多媒体信息进行分类识别，因此具有这方面的背景也是比较有利的。第一章绪论§课前索引重点：1、模式识别的含义，模式的概念2、模式的描述方法3、模式识别系统的组成4、模式识别利用训练样本设计分类器的原理，两种最基本的分类方法的原理课前思考1、什么是模式识别，是不是就是机器自动识别、或机器自动分类？常说的语音识别、汉字识别、手写体识别是不是属于这门学科的内容2、模式识别这门课有用吗？哪里可以应用？3、机器自动识别的最基本原理是什么？知识点模式识别的含义——机器自动识别与分类§1.1模式识别和模式的概念学科作用模式识别是六十年代初迅速发展的一门学科。它所研究的理论和方法在很多科学和技术领域中得到了广泛的重视，推动了人工智能技术及图像处理、信号处理、计算机视觉、多媒体技术等多种学科的发展，扩大了计算机应用的领域。了解与熟悉模式识别的一些基本概念与基本处理方法对研究与从事人工智能、图像处理、信息处理、计算机视觉、多媒体技术、信息安全等方面工作的人们乃至其它领域的人们都是很有益处的。相关概念模式识别(PatternRecognition)这个词对许多人来说很陌生，然而实际上人类却在日常生活的每个环节，从事着模式识别的活动。可以说每个有正常思维的人，在他没有入睡时都在进行模式识别的活动。坐公共汽车找汽车站，骑车判别可行进道路，对观察到的现象作出判断，对听到的声音作出反应，判断东西的好与坏以及水果的成熟与否等等都是人们判断是非，判别事物的过程。但是对模式识别这个词就显得陌生而难以理解了。确切地说，模式识别在这里是针对让计算机来判断事物而提出的，如检测病理切片中是否有癌细胞，文字识别，话语识别，图像中物体识别等等。该学科研究的内容是使机器能做以前只能由人类才能做的事，具备人所具有的、对各种事物与现象进行分析、描述与判断的部分能力。模式识别这个词是PatternRecognition翻译来的，通俗一点讲究就是机器识别，计算机识别，或机器自动识别。Pattern这个词翻译成模式，模式是要让机器自动识别的事物（辨别是否相同或是否相似）。如一个具体数字，是印刷体还是手写体。识别的结果就是给他分类，分到具体的数字类中。对数字来说，其结果可表示成它的相应代码，如ASCII码。对于一个智能交通系统来说，是要识别是否有汽车闯红灯，闯红灯的汽车车牌号码等。要让机器能识别、分类，就需要研究识别的方法，这就是这门学科的任务。人类在观察事物与作出判断时，常常把所见到的具体事物与脑子里对某个事物的“概念”联系起来，从而按这些概念对它们实行分类。人们能将所见到的具体的、外表各异、各具特色的汽车与脑子中已形成的“抽象”的汽车概念联系起来，并能明确地分辨汽车与拖拉机、坦克车等之间的不同之处，实现正确的分类。拿模式识别的术语来说，所见的具体事物是样本，而它们所属的事物是类别，代表这些事物的“概念”是模式。也有另一种说法把所见到的事物称为模式，而将它们的归属类别称为模式类。因此模式这个词，有时代表类别事物的称呼，而有时则强调具体事物，其具体含义依上下文关系而定，一般不会产生混淆。学科任务与人辨别事物相比，机器识别事物的方法是很不同的，在目前也是很简单与低级的，因此机器识别事物的能力还很差。这主要的原因是人们在学习与认识事物中会总结出规律，并把这些规律性的东西抽象成“概念”。人之所以能“抽象出概念”，关键能分析事物中哪些是本质，哪些是表面现象，或由偶然因素引起的。但机器目前的抽象能力是很差的。要让机器准确地把握事物的本质，弄清分辨事物的关键，从而正确辨别事物，实质上是要人能够研究出好的方法，提出好的算法，从而构造出好的系统，使机器辨别事物的本领更强。模式类与模式，或者模式与样本，在集合论中是子集与元素之间的关系。当用一定的度量来衡量两个样本，而找不出它们之间的差别时，它们在这种度量条件下属于同一个等价类。这就是说它们属于同一子集，是一个模式，或一个模式类。而不同的模式类之间应该是可以区分的，它们之间应有明确的界线。但是对实际样本来说，有时又往往不能对它们进行确切的划分，即在所使用的度量关系中，分属不同的类别的样本却表现出相同的属性，因而无法确凿无误地对它们进行区分。例如在癌症初期，癌细胞与正常细胞的界线是含糊的，除非医术有了进一步发展，能找到更准确有效的分类方法。让机器辨别事物的最基本方法是计算，原则上讲是对计算机要分析的事物与作为标准的称之为“模板”的相似程度进行计算。譬如说脑子里有没有瘤，就要与标准的脑图像以及有瘤图像做比较，看跟哪个更相似。要识别一个具体数字，就要将它与从0到9的样板做比较，看跟哪个模板最相似，或最接近。因此首先要能从度量中看出不同事物之间的差异，才能分辨当前要识别的事物(称为测试样本)跟哪类事物更接近。因此找到有效地度量不同类事物的差异的方法是最关键。§1.2模式的描述方法联想到人们认识事物，都是从不同事物所具有的不同属性为出发点的，因此用来决策事物类别的特点和属性就称之为物体所具有的特征。在模式识别技术中，模式就是用它们所具有的特征描述的。对一种模式与它们的样本来说，将描述它们的所有特征用一特征集表示其中O表示模式或样本的名称，fi则是它们所具有的特征。特征包括定性与定量两种描述。模式的描述方法：对于具体事物的描述大体上可分为两种。一种是对事物的属性进行度量，属于定量的表示方法。另一种则是对事物所包含的成分进行分析，称为定性的描述或结构性描述。定性可以是指特征的有与无，例如坦克与汽车都有驾驶装置，这不能作为区分它们的特征，但坦克有炮，汽车无炮，有没有炮是划分它们的一种有效特征。然而一些不同类别的事物往往具有相同的特征种类，或者用同样的特征度量去检测，但它们在这些特征的取值上有差别，在这种情况下特征值的取值范围成为辨别事物的重要依据。例如癌细胞与正常细胞都用同样的观察手段与测量手段去检测，而依据所得特征值分布范围将它们区分开来。在这种情况下，模式的特征集表示，又可写成处于同一个特征空间的特征向量表示。待识别的不同类模式都在同一特征空间中考察，不同类物体由于性质上的不同，它们在各特征取值范围上有所不同，因而在特征空间的不同区域中出现。本书就是在特征空间与特征向量这种表示模式的方法前提下，讨论模式识别的基本理论与基本方法。这种方法称为统计模式识别，是这门课的基本内容。定量的描述就是用各种尺度对事物进行度量。例如对水果进行分类，就需要对它的各种属性进行度量，水果的重量、大小、颜色、香味乃至味道等。由于对事物的度量是多方面的，因此要用合适的数据结构将它们记录下来，以便在同一种度量之间进行比较。常用的方法是将这些度量指排成序，譬如用水果的重量，近似球体直径。这两个指标按规定的先后排起来，如一只苹果重0.3斤，直径10厘米，则可表示成(0.3,10)。因此如看到一个数据为(0.35,12)则可解释成重量为0.35斤，直径12厘米。这种表示方法就称为向量表示法，该向量有两个分量，每个分量有自己特定的含义。为了形象起见，我们可以用一个二维向量为例来说明，如一个二维向量A表示成(x,y)，则(3,4)就是指x=3,y=4。如果用图像来表示，则可如图：用式子表示，可写成：或A=(3,4)。我们把前一种称为列向量，后一种称为行向量，在本课中主要用列向量表示，而将其相应的列向量表示叫做其“转置”，用符号T表示：则。如：这时，可能会问，一个苹果的颜色用什么方式表示。这牵涉到颜色的表示方法。如果颜色只能用某些典型色来表示，如红、橙、蓝、绿、紫，那么，这种情况只能用代号表示，如令红为1号，橙为2号，等等。这样一来，上面提到的苹果如加上颜色描述，则可用一个三维向量，(0.35,10,1)。对这些数字的理解要根据它的定义与所用单位来确定。对颜色的另一种表示方法，可以用常用的RGB表示。R，G，B分别表示三种基色成分，这本身就是一个三维向量，如与重量、尺度汇合在一起，就是一个五维的向量。有一些事物用向量表示是不方便的，例如一幅景色图像中的房屋用向量描述就不一定方便，对房屋而言，它有屋顶、墙、门窗等组成，各种成分之间又有相互关系，则墙在屋顶之下，门与窗都在墙上等。这种由组成成分与相互关系表示的表示方法，最好用结构性的表示，常用的有串、树、图等。在本门课中，我们主要使用向量表示方法。向量的每个元素称为特征，该向量也因此称为特征向量。图像、像素的定义：这里还要提出，在本门课中的举例与习题中常用图像作为例子，因此要说一下图像的表示方法。在计算机里分析的称为数字图像，它由排列整齐的二维网格组成，分为若干行与若干列，相当于一个二维数组，或称矩阵。我们称每个元素为像素，例如处在第三行第四列的元素的灰度值为155，则可表示成I(3,4)=155。在本门课中都是对向量进行分析的，因此在概念上要把图像也表示成向量，譬如将图像像素一列一列串起来。实际上，只要记住向量的运算是建立在各个分量基础上的，例如：，则图像的运算也是按行列来进行，不要弄错行列。此外，对于象语音信号这种随时间变化的信号，属于时域信号。此时，元素之间的时间先后顺序很重要，因此可用向量的形式将它们排列起来。说的严格一些，对语音信号进行采样，然后将在不同时刻采样值排列起来，组成向量。§1.3模式识别系统前面说过研究模式识别的主要目的，是指如何用计算机进行模式识别，对样本进行分类。执行模式识别的计算机系统称为模式识别系统。设计人员按需要设计模式识别系统，而该系统被用来执行模式分类的具体任务。一个典型的模式识别系统，一般由数据获取，预处理，特征提取与选择、分类决策及分类器设计五部分组成。分类器设计在训练过程中完成，利用样本进行训练，确定分类器的具体参数。而分类决策在识别过程中起作用，对待识别的样本进行分类决策。下面将简单说明这几个环节。为了说明，我们举一个汽车车牌识别的例子。这个例子表示了一个汽车车牌识别的全过程。成功的车牌识别系统有着非常广泛的应用前景，例如公路上的自动收费站，十字路口的违章车辆监视等等。目前的车牌识别系统大都是按照以上的流程。这个流程又可以在整体上划分为两大部分——车牌的提取和定位，以及字符识别部分。下面，我们将针对每一个模块，具体说明车牌识别的过程。这个系统从头到尾是一个单一的线形流程。首先，从摄像头取得彩色的包含车牌的图像。这是在一个收费站前拍摄的交费车辆的照片，在收费站的车牌识别系统中，车辆是静止的，因此不用进行针对运动模糊等的预处理。车牌定位模块的训练和识别过程也可以用上面的框图描述。车牌定位模块的目的是从整幅图像中定位出车牌的精确位置。主要利用的信息是车牌部分的纹理分布，主要利用的是水