模式识别

王文伟WangWenwei,Dr.-Ing.Tel:[phone]Email:@yahoo.cnWeb:电子信息学院第一章模式识别概述第一章模式识别概述2TableofContents1.1模式识别和模式的概念1.2模式识别系统1.3模式识别的主要方法1.4模式识别应用1.5有关模式识别的若干问题电子信息学院第一章模式识别概述31.1模式识别和模式的概念感知：从环境获取信息第一章模式识别概述4计算机模式识别模式识别：使计算机模仿人的感知能力，从感知数据中提取信息（判别物体和行为）的过程。概念数据获取模式分割模式识别姚明ROCKETS11第一章模式识别概述5模式识别和模式的概念人类具有很强的模式识别能力，时刻在完成某种模式识别的任务。模式识别作为一门学科，是研究用机器完成自动识别事物的工作。模式识别学科形成于50~60年代，与众多学科有联系，尤其与人工智能和图像处理关系密切。模式识别是一门理论与应用并重的技术科学。有广泛的需求。还在发展中，现有的理论与方法还有不足。概念第一章模式识别概述6模式识别和模式的概念Patternrecognitionisthestudyofhowmachinescanobservetheenvironment,learntodistinguishpatternsofinterestfromtheirbackground,andmakesoundandreasonabledecisionsaboutthecategoriesofthepatterns.(AnilK.Jain)概念第一章模式识别概述7模式识别的意义数字化感知数据：来源丰富、数量巨大概念第一章模式识别概述8模式识别的难点感知数据：非结构化（像素、波纹等）概念第一章模式识别概述9模式与模式类样本(sample,object,pattern)：一类事物的一个具体体现，对具体的个别事物进行观测所得到的某种形式的信号。模式类(patternclass)：表示一类事物，如印刷体A与手写体A属同一类。B与A则属于不同类。样本是具体的事物，而模式类是对同一类事物概念性的概括。模式类与模式联合使用时，模式表示具体的事物，而模式类则是对这一类事物的概念性描述。模式识别是从样本到类别的映射。概念模式识别样本类别第一章模式识别概述10模式识别和模式的概念Watanabedefinesapattern“asoppositeofachaos;itisanentity,vaguelydefined,thatcouldbegivenaname.”afingerprintimageahandwrittencursivewordahumanfaceaspeechsignal……（a）（b）（c）（c）（d）（d）概念第一章模式识别概述11模式识别和模式的概念识别是时时刻刻发生的活动识别（Recognition)—再认知（Re-Cognition)主要研究相似和分类问题有监督分类无监督分类与其他学科的关系统计学人工智能机器学习运筹学与最优化概念模式识别与其他学科的关系模式识别图像处理计算机图形学图像描述计算机系统输入系统计算/处理系统输出系统自然输入系统人工智能系统概念第一章模式识别概述13模式识别学科位置模式识别：计算机科学与电子工程交叉学科中国：“控制科学与工程”一级学科二级学科：控制理论与控制工程、模式识别与智能系统、系统工程等西方：没有自动控制系自动控制：电子工程系、机械工程系模式识别：电子工程系、计算机科学系第一章模式识别概述14主要组织国际组织IAPRIEEEComputerSociety:TConPAMI(PatternAnalysisandMachineIntelligence)国内组织中国自动化学会：模式识别与机器智能(PRMI)专业委员会，1981年成立，IAPR成员组织中国计算机学会：人工智能与模式识别专业委员会中国人工智能学会第一章模式识别概述15主要机构国外USA:MIT(Poggio),UIUC(ThomasHuang),CMU(T.Kanade),MSU(A.K.Jain),Maryland(Resenfeld,Chellappa)Canada:Toronto(Hinton),Concordia(C.Y.Suen)UK:Surrey(Kittler),MSRCambridge(Bishop)France:INRIA国内MSRA,HKUST中科院自动化所、清华大学、北京大学、上海交大、西安交大、南京理工大学、武汉大学等第一章模式识别概述161.2模式识别系统数据获取预处理特征提取与选择分类决策分类器设计信号空间特征空间第一章模式识别概述17模式识别系统的组成分类决策(classificationdecision):做出关于样本类别的判断特征提取与选择(featureextractionandselection):寻找有利于分类的本质特征预处理(preprocessing):去噪，复原数据获取(dataacquisition):测量，采样系统第一章模式识别概述18模式识别系统的密集计算特性模式识别系统各子系统(预处理，特征提取与选择，分类决策)具有典型的计算密集型特征。模式识别系统设计阶段一般需从样本学习规则，需要大量的统计计算。课程实验选用Matlab系统y-5-4-3-2-112345x123-1-2-3042241OOABTB1xC1C2y)2,2(,tanxxy1-11Txx21()niiXX系统第一章模式识别概述19模式识别研究内容数据预处理视频、图像、信号处理模式分割模式/背景分离、模式-模式分离运动分析目标跟踪、运动模式描述模式描述与分类特征提取/选择、模式分类、聚类、机器学习模式识别应用研究针对具体应用的方法与系统系统第一章模式识别概述201.3模式识别的方法模版匹配法(templetematching)统计方法(statisticalpatternrecognition)：1950s-神经网络方法(neuralnetwork)：1980s-结构方法(句法方法)：1970s-(structuralpatternrecognition)支持向量机、核方法：1990s-多分类器、集成学习：1990s-Bayes学习：1990s-1990s-:模式识别技术大规模应用第一章模式识别概述21模版匹配首先对每个类别建立一个或多个模版输入样本和数据库中每个类别的模版进行比较，例如求相关或距离根据相似性（相关性或距离）大小进行决策优点：直接、简单缺点：适应性差扩展：弹性模版法方法第一章模式识别概述22统计方法根据训练样本，建立决策边界(decisionboundary)统计决策理论——根据每一类总体的概率分布决定决策边界判别式分析方法——给出带参数的决策边界，根据某种准则，由训练样本决定“最优”的参数本课程的重点内容方法第一章模式识别概述23句法方法许多复杂的模式可以分解为简单的子模式，这些子模式组成所谓“基元”每个模式都可以由基元根据一定的关系来组成基元可以认为是语言中的词语，每个模式都可以认为是一个句子，关系可以认为是语法模式的相似性由句子的相似性来决定1970s由付京荪(K.S.Fu,PurdueUniv.)提出优点：适合结构性强的模式缺点：抗噪声能力差，计算复杂度高方法第一章模式识别概述24神经网络进行大规模并行计算的数学模型具有学习、推广、自适应、容错、分布表达和计算的能力优点：可以有效的解决一些复杂的非线性问题缺点：缺少有效的学习理论方法第一章模式识别概述25几种方法比较方法表达识别函数评价准则模版匹配样本，像元，曲线相关，距离度量分类错误统计方法特征决策函数分类错误句法方法基元规则，语法接受错误神经网络样本，像元，特征网络函数均值方差错误方法第一章模式识别概述26神经网络和统计模式识别的关系统计模式识别人工神经网络线性决策函数感知机PCA自相关网络，PCA网络后验概率估计多层感知机非线性决策分析多层感知机Parzen窗密度估计分类器径向基函数网络K近邻Kohonen’sLVQ方法第一章模式识别概述271.4模式识别应用文本图像分析，文本分类语音识别工业自动化：零部件/物品分类数据挖掘多媒体数据检索（文档、图像、视频、音乐检索）生物特征识别，生物信息学，医学图像空间探测与环境资源检测，遥感图像安全监控（身份识别、视频监控、交通监控、音视频监听）……第一章模式识别概述28生物特征识别应用第一章模式识别概述29遥感图像地表分类应用第一章模式识别概述30医学图像分析应用第一章模式识别概述31车牌识别应用第一章模式识别概述32信函分拣应用第一章模式识别概述331.5有关模式识别的若干问题模式类的紧致性：集合中任意两个内点可以用光滑线连接，在该连线上的点也属于这个集合。每个内点都有一个足够大的邻域，在该邻域中只包含同一集合中的点。假若每个模式类都满足紧致性假设，则解决模式识别间题就不会碰到什么原则上的困难。但对于很多实际问题这个假设是不成立的。假设临界点的数量与总的点数相比很少。只耍各个模式类是可分的，总存在这样一个空间，使变换到这个空间中的集合满足紧致性要求。第一章模式识别概述34有关模式识别的若干问题相似与分类：相似与分类问题远不像集合表达那样简单明了。集合的概念可用来表现已经分好的类，但对于怎样分类和归类则缺乏指导意义。相似性度量：样本xi和xj是Rn空间中两个点，它们间的某种距离的函数s(xi,xj)。距离:d(xi,xj)=[(xi-xj)T.(xi-xj)]1/2相似性度量1:s(xi,xj)=f(d(xi,xj))相似性度量2:s(xi,xj)=cos(xi,xj)分类都是带有主观性的行为，常缺乏纯客观的分类标准。靠哪些特征决定相似并进行分类，取决于行为的目的和方法。第一章模式识别概述35习题1.试简述样本，模式和模式类等概念间的关系2.试简述模式识别系统的主要组成部分3.试简述先验概率，类条件概率密度函数和后验概率等概念间的关系