统计学习与模式识别基础

《数字媒体技术基础》课程(FundamentalofDigitalMediaTechnology)统计学习与模式识别基础-II(FundamentalofStatisticalLearningandPatternRecognition-II)主讲教师：田永鸿北京大学数字媒体研究所第六讲北京大学《数字媒体技术基础》课程（No.04831800）2提纲第一讲：统计学习概率论基础知识统计学习方法概述贝叶斯决策理论BayesianDecisionTheory常见统计学习方法案例介绍：SceneClassification第二讲：模式识别模式识别概论主要模式识别方法介绍模式识别过程案例介绍：ObjectRecognition&FaceRecognition北京大学《数字媒体技术基础》课程（No.04831800）3一、模式识别概论北京大学《数字媒体技术基础》课程（No.04831800）4为什么需要模式识别？模式识别：人类学习的基本方法人眼识别物中医看舌苔/脉搏图谱辨别化合物模式识别技术：thestudyofhowmachinescanobservetheenvironmentlearntodistinguishpatternsofinterestfromtheirbackgroundmakesoundandreasonabledecisionsaboutthecategoriesofthepatterns.北京大学《数字媒体技术基础》课程（No.04831800）5什么是模式？Apatternisasetofobjects,processesoreventswhichconsistofbothdeterministicandstochasticcomponents（静态模式）Apatternisarecordofcertaindynamicprocessesinfluencedbothbydeterministicandstochasticfactors（动态模式）分类确定模式非确定模式随机模式北京大学《数字媒体技术基础》课程（No.04831800）6可以用确定文法或者形式语言北京大学《数字媒体技术基础》课程（No.04831800）7星体模式：基本固定，随季节变化略有形变北京大学《数字媒体技术基础》课程（No.04831800）8北京大学《数字媒体技术基础》课程（No.04831800）9北京大学《数字媒体技术基础》课程（No.04831800）10北京大学《数字媒体技术基础》课程（No.04831800）11北京大学《数字媒体技术基础》课程（No.04831800）12所有人脸的共性个体人脸的个性个体人脸图像的差异人脸模式1、是否人脸？2、谁的脸？北京大学《数字媒体技术基础》课程（No.04831800）13模式的特点Constellationpatterns,texturepatterns,Face,Speech,etc.完全确定的，正则化的(e.g.,crystalstructure)完全随机的模式(e.g.,whitenoise)北京大学《数字媒体技术基础》课程（No.04831800）14模式——确定性和随机性以人脸为例确定性结构关系：眼睛、鼻子、嘴…器官形状：眼睛形状、鼻子形状、嘴形状肤色：色调随机性结构关系：距离、角度器官形状：大小、形状参数不同肤色：不同肤色，不同饱和度和光洁度北京大学《数字媒体技术基础》课程（No.04831800）15常见模式类别声音:语音，音乐，噪声，动物的声音图像/视频/图形：object,action文字:language,content嗅觉味觉触觉感觉器官的扩展…北京大学《数字媒体技术基础》课程（No.04831800）16定义：模式类模式(x):具有某些量化测量值或者特征模式类(vi)：Acollectionof“similar”(notnecessarilyidentical)objectsInter-classvariabilityIntra-classvariability模式类的统计特性相似性-先验概率：P(vi)类条件概率密度：p(x|vi)Theletter“T”indifferenttypefacesCharactersthatlooksimilar北京大学《数字媒体技术基础》课程（No.04831800）17定义：模式识别定义：依据一定的规则，将模式进行分类的过程（Classifies“patterns”into“classes”）主要目的:数据处理：Processthesenseddatatoeliminatenoise假设模式类的模型：Hypothesizethemodelsthatdescribeeachclasspopulation(e.g.,recovertheprocessthatgeneratedthepatterns).选择最优的模型并分类：Givenasensedpattern,choosethebest-fittingmodelforitandthenassignittoclassassociatedwiththemodel.北京大学《数字媒体技术基础》课程（No.04831800）18生物模式识别系统人类生物模式识别系统视觉听觉并不像我们想象的那么完美！人类生物模式识别系统高效、准确、善于处理不确定问题先验知识（常识）的重要性人类生物模式识别系统的主观性、可塑性這是一張臉，以及英文字母liar您看到什麼?北京大学《数字媒体技术基础》课程（No.04831800）19模式分类vs.模式聚类Classification(knowncategories)Clustering(creationofnewcategories)Category“A”Category“B”Classification(Recognition)(SupervisedClassification)Clustering(UnsupervisedClassification)北京大学《数字媒体技术基础》课程（No.04831800）20典型应用语音识别（例如：Viavoice系统）表情分析、年龄、种族、性别分类OCR:车牌照、集装箱号码…手写体识别：汉王手势识别：基于视觉的，基于数据手套人脸识别、指纹识别、虹膜识别…军事目标识别生物信息、医学图像遥感、气象北京大学《数字媒体技术基础》课程（No.04831800）21基于生物特征的身份鉴别技术（Biometrics技术）人脸识别话者识别指纹识别虹膜识别红外温谱识别笔迹识别视网膜识别手形手背血管分布耳朵轮廓掌纹步态气味北京大学《数字媒体技术基础》课程（No.04831800）22模式识别的主要问题建模（选择什么样的数学模型来描述模式？）描述Description表示Representation：Objectscannotrecoveredfromtheirrepresentations例如：用面积和周长表示某种形状特征提取与特征选择维数灾难——如何降维？主成分分析PCA选择具有最大区分能力的特征线性判别分析LDA分类贝叶斯决策理论、统计学习理论和SVM北京大学《数字媒体技术基础》课程（No.04831800）23二、主要模式识别方法介绍北京大学《数字媒体技术基础》课程（No.04831800）24模式识别方法参数估计近邻法直接计算判别函数·非参数方法有监督学习最小距离分层聚类无监督学习静态模式（不相关）HMM时序模式（相关的静态模式）统计模式识别模板匹配结构模式识别人工神经网络句法模式识别统计学习理论和支持向量机模糊模式识别北京大学《数字媒体技术基础》课程（No.04831800）25§2.1模板匹配TemplateMatchingTemplateInputscene北京大学《数字媒体技术基础》课程（No.04831800）26可变形模板DeformableTemplatePrototyperegistrationtothelow-levelsegmentedimageShapetrainingsetPrototypeandvariationlearningPrototypewarping北京大学《数字媒体技术基础》课程（No.04831800）27组合问题ModelwithPpartsImagewithNpossiblelocationsforeachpartNPcombinations!!!北京大学《数字媒体技术基础》课程（No.04831800）28§2.2结构模式识别用简单的基元(primitives)和结构关系来描述复杂对象特征维非数值或结构NMLTXZSceneObjectBackgroundDELTXYZMNDE北京大学《数字媒体技术基础》课程（No.04831800）29§2.3句法模式识别定义：描述待处理模式的结构信息，并用形式语言中的文法定义模式结构，并通过句法分析进行分类对象被描述为以基元为基本单位（符号化）的文法源自语言学，但不限于语言学应用基本概念基元：预定义的不再包含细节结构信息的子结构文法：对模式的描述（基元为字符）字符串句法：对字符串进行判别，是否文法描述的“语言”北京大学《数字媒体技术基础》课程（No.04831800）30句法模式识别系统框架预处理基元分割或分解句法分析基元和关系选择文法结构及推理测试模式训练模式分类学习过程错误率检测基元及关系识别北京大学《数字媒体技术基础》课程（No.04831800）31句法模式识别组成数据获取及其预处理图像分割与分析基元及其关系识别建议由基元组成的字符串“句子”句法分析根据文法对上述句子进行分析，看是否特定文法的句子北京大学《数字媒体技术基础》课程（No.04831800）32§2.4统计模式识别模式识别最初从统计理论发展而来基本思想：模式被描述为一组测量值组成的随机特征向量，用概率统计理论对其进行建模，用统计决策理论划分特征空间来进行分类。北京大学《数字媒体技术基础》课程（No.04831800）33统计模式识别的一般过程预处理特征提取/选择分类预处理特征提取/选择学习分类规则测试模式训练模式分类训练错误率检测北京大学《数字媒体技术基础》课程（No.04831800）34统计模式识别基本过程基本系统组成数据获取：测量预处理：利于特征提取和分类特征提取与选择降维选择有利于分类的特征，去除不利分类的特征分类决策错误率最小损失最小北京大学《数字媒体技术基础》课程（No.04831800）35§2.5人工神经网络计算“仿生”智能计算机大规模并行分布式的计算学习，泛化和自适应容错，非确定，不精确的分类北京大学《数字媒体技术基础》课程（No.04831800）36人工神经网络的基本情况单层感知机多层感知机前馈网络SOMHopfieldNetworkARTModels递归网络神经网络有关内容详见上一讲北京大学《数字媒体技术基础》课程（No.04831800）37§2.6模糊模式识别1965年Zadeh提出模糊集理论是对传统集合理论的一种推广传统：属于或者不属于模糊：以一定的程度属于模糊逻辑：相对传统二值逻辑“是或不是”模糊数学：研究模糊集和模糊逻辑模糊系统：应用角度北京大学《数字媒体技术基础》课程（No.04831800）38模糊模式识别方法隶属度函数对象x属于集合A的程度的函数，值域[0,1]模糊模式识别方法将模糊技术引入传统模式识别方法中模糊特征模糊分类：模糊子集代替确定子集模糊评价北京大学《数字媒体技术基础》课程（No.04831800）39§2.7统计学习理论与支持向量机统