模式识别复习重点总结

1.什么是模式及模式识别？模式识别的应用领域主要有哪些？模式：存在于时间，空间中可观察的事物，具有时间或空间分布的信息；模式识别：用计算机实现人对各种事物或现象的分析,描述,判断,识别。模式识别的应用领域：（1）字符识别；（2）医疗诊断；（3）遥感；(4）指纹识别脸形识别；（5）检测污染分析，大气，水源，环境监测；（6）自动检测；（7）语声识别，机器翻译，电话号码自动查询，侦听，机器故障判断；（8）军事应用。2.模式识别系统的基本组成是什么？（1）信息的获取：是通过传感器，将光或声音等信息转化为电信息；（2）预处理：包括A\D,二值化，图象的平滑，变换，增强，恢复，滤波等,主要指图象处理；（3）特征抽取和选择：在测量空间的原始数据通过变换获得在特征空间最能反映分类本质的特征；（4）分类器设计：分类器设计的主要功能是通过训练确定判决规则，使按此类判决规则分类时，错误率最低。把这些判决规则建成标准库；（5）分类决策：在特征空间中对被识别对象进行分类。3.模式识别的基本问题有哪些？（1）模式(样本)表示方法：（a）向量表示；（b）矩阵表示；（c）几何表示；（4）基元(链码)表示；（2）模式类的紧致性：模式识别的要求:满足紧致集，才能很好地分类；如果不满足紧致集，就要采取变换的方法,满足紧致集（3）相似与分类；(a)两个样本xi，xj之间的相似度量满足以下要求：①应为非负值②样本本身相似性度量应最大③度量应满足对称性④在满足紧致性的条件下，相似性应该是点间距离的单调函数(b)用各种距离表示相似性（4）特征的生成:特征包括：(a)低层特征;(b)中层特征;(c)高层特征（5）数据的标准化:(a)极差标准化；(b)方差标准化4．线性判别方法（1）两类：二维及多维判别函数，判别边界，判别规则二维情况：（a）判别函数：()（b）判别边界：g(x)=0;（c）判别规则：n维情况：（a）判别函数：也可表示为：32211)(wxwxwxg为坐标向量为参数，21,xxw21,0,0)(XXxgi12211......)(nnnwxwxwxwxgXWxgT)(为增值模式向量。，＝为增值权向量，TnnTnnxxxxX)1,...,,(),,...,,(21121（b）判别边界：g1(x)=WTX=0（c）判别规则：（2）多类：3种判别方法（函数、边界、规则）(A)第一种情况：(a)判别函数：M类可有M个判别函数(b)判别边界：ωi（i=1,2,…,n）类与其它类之间的边界由gi(x)=0确定(c)判别规则：(B)第二种情况：(a)判别函数：有M(M_1)/2个判别平面(b)判别边界：(c)判别规则：(C)第三种情况：(a)判别函数：(b)判别边界：gi(x)=gj(x)或gi(x)-gj(x)=0(c)判别规则：5．什么是模式空间及加权空间，解向量及解区？（1）模式空间：由构成的n维欧氏空间；（2）加权空间：以为变量构成的欧氏空间；（3）解向量：分界面为H，W与H正交，W称为解向量；（4）解区：解向量的变动范围称为解区。6．超平面的四个基本性质是什么？性质①：W与H正交；性质②：W)x(gr其中，为x矢量到H的正交投影；。其它MiXXWxgiTii,...,2,1,,0,0)(XWxgTii)(XWxgTijij)(0)(xgijjixgijjix0x0)(当当权向量。个判别函数的为第式中i),,,...,,(121。其它MiXXWxgiTii,...,2,1,,0,0)(XWxgKk)(小，其它最大，当iTkixXWxg)(TnxxxxX),...,,(321121,...,,n性质③：性质④：7．二分法能力如何表示？N个样品线性可分数目(条件：样本分布良好）：线性可分概率:8．广义线性判别方法（1）非线性→线性一个非线性判别函数通过映射，变换成线性判别函数：成正比的距离与原点到11,nnWHWWq通过原点。，说明超平面则若在原点负侧。则在原点正侧，若则若HxWxgWHWHWTnnn)(,0,0,0111nkkNNnNCnNnND011,21,2),(若若为特征数为样本数其中nNkNkNCkN,,])!1(![)!1(11101,1(,)(,)2,12nNkNNkNnDNnPNnCNn若若强。说明样本少时二分能力范围，即在。时，线性可分概率为时，即值，对于任意。处出现明显的门限效应时，曲线急剧下降，在由当,1),(),1(22:)(21),()1(22:)(21:)(nNPnNcnNPnNnbna.2),1(2:)(,),1(22:)(0是最好情况即二分能力）的估计：个样本的线性可分性（对多线性可分能力越差。说明样品越线性可分概率急剧下降范围，即在nNNenNd)(,)(...)()()(,...)()()(212111增广模式向量。广义权向量其中：空间变换空间xfxfxfY（2）线性判别9．分段线性判别方法1）基于距离:（1）子类，类判别函数（2）判别规则（1）子类：把ωi类可以分成li个子类:∴分成l个子类。子类判别函数：在同类的子类中找最近的均值（2）判别规则：这是在M类中找最近均值。则把x归于ωj类完成分类2）基于函数：（1）子类，类判别函数（2）判别规则（1）子类类判别函数：对每个子类定义一个线性判别函数为：（2）判别规则：在各子类中找最大的判别函数作为此类的代表，则对于M类，可定义M个判别函数gi(x),i=1,2,…..M,因此，决策规则3）基于凹函数的并：（1）析取范式，合取范式，凹函数（2）判别规则（1）析取范式：P=(L11∧L12∧…∧L1m)∨…∨(Lq1∧Lq2∧…∧Lqm)合取范式：Q=(L11∨L12∨…∨L1m)∧…∧(Lq1∨Lq2∨…∨Lqm)凹函数：Pi=Li1∧Li2∧…∧Lim（2）判别规则：设第一类有q个峰，则有q个凹函数。即P=P1∨P2∨……∨Pq10．非线性判别方法0YWT判别平面：21,0,0)(xxYgYWT),...,,(21liiiilillixxg,...,2,1min)(Mixgxgij,...,2,1),(min)(子类的权向量。为其中lilililiwxwxg,)(jiMijxxgxg则),(max)(,.....,2,1。每个子类的判别函数数子类。mjxqixxwLijij,...,2,1,,0,...,2,1,,02121,0,0xPxP则则判别规则：（1）1集中，2分散（2）1,2均集中11．分类器的设计（1）梯度下降法（迭代法）：准则函数，学习规则（a）准则函数：J(W)≈J(Wk)+▽JT(W-Wk)+(W-Wk)TD(W-Wk)T/2其中D为当W=Wk时J(W)的二阶偏导数矩阵（b）学习规则：从起始值W1开始，算出W1处目标函数的梯度矢量▽J(W1)，则下一步的w值为：W2=W1-ρ1▽J(W1)其中W1为起始权向量，ρ1为迭代步长，J(W1)为目标函数，▽J(W1)为W1处的目标函数的梯度矢量在第K步的时候Wk+1=Wk-ρk▽J(Wk)最佳步长为ρk=||▽J||2/▽JTD▽J这就是梯度下降法的迭代公式。（2）感知器法：准则、学习规则（批量，样本）（a）准则函数：其中x0为错分样本（b）学习规则：1.错误分类修正wk如wkTx≤0并且x∈ω1wk+1=wk+ρkx如wkTx≥0并且x∈ω2wk+1=wk-ρkx协方差为均值，为其中：大小。的大小，决定超平面的判别函数定义1111111121,)()()(:kxxkxgT控制大小是个超球面由判别平面：判别规则：k0)(,0)(,0)(121xgxxgxxg协方差，为均值，，为其中：，两个判别函数：都比较集中，那么定义，如果212112212,1)()()(iiiiTiiiixxkxg。可用来调整二类错误率判别规则：判别平面方程：21212221212211111221111211221,,0,0)(0)()()(2)()()()(kkxxxgkkxxxxgxgxgTTTT0)(XXXWWJT2.正确分类，wk不修正如wkTx＞0并且x∈ω1如wkTx＜0并且x∈ω2wk+1=wk（3）最小平方误差准则法（MSE法）（非迭代法）：准则、权向量解(a)准则函数：(b)权向量解：（4）韦—霍氏法（LMS法）（迭代法）：准则，学习规则(a)准则函数：(b)学习规则：W1任意，Wk+1=Wk+ρk(bk-WkTXk)Xkρk随迭代次数k而减少，以保证算法收敛于满意的W值（5）何—卡氏法（H-K法）（迭代法）：准则，b，W的学习规则(a)准则：它的解为：（b）b，W的学习规则：其中c为矫正系数，ek为误差矢量，ek=XWk-bk初始条件W1=X+b1并且b10迭代时检测如果ek≥0时，XWb，系统线性可分，迭代收敛如果ek0时，XWb，系统线性不可分，迭代不收敛（6）Fisher分类法：准则函数的建立，W权值计算，0W的选择(a)准则函数的建立：投影样本之间的类间分离性越大越好，投影样本的总离散度越小越好。即可表示为：其中Sw为类内散布矩阵,Sb为类间散布矩阵NibiXiWTbXWeWJ1222||||||||)(bXbXXXTWT1的伪逆（规范矩阵）称为其中XXXXTXT1NibiXiWTbXWeWJ1222||||||||)(k1K取NibiXiWTbXWeWJ1222||||||||)(bXbXXXTWT1kkkbbbb1前后两次迭代后，对的增量为其中bbk]|[][|11kKkkKkKKkeeXcWbXbXbbXbXW|]|[kkkeeCb2212212||)(YYWJFisher准则函数有所以WSWWSW)(wTbTWJ(b)W权值计算：(c)W0的选择：Yki表示第i类中第k个样本的投影值N1为ω1样本数N2为ω2样本数（7）电位函数分类器：电位函数，累积电位的计算(a)电位函数：电位分布函数有如下三种形式：α为系数xk为某一特定点(b)累计电位的计算：Kk+1(x)=Kk(x)+rk+1K(x,xk)其中：xk+1∈ω1并且Kk(xk+1)0时rk+1=0xk+1∈ω1并且Kk(xk+1)≤0时rk+1=1xk+1∈ω2并且Kk(xk+1)0时rk+1=0xk+1∈ω2并且Kk(xk+1)≥0时rk+1=-112．1）二类问题的贝叶斯判别（1）判别函数的四种形式（2）决策规则（3）决策面方程（4）决策系统的结构（1）判别函数的四种形式：（2）判别规则：XXSWWJw211)(求极值得对2.1210YYW2121212102122.2NNXWNXWNNNYNYNWTTNYYNYYNYYYYYWkkkkkk2211111211221121120)(.3}||||exp{-)K(1.2kkxxXX||||11)K(2.2kkxxXX|||||||||sin|)K(3.22kkkxxxxXX)(,)()(ln)()(ln)()()(,)()()()()()(