非线性判别函数

LOGO第四次学习总结陈书燊模式识别前言前面的线性分类器对于多分类问题，采用树分类器进行分类。若在树分类器的各节点上采用线性判别规则，构成了一个分段线性分类器。在实际中，有很多实际模式识别问题并不是线性可分的，需要采用非线性分类器。当两类样本分布具有多峰性质并互相交错，简单的线性判别函数会带来较大的分类错误。分段线性判别函数基于距离的分段线性判别函数正态分布条件下，两类别问题在各特征统计独立、同方差、且先验概率相等情况下，最小错误率决策可按最小距离决策，即分段线性判别函数按距离分类的原理是可以推广的，即把各类别样本特征向量的均值作为各类的代表点，而样本的类别按它到各类别代表点的最小距离划分。在这种判别函数中，决策面是两类别均值连线的垂直平分面。最小距离分类器只有在各类别密集地分布在其均值附近时才有效。分段线性判别函数每类不只取单个代表点而是多个。分段线性距离分类器：步骤1.先对每一类找到与子区域中心的最小距离；步骤2.对于每一类子区域最小距离进行排序，选择最小作为决策。1,2,..,()miniliillgxxm1,2,...,()min()ijjcgxgx分段线性判别函数分段线性分类器设计的一般考虑分类器设计的基本问题是，在一定判别函数内利用训练样本集确定分类器的参数，即判别函数中的系数。设计线性分类器，就是确定权向量和阀值权或广义权向量，而设计分段线性分类器，则是利用样本集确定一组该向量。1.利用多类线性判别函数算法设计分段线性分类器2.已知子类数目时的分段线性判别函数3.未知子类数目时的分段线性判别函数用凹函数的并表示分段线性判别函数算法问题1.在算法执行前，要首先判断每类分布有多少个峰，从而决定选择哪一类作设计，并确定设计几个分段线性判别函数才符合要求。这就需要对样本集有一定的先验知识。2.在算法执行前，要给出每个分段线性判别函数中分段的数目。3.没有从理论上证明算法的收敛性。用交遇区的样本设计分段线性分类器局部训练法的思想是类间的分界面必然处在两类样本的交界处，因此只需找出这些交界处的样本，然后对这些邻近的不同类样本,按需要确定分界面即可。实际上决策面都处在不同类别样本分布的交界处或邻接处所在的区域内，基于这种思想的样本训练法称为“局部训练法”。用交遇区的样本设计分段线性分类器参加训练的局部样本集由两类样本组成。这些区域称之为“交遇区”，局部训练法就是基于交遇区内样本进行设计的。要解决的几个问题是：(1)如何从样本集中找到“交遇区”；(2)如何利用“交遇区”中的样本设计线性分类器；(3)如何进行分类决策。用交遇区的样本设计分段线性分类器提出寻找“交遇区”的一种方法，其实质是先在每类样本集内进行分片划分，所使用的方法是聚类方法，划分的目的是使每类样本划分成小片（原型区）后，找到处在本类样本占领区域边界上的小片原型。找到边界子集的方法是通过与另一类样本子集中找近邻的方法实现的。如果发现分属两类的两个原型互为最近邻，那么这两个原型就被认定为处在两类样本决策域的交界处（紧互对原型对）。用交遇区的样本设计分段线性分类器算法步骤步骤1：产生初始超平面步骤2：初始决策面最佳化步骤3：新决策面的产生与最佳化在使用上述方法得到一组超平面作为分段线性分类器的分界面后，仅对交遇区的样本集进行性能检测有时不能发现存在的问题，需要使用全体样本对其进行性能检验，观察其能否对全体样本作出合理的划分。二次判别函数二次判别函数的一般表达式：决策面为超二次曲面，包括超球面、超椭球面、超双曲面等。0()TTgxxWxwx二次判别函数二次判别函数的构造方法例如，一类样本分布成团，另一类均匀散布在其周围：111injjimxn111111inTjjjixmxmn二次判别函数二次判别函数为：决策面方程：21111()TgxKxmxm()0gx本章小结由于样本在特征空间分布的复杂性，许多情况下采用线性判别函数不能取得满意的分类效果。在这种情况下，可以采用分段线性判别或二次函数判别等方法，效果就会好得多。与一般超曲面相比，分段线性判别函数是最为简单的形式，是非线性判别函数情况下最为常用的形式。除此之外二次判别函数是除线性及分段线性外最简单的形式。在有些实际的分类问题中，同一类样本可以用若干个子类来描述，这些子类的数目就可作为确定分段段数的依据。