机器学习与模式识别-第5章_非线性判别函数

第五章非线性判别函数15.1分段线性判别函数的概念5.2用凹函数的并表示分段线性判别函数5.3用交遇区的样本设计分段线性分类器5.4二次判别函数25.1分段线性判别函数的基本概念3ω1ω1ω2二次判别函数分段线性判别函数线性判别函数5.1分段线性判别函数的基本概念•分段线性判别函数：一种特殊的非线性判别函数，它的决策面是若干超平面•有些复杂模式识别问题不是线性可分的，需使用非线性的分类方法•树分类器的各节点上采用线性判别规则，即构成分段线性分类器45.1.1基于距离的分段线性判别函数•最小距离分类器：把各类别样本特征的均值向量作为各类的代表点(prototype)，根据待识样本到各类别代表点的最小距离判别其类别。决策面是两类别均值连线的垂直平分面•分段线性距离分类器：将各类别划分成相对密集的子类，每个子类以它们的均值作为代表点，然后按最小距离分类•判别函数定义：ωi有li个子类，即属于ωi的决策域Ri分成li个子域Ri1,Ri2,…,Rili)，每个子区域用均值mik代表点51,...,()minikiiklgxxm判别规则：1,...,argmin()iicjgx1,...,if()min()thenjijicggxxx判别函数6分段线性距离分类器图例m1m2xg(x)=0x75.1.2分段线性判别函数如前图:各类样本服从正态分布但非等协方差分布,等概率密度面为超椭球面.利用贝叶斯决策,属于哪一类?利用最小距离决策属于哪一类?8解决方法:将每个大类分成若干子类,针对每个子类定义一个线性判别函数.9思考：其他方法？x•分段线性判别函数的一般形式:gik(x)表示第i类第k段线性判别函数，li为i类所具有的判别函数个数，wik与wi0k分别是第k段的权向量与阈值权()0(),1,2,...,;1,...,kkTkiiiigwklicxwx•第i类的判别函数:1,...,()max()ikiiklggxx•判别规则:1,...,if()max()thenjijicggxxx•决策面取决于相邻的决策域，如第i类的第n个子类与第j类的第m个子类相邻，则由它们共同决定的决策面方程为()()nmijggxx105.1.3分段线性分类器设计的一般考虑1.利用多类线性判别函数算法设计分段线性分类器针对每个子类设计分类器前提条件：已知子类划分115.1.3分段线性分类器设计的一般考虑2.已知子类数目时的分段线性判别函数基于优化的方法(Ref.P85)步骤一：任意给定各个子类的初始权向量步骤二：利用训练样本集进行迭代（依次验证当前权向量是否可以正确分类各个样本），如果出现分类错误，则修改出现错误的权向量步骤三：重复上面迭代过程直至算法收敛（有不收敛情况，可逐渐缩小修正步长办法强制收敛）121,...,()max()ikiiklggxx1,...,if()max()thenjijicggxxx5.1.3分段线性分类器设计的一般考虑3.未知子类数目的分段线性判别函数利用树状分段线性分类器(Ref.P86图)不断地用两类线性判别函数算法找一个权向量（可选择两类样本中欧式距离最近的2样本连线的垂直平分面的法向量为初始值，然后求得局部最优解），划分样本集，直到最后一个权向量把两类样本完全分开为止。135.2用凹函数的并表示分段线性判别函数5.2.1分段线性判别函数的表示14L11L12L13L14L15L21L22L23L24L31L32L33L345.2用凹函数的并表示分段线性判别函数5.2.1分段线性判别函数的表示15P=max{min[L11,L12,L13,L14,L15],min[L21,L22,L23,L24],min[L31,L32,L33,L34]}5.2用凹函数的并表示分段线性判别函数5.2.1分段线性判别函数的表示16算法：步骤一：任意给定初始权向量步骤二：迭代验证权向量是否能正确分类，不能，则修正权向量。步骤三：重复上述过程，直至收敛（或设定迭代次数，到达次数停止）初始权向量不同，结果不同。在有限步骤内没有收敛时，可以尝试不同的初始值5.3用交遇区的样本设计分段线性分类器175.4二次判别函数18思考：其他方法？x5.4二次判别函数19g(x)=xTWx+wTx+w0=计算复杂，需要确定1+d*(d+3)/2个系数5.4二次判别函数20二次判别函数其中，对于分布成比较成团的类iiNjTijijiiNjjimxmxNxNm11))((1115.4二次判别函数21x