最大似然分类器的基本思想和数学原理

1.2.1最大似然分类器的基本思想和数学原理最大似然分类法将卫星遥感多波段数据的分布当作多维正态分布来构造判别分类函数。其基本思想是：各类的已知像元的数据在平面或空间中构成一定的点群；每一类的每一维数据在自己的数轴上形成一个正态分布，该类的多维数据就构成该类的一个多维正态分布，有了各类的多维分布模型，对于任何一个未知类别的数据向量，都可反过来求它属于各类的概率；比较这些概率的大小，看属于哪一类的概率大，就把这个数据向量或这个像元归为该类[3]，可表示为：（1－1）式中，m是波段数；是第k类的m维正态分布密度函数，由它可以看出在第K类中m维随机变量x出现各种可能值的概率大小。像元的m维数据向量可表示为：（1－2）是第K类每个波段的均值所构成的均值向量（1－3）1kS是矩阵kS的逆矩阵。1kS是矩阵1kS的行列式。kS是第k类m个波段值的协方差矩阵，如下式：11kkkSWn)]()(21exp[||)2(1)(12/112/kkTkkmkXSXSGxp)(kGxpmxxxX21kkjkjxkmkkkmkkkxxxuuu2121（1－4）其中，kn是第k类的像元数；kW是第k类的类内离差矩阵。如下式：111212122212kkkmkkkmkkmkmkmmW（1-5）式中，1122,,kkkmm是第k类的类内方差；而121,,kkm及211,,kkm等是第k类的类内协方差。有了g个概率密度函数（也叫类分布函数），对任何一个已知的m维数据向量（即1个像元）都可反过来计算它属于g个类中第k类的概率。根据概率公式，即贝叶斯公式有：（1－6）式中，是任何一个m维数据向量（即像元）属于第k类的概率；是第k类的m维正态分布密度（概率密度）函数;是在所考虑的全部数据中出现该数据向量x的概率；是第k类在所考虑的全部数据中出现的概率，或者说第k类在g个类中出现的概率，称为先验概率，g个类的先验概率的总和等于1。对于任何一个m维数据向量x，都可用式（1－6）分别计算它们属于各类的概率，然后比较所得各概率的大小，从而把该数据向量x（即该像元）判归概率值最大的那一类。因为式（1－6）中的()px只考虑数据全体而不考虑类，因而与类无关，所以我们判别归类时可以不考虑它，只需比较式中的分子()(/)kkpGpxG的大小就可以了。简化后得：（1－7）()(/)(/)()kkkpGpxGpGxpx(/)kpGx(/)kpxG()px()pxˆ(/)()(/)kkkpGxpGpxG为了计算简便取对数：（1－8）即：（1－9）假定所有各类的协方差矩阵都相等，即，则可用所有各类的协方差矩阵S来代替各个：（1－10）（1－11）如果各类的先验概率相等，那么式（1－7）第1项各类数值相等，即与类无关，判别式又可不考虑它们。此时也可令：*()kkPPG（1－12）1kkcS（1－13）'1'01122kkkkkcSc（1－14）ˆln(/)ln()ln(/)kkkPGxPGPxG112'121ˆln(/)ln()ln()()2(2)kkkkkkmSPGxPGxSs112'1'1'1211ln()ln22(2)kkkkkkkkmSPGxSxxSS12kSSSkS112'1'1'1211ˆln(/)ln()ln22(2)kkkkkmSPGxPGxSxxSS'1'11ln()2kkkkkfPGxSS于是式（1－11）可以写成：'*0lnkkkkfxccP（1－15）也可写成：'0kkkfxcc（1－16）上面的kc式一个m维向量，而0kc是一个数值。式（1－15）和式（1－16）就是第k类的判别函数。考虑先验概率时用式（1－15）；不考虑先验概率时用式（1－16）。根据kf可以返回去求得(/)kPGx（1－17）用式（1－17）计算有时会在计算机上溢出，可改用下式：(max)(max)1(/)kkkkffkgffkePGxe（1－18）显然，哪一类的(/)kPGx最大也就是哪一类的kf最大。因此，实践中也可不求(/)kPGx，而直接比较各类的判别函数值kf，看哪一类的kf最大，就把数据向量x或者像元判归该类。121(/)kkgkffkgffffkeePGxeeee