GMM_EM_混合高斯模型及其求解应用

高斯混合模型（GMM）高斯混合模型（GMM）•GMM的表•GMM参数计算•GMM应用举例高斯混合模型（GMM）•GMM的表达•GMM参数计算•GMM应用举例高斯模型•是一种参数化模型，用高斯密度函数估计目标的分布•单高斯（SingleGaussianModel）•高斯混合模型（Gaussianmixturemodel）𝑁(𝑥;𝜇,)=12𝜋𝑑2||exp−12𝑥−𝜇𝑇(−1𝑥−𝜇𝛩={𝜇1,𝛴1,...,𝜇𝑖,𝛴𝑖,...,𝜇𝑘,𝛴𝑘𝛷(𝑥;𝛩)=𝜋𝑖𝑁(𝑥;𝜇𝑖,𝛴𝑖𝑘𝑖=1𝑥∈𝑅𝑑高斯混合模型(GMM)•公式表达：𝛷(𝑥;𝛩)=𝜋𝑖𝑁(𝑥;𝜇𝑖,𝛴𝑖𝑘𝑖=1𝛩={𝜋1,𝜇1,𝛴1,...,𝜋𝑖,𝜇𝑖,𝛴𝑖,...,𝜋𝑘,𝜇𝑘,𝛴𝑘参数空间：由𝑘个加权(𝜋𝑖)的高斯函数(𝑁(∙))的线性组合构成，其中：|𝛩|=3∗𝑘高斯混合模型（GMM）•GMM的表达式•GMM参数计算•GMM应用举例GMM参数学习•给定一些观察数据X={x},假设{x}符合如下的混合高斯分布求解一组混合高斯模型的参数𝛩，使得*：𝑝(𝑥;𝛩)=𝜋𝑖𝛮(𝑥;𝜇𝑖,𝛴𝑖)𝐾𝑖=1argmax𝛩P(X;𝛩)=argmax𝛩𝑝(𝑥𝑖;𝛩)𝑁𝑖,𝑠.𝑡.𝜋𝑘=1𝐾𝑘,0≤𝜋𝑘≤1*注意：对于观察集{x}中的各个观察值xi，这里认为相互之间独立。GMM参数学习•对目标函数取对数：•可以看出目标函数是和的对数，优化问题麻烦，简化的问题：某混合高斯分布一共有K个分布，对于每一个观察到的x，如果我们同时还知道它是属于K中哪一个分布的，则可以直接求解出各个高斯分布的参数。•因此引入隐变量Z,用于表示样本{x}输入哪一个高斯分布111ln((;))ln(;)ln((;,))NNKikikkiikpXpxNxGMM参数学习•定义Zi={zi1,…,ziK},zik表示xi是否属于第k个高斯函数，zik只有两个取值0、1，即zik=1表示xi属于第k个高斯函数，zik=0表示xi不属于第k个高斯函数。•那么，有：1()ikKzikkpZ11KikkzGMM参数学习•引入Z后(|1;)(|,)iikikkpxzNx•从而得到1(|;)(|,)ikzKiiikkkpxZNx注意：这里zik只有0和1的选择GMM参数学习•在简化问题中，我们实际的观察变量是{X,Z},根据一下两个公式1()ikKzikkpZ1(|;)(|,)ikzKiiikkkpxZNx•可以得到11(X,Z;)(|,)ikikzNKzkikknkpNx注意：这里N是X={x}集合的大小。GMM参数学习•比较原问题和简化问题111ln((;))ln(;)ln((;,))NNKikikkiikpXpxNx1111ln(X,Z;)ln{(|,)}={lnln(|,)}ikikzNKzkikknkNKikkikknkpNxzNx•后者的ln直接作用于正态分布，使正态分布由乘的e指数形式变为加的简单形式GMM参数学习•为了最大化上式，由于zik已知，我们可以把上式按观察到的(x,z)分为K组，即按照所属的高斯函数进行分组11ln(X,Z;){lnln(|,)}NKikkikkikpzNx12111222ln(X,Z;)(lnln(|,))(lnln(|,))+...+(lnln(|,))KiiiCiCKiKKiCpNxNxNx注意：用到zik的取值，所以zik不会再出现在公式中。GMM参数学习•因为我们假定zik已知，因而最大化某一个高斯函数(lnln(|,))lnln(|,)kkikkkkkkiCNxNNX是可以数值求解的。•假定Ck中含有Nk个样本，则(lnln(|,))kkikkiCNx注意：这里X表示的是xi的联合，X表示的是仅属于Ck的样本的联合。GMM参数学习•对于单高斯函数111ln(|,)ln(2)()()222kNTkkkkikkikiNDNNXxx•对上式𝜇𝑘求偏导11ln(|,)()kNkkkikikNXx•令上式等于0，则有11kNkiikxN•同理，可以得到11()()kNTkikikikxxNGMM参数学习•在zik已知的情况下，我们求出了高斯函数的数值解：11NkikiikzxN11()()NTkikikikikzxxN其中1NkikiNzGMM参数学习•现在，假定已知所有𝜇𝑘和𝛴𝑘，来求解𝜋𝑘，因为𝜋𝑘满足𝜋𝑘=1𝐾𝑘=1，可以对lnp(X,Z|Θ)应用拉格朗日乘法：1111ln(X,Z;)(1){lnln(|,)}(1)KkkNKKikkikkkikkLpzNx•对L中𝜋𝑘和𝜆求导并令其为0，得到110KkkL10NikikzL11NKikikzN1NikikkzNNNGMM参数学习•引入隐变量Z后，我们得到了最大化目标函数的结果11ln(X,Z;){lnln(|,)}NKikkikkikpzNx11NkikiikzxN11()()NTkikikikikzxxN1NkikiNz1NikikkzNNN通过上面的公式，可以看出如果能够知道每一个zik的取值，那么就能求解出最大化目标函数的参数取值，但事实上给定一组观察数据{x}后，是无法获取zik的，因此我们将用zik的均值E{zik}来代替。11()NkikiikEzxN11()()NTkikikikikEzxxN（）1()NkikiNEz1E()NikikkzNNNGMM参数学习•进一步解释现在的问题转化为如何求解E{zik}？为了求解E{zik}，我们假定已知一组参数取值（Θ的取值），从而求解zik的后验数学期望E{zik|Θ},得到E{zik}我们再计算Θ。引入一种迭代思想，迭代计算E{zik}和Θ显然求得的Θ是给定E{zik}情况下的结果，并不一定是目标函数的解，为此：E{zik}Θ11()NkikiikEzxN11()()NTkikikikikEzxxN（）1()NkikiNEz1E()NikikkzNNNEM算法GMM参数学习•这种迭代计算E{zik}和Θ的方法就是EM(ExpectationMaximum)算法•把计算E{zik}的过程成为E-step；把计算Θ参数的过程，成为M-step。•现在，问题的求解变成了如何求解E{zik|Θ}GMM参数学习1iii(|)(|,)=(|,)(|)(|,)=(|)(1|)(|1,)(0|)(|0,)=10(|)(|)ikikikNikikiknznikikizikiikikzikiikikiikEzzpzxzpzxpzpxzzpxpzpxzpzpxzpxpxikj1(1|)(|1,)=(|)N(|,)=N(|,)ikiikikkKijjjpzpxzpxxxzik只与xi有关公式展开Zik只有0、1取值贝叶斯公式GMM参数学习•小结kj1N(|,)(|)=N(|,)ikkikKijjjxEzx11()NkikiikEzxN11()()NTkikikikikEzxxN（）1()NkikiNEz1E()NikikkzNNNE-step:给定Θ计算E{zik|Θ}M-step:给定E{zik|Θ}更新ΘM-stepE-stepGMM参数学习•算法流程1.初始化一组参数Θ，如K-means方法；3.根据E{zik|Θ}更新参数Θ；2.根据参数Θ计算E{zik|Θ}；4.迭代2.3.直到达到某种阈值条件，如|Θnew−Θ𝑜𝑙𝑑|,|𝑝(𝑋|Θnew)−𝑝(𝑋|Θ𝑜𝑙𝑑)|；GMM参数学习•GMM，K=2K-meams初始化原始数据迭代过程迭代过程迭代过程迭代结果高斯混合模型（GMM）•GMM的表达式•GMM参数计算•GMM应用举例GMM应用:背景建模•背景模型：对图像中的场景进行建模，从而进行运动检测。要点1：将图像中的每个图像单位(像素，块等)看成是从混合高斯分布样本中采样得到的随机变量；要点2：根据先验知识，每个像素点是前景或背景的先验概率可以估值；要点3：考虑到背景的多模态和复杂度，一般的混合高斯模型采用3-5个单高斯模型进行混合。GMM应用:背景建模•用K个高斯模型来表征图像中各个像素点的特征•Ixy,t属于背景区域的概率密度：,,,,,,,,1()(,,),KxytxyktxytxyktxyktkfINIIxy,t表示t时刻图像I中的xy位置的像素特征。,,11Kxyktk模型主要步骤：1，模型初始化；2，背景描述；3，前景判决；4，模型更新。GMM应用:背景建模•模型初始化（1/3）K个高斯模型的均值𝜇：第一个高斯模型的均值等于输入视频的第一帧对应的的像素值或处理单位的平均值，即：其中,,,101xytxyktIkk0kK初始化GMM中的各个参数，主要包括𝜋、𝜇和𝛴，为了简单每个高斯函数对应像素特征的一个通道，即𝛴可以用一个数值𝜎表示GMM应用:背景建模•模型初始化（2/3）K个高斯模型的方差𝜎：所有高斯模型的初始方差都是相等的，即：𝑣𝑎𝑟的取值直接与该视频的动态特性，因为标准差的大小与各个高斯模型允许像素值的波动范围直接相关。2,,var1,2,...,xyktkKGMM应用:背景建模•模型初始化（3/3）高斯模型的权重𝜋初始化：权重的初始化就是对背景的分布进行先验概率的估值，在初始化的时候，一般将第一个高斯模型的权重取较大，其他就相应的取值较小，即：int,,int1(1)/(1)1xyktWkWKkGMM应用:背景建模•背景模型描述1.所有K个高斯模型按照𝜋xy,𝑘,𝑡𝜎xy,𝑘,𝑡排序权重的初始化就是对背景的分布进行先验概率的估值，在初始化的时候，一般将第一个高斯模型的权重取较大，其他就相应的取值较小，即：,,,,,1,,1,//xyktxyktxyktxykt2.排序后，用前B个高斯模型作为背景模型：,,1argmin()BxyktBkTT为选定的阈值。用于确定描述背景模型的高斯函数的个数GMM应用:背景建模•前景判决（1/2）,1,,,,,,1,11,|I|()0,xytxyktxyktxyktxytifmIelse判断当前像素，属于背景或前景对于任意输入像素𝐼𝑥𝑦,𝑡+1，比较是否满足各个高斯模型：GMM应用:背景建模•前景判决（2/2）计算满足高斯模型的最小𝑀𝑥𝑦,𝑡+1：,1,,1,1argmin{()0}xytxyktxytkMmI,1,elsexytifMB前景背景前景判决：GMM应用:背景建模•模型更新（1/2）更新所有高斯模型的权重，并重新归一化：,,1,,,k,1(1)xyktxyktxytm更新第𝑀𝑥𝑦,𝑡+1均值和方差：,1,1,1,1,1,1,1,1,,,,,,1,,,1222,,,,,,,(;,)(1)(1)()xytxytxytxytxytxytxytx