密度函数估计

概率密度函数估计第三章概率密度函数的估计贝叶斯估计的基础就是概率密度函数估计当样本数N趋于无穷大时，希望类条件概率密度和先验概率尽可能的精确概率密度函数的估计方法参数估计和非参数估计主要区别就是概率密度函数是否已知i(|)pxi()p3.1引言参数估计的主要方法最大似然估计和贝叶斯估计在数理统计中，用来判断估计好坏的常用标志是无偏性，有效性和一致性。非参数估计主要方法近邻估计法和Parzen窗法NK3.2最大似然估计概率密度函数的形式已知，参数是确定但未知的量样本集的每一个样本都是从密度函数为的总体中独立抽取出来的，即满足独立同分布的条件。i(|)px各类样本只包含本类的分布信息3.2.1似然函数样本集包含N个样本，独立的从概率密度为中获得样本集的概率密度为，即样本集的联合概率密度为(|)px123i1()(|)(,,|)(|)NNilppxxxxpx上式反映的是在不同参数取值下，取得当前样本集的可能性，因此称作参数相对于样本集的似然函数。最大似然估计量123ˆ=d(,,)Nxxxxθ对数似然函数ii11()ln()ln(|)ln(|)NNiiHlpxpx3.2.2似然函数的求解只有一个待估参数()0dld()0dHd或当未知参数是是由多个未知参数组成的向量时，需要对的每一维分别求偏导，即用下面的梯度算子12=,TS12,TSddd来对似然函数或对数似然函数求梯度并令其等于零。()=0()=0lH或注意3.3贝叶斯估计与贝叶斯学习3.3.1贝叶斯估计贝叶斯估计对未知参数的处理方式是把参数本身也看作具有先验分布密度的随机变量，然后根据样本集估计出最优的参数。p()对于连续变量，定义取估计量为所带来的损失为，称为损失函数。ˆθˆ(,)θ在样本X下的条件风险ˆˆ(|)(,)(|)Rpdxxθθ总的期望风险ddˆ(,)(|)()ˆ=(|)()EERppddxRpdxxxxθθ当定义损失函数为时，则在样本X下，贝叶斯估计量是在给定下的条件期望。2ˆˆ(,)()θθx|(|)Epdxx综上所述，在最小平方误差损失函数下，贝叶斯估计步骤：根据对问题的认识确定的先验分布密度()p样本集的联合分布i1(|)(|)Nippx利用贝叶斯公式求参数的后验分布密度(|)()(|)(|)()pppppd参数的贝叶斯估计量为|(|)Epd3.3.2贝叶斯学习样本的概率密度函数为(x|)(|)(|)pppdx参数的后验分布密度(|)()(|)(|)()NNNpppppd由于1(|)(|)(|)NNNppxp可得如下递推公式11(|)(|)(|)(|)(|)NNNNNpxpppxpd(|)(|)()NNppp由递推公式可知，随着样本数目的增加，可以得到一系列对概率密度函数参数的估计11212(),(|),(|,),(|,)Nppxpxxpxxx0513200.20.40.60.81.01.21.41.61.82.00.04-5-1-2-30-4)|(NXp随着样本数目的增加后验分布密度逐渐形成以的真实值为中心的一个尖峰。当样本无穷时收敛于参数真实值上的脉冲函数，这一过程称作贝叶斯学习。(|)()Npxpx3.4概率密度估计的非参数方法基本原理某个随机向量落入某个小区域R的概率()RRPpxdx在样本集为N，实际落入小区域有k个样本时的一个很好的估计是RPkˆRPN当连续、且小区域R的体积V足够小时则随机向量落入这个区域的概率为(x)p()=()RRPpxdxpxV此时其估计量变为kˆ(x)PNV当样本无穷多时，收敛于的条件是ˆ(x)Pp()xlim0NNVlimkNNklim0NNN近邻估计法kN密度函数的估计为：kˆ()NPxNVParzen窗法小舱体积VdVh定义d维单位方窗函数1211,1,2,,(,,,)20idjd若其它则落入以x为中心的超立方体内的样本数就可以写成1k=()NiNixxh由此可推出任意一点x的密度函数估计表达式为11111ˆˆ()()()()NNiiiixxxxPxPxNVhNVh或定义核函数(窗函数)1k(,)()iixxxxVh则任一点的函数密度估计写为111ˆ()k(,)NiiPxxxN基本要求11k(,)0k(,)0iixxxxdx且谢谢观看