3概率密度函数的估计-PPT精选文档78页

第三章概率密度函数的估计请各位思考的问题+1、我们可以构造一个比贝叶斯规则更好的分类器吗？+2、利用贝叶斯法则构造分类器的前提条件是什么？+3、为何要估计密度以及如何估计密度?第三章概率密度密度的估计3TableofContents第三章概率密度密度的估计43.1引言基于样本的Bayes分类器：通过估计类条件概率密度函数，设计相应的判别函数分类器功能结构基于样本的直接确定判别函数方法g1g2gcARGMAX......x1x2xna(x)第三章概率密度密度的估计5基于样本的Bayes分类器设计Bayes决策需要已知两种知识：各类的先验概率P(ωi)各类的条件概率密度函数p(x|ωi)(|)()(|)(|)()iiijjjpPPpPxxx知识的来源：对问题的一般性认识或一些训练数据基于样本的两步Bayes分类器设计利用样本集估计P(ωi)和p(x|ωi)基于上述估计值设计判别函数及分类器面临的问题：如何利用样本集进行估计估计量的评价利用样本集估计错误率引言第三章概率密度密度的估计6基于样本的Bayes分类器训练样本集样本分布的统计特征：概率密度函数决策规则：判别函数决策面方程最一般情况下适用的“最优”分类器：错误率最小，对分类器设计在理论上有指导意义。获取统计分布及其参数很困难，实际问题中并不一定具备获取准确统计分布的条件。引言(|)()(|)(|)()iiijjjpPPpPxxx第三章概率密度密度的估计7直接确定判别函数基于样本的直接确定判别函数方法：针对各种不同的情况，使用不同的准则函数，设计出满足这些不同准则要求的分类器。这些准则的“最优”并不一定与错误率最小相一致：次优分类器。实例：正态分布最小错误率贝叶斯分类器在特殊情况下，是线性判别函数g(x)=wTx（决策面是超平面），能否基于样本直接确定w?训练样本集决策规则：判别函数决策面方程选择最佳准则引言第三章概率密度密度的估计8概率密度估计的方法类的先验概率P(ωi)的估计：用训练数据中各类出现的频率来估计依靠经验引言类条件概率密度函数的估计：两大类方法参数估计：概率密度函数的形式已知，而表征函数的参数未知，需要通过训练数据来估计•最大似然估计•Bayes估计非参数估计：概率密度函数的形式未知，也不作假设，利用训练数据直接对概率密度进行估计•Parzen窗法•kn-近邻法第三章概率密度密度的估计93.2参数估计统计量：总体的某种信息是样本集K={x1,x2,…,xN}的某种函数f(K)。参数空间：总体分布的未知参数θ所有可能取值组成的集合(Θ)12ˆ(,,...,)()NddKxxx的是样本集的函数，它对样本集的一次实现称估计量为估计值点估计和区间估计点估计的估计量(variable)和估计值(value)：第三章概率密度密度的估计10估计量的评价标准估计量的评价标准：无偏性，有效性，一致性无偏性：E()=θ有效性：D()小，估计更有效一致性：样本数趋于无穷时，依概率趋于θ：ˆˆlim()0NPˆˆ第三章概率密度密度的估计113.2.1最大似然估计MaximumLikelihood(ML)估计估计的参数θ是确定而未知的，Bayes估计方法则视θ为随机变量。样本集可按类别分开，不同类别的密度函数的参数分别用各类的样本集来训练。概率密度函数的形式已知，参数未知，为了描述概率密度函数p(x|ωi)与参数θ的依赖关系，用p(x|ωi,θ)表示。独立地按概率密度p(x|θ)抽取样本集K={x1,x2,…,xN}，用K估计未知参数θ第三章概率密度密度的估计12似然函数似然函数：121()(|)(,,...,|)(|)NNkklpKppθθxxxθxθ对数(loglarized)似然函数：1()ln(|)NkkHpθxθ最大似然估计第三章概率密度密度的估计13最大似然估计1ˆargmax()argmaxln(|)MLnkklpθθθθxθ最大似然估计第三章概率密度密度的估计14最大似然估计示意图p(K|θ)lnp(K|θ)最大似然估计第三章概率密度密度的估计15计算方法最大似然估计量使似然函数梯度为0：ˆˆ1()|ln(|)|0MLMLNkkHpxθθθθ1...Tsθ最大似然估计第三章概率密度密度的估计163.2.2贝叶斯估计-最大后验概率用一组样本集K={x1,x2,…,xN}估计未知参数θ未知参数θ视为随机变量，先验分布为p(θ)，而在已知样本集K出现的条件下的后验概率为p(θ|K)最大后验概率估计-Maximumaposteriori(MAP)MAPˆargmax(|)(|)()argmax()argmax(|)()pKpKppKpKp第三章概率密度密度的估计17贝叶斯决策问题与贝叶斯估计问题贝叶斯决策问题:样本x决策ai真实状态wj状态空间A是离散空间先验概率P(wj)贝叶斯参数估计问题：样本集K={xi}估计量^s真实参数s参数空间S是连续空间参数的先验分布p(s)贝叶斯估计贝叶斯风险最小估计问题：用一组样本集K={x1,x2,…,xN}估计未知参数θ，使估计带来的风险最小。第三章概率密度密度的估计18贝叶斯(最小风险)估计参数估计的条件风险：给定x条件下，估计量的条件风险ˆ(,)ˆ(|)(|)Rpdxx参数估计的风险：估计量的条件风险的期望ˆ(|)()dERRpdxxx贝叶斯估计：使风险最小的估计BEˆˆˆargmax(|)Rx贝叶斯估计第三章概率密度密度的估计19贝叶斯估计(II)贝叶斯估计损失函数定义为误差平方：2ˆˆ(,)()22ˆ(|)ˆ(,)(|)[(|)](|)ˆ[(|)](|)RpdEpdEpdxxxxxx定理3.1:如果定义损失函数为误差平方函数，则有：BEˆ[|](|)Epdxx第三章概率密度密度的估计20贝叶斯估计的步骤1.确定θ的先验分布p(θ)2.由样本集K={x1,x2,…,xN}求出样本联合分布：p(K|θ)3.计算θ的后验分布4.计算贝叶斯估计(|)()(|)(|)()pKppKpKpdBEˆ(|)pKd贝叶斯估计第三章概率密度密度的估计213.3正态分布的参数估计最大似然估计示例贝叶斯估计示例第三章概率密度密度的估计223.3.1一元正态分布例解22112221()(|,)exp()22kkxpx21221211ln(|,)ln(2)()22kkpxx最大似然估计第三章概率密度密度的估计23一元正态分布均值的估计121121ln(|,)()kkpxxˆˆ1()|ln(|)|0MLMLNkkHpxθθθθ代入前式,得11ˆNMLkkxN最大似然估计第三章概率密度密度的估计24一元正态分布方差的估计211222221()ln(|,)22kkxpx代入前式,得2211ˆˆ()NMLkkxN最大似然估计第三章概率密度密度的估计25多元正态分布参数最大似然估计11ˆNMLkkNμx11ˆˆˆ()()NTkkkNxμxμ最大似然估计是一致估计均值估计是无偏的，协方差矩阵估计是有偏的。协方差矩阵的无偏估计是：11ˆˆˆ()()1NTkkkNxμxμ1222*()(,,...,),()()()(),()()TniiTijnnijiijjEExEExxμxxμxμ总体均值向量和协方差矩阵最大似然估计第三章概率密度密度的估计263.3.2一元正态分布贝叶斯估计例解总体分布密度为：贝叶斯估计2(|)~(,)pxN均值μ为随机未知变量，μ的先验分布为：用贝叶斯估计方法求μ的估计量200()~(,)pN样本集：K={x1,x2,…,xN}BEˆ(|)pKd(|)()(|)(|)()pKppKpKpd计算μ的后验分布：第三章概率密度密度的估计27一元正态分布例解(II)计算μ的后验分布：贝叶斯估计12(|)()(|)()(|)((),~)NkNNkpKppKpKpxpNˆ(|)BNpKd2200222200NNNmNN2220220NN计算μ的贝叶斯估计：第三章概率密度密度的估计28一元正态分布例解总体分布密度为：2(|)~(,)pxN均值μ为随机未知变量，其先验分布为：样本集：K={x1,x2,…,xN}计算μ的后验分布：12(|)()(|)(|)()~(,)()NNNkkpKppKpxpNpK200()~(,)pN2202222000NNNmNN2220220NN贝叶斯估计第三章概率密度密度的估计293.4非参数估计非参数估计：密度函数的形式未知，也不作假设，利用训练数据直接对概率密度进行估计。又称作模型无关方法。参数估计需要事先假定一种分布函数，利用样本数据估计其参数。又称作基于模型的方法两种主要非参数估计方法：核函数方法•直方图法•Parzen窗法•kN-近邻法神经网络方法：PNN第三章概率密度密度的估计30参数PK非参数：•非参数估计的优点：•(1)在利用样本数据对总体进行估计时，不依赖于总体所属的分布总体的分布形式，尤其是当对总体的分布不是很清楚时，因而非参数模型的适用性比较广，与参数方法相比，具有较好的稳健性。•(2)由于不必假定总体分布的具体形式，所以也无需多总体分布所具有的参数进行估计和检验。如果方法选择得当，非参数估计方法与参数估计的效果相差不多，尤其当参数估计的假设不满足时，非参数估计会比参数估计方法更为有效。•非参数估计也有其缺点：•(1)如果对总体的了解足以确定它的分布类型，非参数估计就不如参数估计那样有更强的针对性。•(2)它没有充分利用样本所携带的关于总体的信息，因而有时它的效率会低一些，或者在相同的精度下，非参数估计比参数估计需要更大的样本。第三章概率密度密度的估计311、计算最大值与最小值的差（知道这组数据的变动范围）:2、决定组距与组数（将数据分组）组数：将数据分组，当数据在100个以内时，按数据多少常分5-12组。组距：指每个小组的两个端点的距离，3、决定分点，画频率分布直方图的步骤4、列出频率分布表.5、画出频率分布直方图。第三章概率密度密度的估计32抽查某地区55名12岁男生的身高（单位：cm）的测量值如下：128.1144.4150.3146.2140.6126.0125.6127.7154.4142.7141.2142.7137.6136.9132.3131.8147.7138.4136.6136.2141.6141.1133.1142.8136.8133.1144.5142.4140.8127.7150.7160.3138.8154.3147.9141.3143.8138.1139.7142.9144.7148.5138.3135.3134.5140.6138.4137.3149.5142.5139.3156.1152.2129.8133.2试从以上数据中，对该地区12岁男生的身高情况进行大致的推测。例题第三章概率密度密度的估计33解：频率分布表如下：第三章概率密度密度的估计34频率分布条形图如下：125.45130.45160.45身高频率组距第三章概率密度密度的估计35利用样本频率分布对总体分布进行相应估计（3）当样本容量无限增大，组距无限缩小，那么频率分布直方图就会无限接近于一条