贝叶斯估计

一、先验分布和后验分布二、共轭先验分布三、贝叶斯风险第3.2节贝叶斯估计四、贝叶斯估计一、先验分布与后验分布上一章提出用风险函数衡量决策函数的好坏，但是由于风险函数为二元函数，很难进行全面比较。贝叶斯通过引入先验分布，给出了整体比较的指标.1、先验信息在抽取样本之前，人们对所要估计的未知参数所了解的信息，通常称为先验信息.例1(p84例3.6)某学生通过物理试验来确定当地的重力加速度，测得的数据为(m/s²):9.80,9.79,9.78,6.81,6.80试求当地的重力加速度.解用样本均值估计其重力加速度应该是合理的，即8596.X由经验可知，此结果是不符合事实的。在估计之前我们知道，重力加速度应该在9.80附近，即298001(.,.)XN这个信息就是重力加速度的先验信息.在统计学中，先验信息可以更好的帮助人们解决统计决策问题.贝叶斯将此思想应用于统计决策中，形成了完整的贝叶斯统计方法.2、先验分布对未知参数的先验信息用一个分布形式()来表示，此分布()称为未知参数的先验分布.例如例1中重力加速度的先验分布为298001(.,.)XN3、后验分布在抽取样本之前，人们对未知参数有个了解，即先验分布。抽取样本之后，由于样本中包含未知参数的信息，而这些关于未知参数新的信息可以帮助人们修正抽样之前的先验信息。12(,),,(),(,,,)TnXpxXXXX设总体的分布密度为的先验分布为为总体的样本，其联合密度为121(,,,)(,),nniiqxxxpx而样本值是在知道的先验分布的前提下得到的，因而上述分布可以改写为121(|)(,,,|)(|),nniiqxqxxxpxx又由于和样本的联合分布可以表示为(,)(|)()()(|)fxqxmxhx由此可以得到(|)π()(|),(()(|)()d)()qxhxmxqxmx(|)..hx则称为的后验分布即加入新的信息以后，对原有分布进行修正由此可见，后验分布综合用运了先验分布与样本信息.例2(p86例3.7)为了提高某产品的质量，公司经理考虑增加投资来改进生产设备，预计需投资90万元，但从投资效果来看，顾问们提出两种不同的意见：1：改进生产设备后，高质量产品可占90%,2：改进生产设备后，高质量产品可占70%,经理根据以往的经验，两个顾问建议可信度分别为120406π().π().这两个概率是经理的主观判断（也就是先验概率），为了得到更准确的信息，经理决定进行小规模的试验，实验结果如下：A：试制5个产品，全是正品，由此可以得到条件分布：5512090590070168(|)(.).(|)..pApA（）由全概率公式可以得到：11220337()(|)()(|)().PAPAPA其后验概率为：1110700(|)π()(|).()PAhAPA2220300(|)π()(|).()PAhAPA显然经理对二位顾问的看法已经做了修改，为了得到更准确的信息，经理又做了一次试验，结果为B：试制10个产品，9个是正品，120703π().π().511009010387(|)(.)(.).,PB521007030121(|)(.)(.).PB11220307()(|)π()(|)π().PBPBPB1110883(|)π()(|).()PBhBPB2220117(|)π()(|).()PBhBPB由此可见后验分布更能准确描述事情真相.二、共轭先验分布*(|),XpxF设总体的分布密度为为为了使得后验分布计算简单，为此引入共轭先验分布.定义3.5***()(),(|),(|).FxhxFFpx的一个分布族，为的任意一个先验分布，若对样本的任意观测值，的后验分布则称是关于分布密度的共轭先验分布族，简称共轭分布族注共轭分布族总是针对分布中的某个参数而言的.1、共轭分布族2、后验分布核由上一小节内容可知，后验分布为(|)π()(|),(())()qxhxmxmx为样本的边缘分布可以看出，m(x)不依赖于参数,因而参数的后验分布可以写为如下等价形式：(|)(|)π()hxqx(|)π()(|)qxhx则称为后验分布的核。其中符号表示左右两边相差一个不依赖的常数因子.3、共轭先验分布族的构造方法共轭先验分布族共有两种构造方法.第一种方法首先计算似然函数q(x|),根据似然函数所含的因式情况，选取与似然函数具有相同核的分布作为先验分布.例3(p88例3.8)12(,,,)TnXXX设是来自正态总体2(,)N2的一个样本，其中已知，现寻求的共轭先验分布，由于该样本的似然函数为2222112211122()()(|)e()eππniiixnxniqx22112221()()eniinx哪一个分布具有上述核？结论是倒分布，这是因为分布的密度函数为e10,(;,)()0,0,xxxfxx，1,YXY设则的密度函数为e11()0,(;,)()0,0,yyfyyy，此分布密度为倒分布的密度函数,设²的先验分布为倒分布，即e21221()0,()()0,0,yy，则²的后验分布为222(|)(|)π()hxqx2211112221[()]()eniinx＋＋显然此分布仍为倒分布，即先验分布与后验分布都为倒分布，因而倒分布是²的共轭先验分布族.例3(p88例4.9)12(,,,)TnXXX设是来自总体(,)BN的一个样本，现寻求的共轭先验分布，由于该样本的似然函数为11(|)()iiinxxNxNiqxC11101(),,,,nniiiixnNxixN哪一个分布具有上述核？结论是分布，这是因为分布的密度函数为111010()(),,()()(;,),xxxfx其他设的先验分布为分布，即11()(1),01,()()()0,其他则的后验分布为(|)(|)π()hxqx1111101(),nniiiixnNx显然此分布是分布的核，因而分布是的共轭先验分布族.经计算可知11(|)(,)nniiiihxxnNx第二种方法设总体X的分布密度为p(x|),统计量12()(,,)nTXTXXX是参数的充分统计量，则有定理3.1()f设为任一固定的函数，满足条件10()(),,f20()(|)()dngtf则12(|)(){:,,}(|)()dnfngtfDngtf是共轭先验分布族，其中121(|)(|)(|)(,,,)ninniqxpxgthxxx例4(p89例3.10)12(,,,)TnXXX设是来自总体1(,)B的一个样本，试寻求的共轭先验分布？解其似然函数为111111(|)()()nniiiiiiixnnxxxiqx11()(|),nxnnxngt11(|)()()tntngtf其中,选取，则101120121(){:,,,,,,}()dtntftntDnt显然此共轭分布族为分布的子族，因而，两点分布的共轭先验分布族为分布.常见共轭先验分布倒分布方差²正态分布（均值已知）正态分布N(,²)均值正态分布（方差已知）分布()均值的倒数指数分布分布()均值泊松分布分布(,)成功概率p二项分布共轭先验分布参数总体分布三、贝叶斯风险(,)((,())(,())(|)dRdELdXLdxqxx由第一小节内容可知，给定损失函数以后，风险函数定义为此积分仍为的函数，在给定的先验分布()时，定义()((,))(,)π()dRdERdRd为决策函数d在给定先验分布()下的贝叶斯风险，简称为d的贝叶斯风险.1、贝叶斯风险的定义2、贝叶斯风险的计算当X与都是连续性随机变量时，贝叶斯风险为()((,))(,)π()dRdERdRd(,())(|)π()ddLdxqxx(,())(|)g()ddLdxhxxxg(){(,())(|)d}dxLdxhxx当X与都是离散型随机变量时，贝叶斯风险为()((,))RdERdg(){(,())(|)}xxLdxhx注由上述计算可以看出，贝叶斯风险为计算两次期望值得到,即()(((,()))RdEELdX此风险大小只与决策函数d有关，而不再依赖参数.因此以此来衡量决策函数优良性更合理四、贝叶斯估计*()dX则称为参数的贝叶斯估计量1、贝叶斯点估计定义3.6若总体X的分布函数F(x,)中参数为随机变量，()为的先验分布，若决策函数类D中存在一个决策函数使得对决策函数类中的任一决策函数均有*()inf(),dDRdRddD注1、贝叶斯估计是使贝叶斯风险达到最小的决策函数.2、不同的先验分布，对应不同的贝叶斯估计2、贝叶斯点估计的计算平方损失下的贝叶斯估计定理3.2设的先验分布为()和损失函数为2(,)()Ldd则的贝叶斯估计为*()(|)(|)ddxEXxhx(|).hx其中为参数的后验分布证首先对贝叶斯风险做变换2min()min(){[()](|)d}dRdmxdxhxx2min.[()](|)dasdxhx又因为22[()](|)d[(|)(|)()](|)ddxhxExExdxhx222[(|)](|)d[(|)()](|)d[(|)][(|)()](|)dExhxExdxhxExExdxhx又因为[(|)][(|)()](|)dExExdxhx[(|)()][(|)](|)dExdxExhx(|)(|)dExhx则0[(|)()][(|)(|)]ExdxExEx因而222[()](|)d[(|)](|)d[(|)()](|)ddxhxExhxExdxhx*()(|).().dxExasRd显然，当时，达到最小定理3.3设的先验分布为()和损失函数为加权平方损失2(,)()()Ldd则的贝叶斯估计为*(()|)()(()|)ExdxEx证明略，此证明定理3.2的证明类似.定理3.4设参数为随机向量，先验分布为()和损失函数为二次损失函数(,)()()TLddQd1*(|)()(|)(|)pExdxExEx注其中Q为正定矩阵，则的贝叶斯估计为后验分布h(|x)的均值向量，即12(,,,).p其中参数向量为定理表明，正定二次损失下，的贝叶斯估计不受正定矩阵Q的选取干扰，表现出其稳健性.证在二次损失下，任一个决策函数向量d(x)=12((),(),,())Tndxdxdx的后验风险为[()()|]TEdQdx****[(()())(()())|]TEdddQdddx****()()[()()|]TTddQddEdQdx0*(|),Edx又由于因而[