第3.4节--经验贝叶斯估计

一、非参数经验贝叶斯估计二、参数经验贝叶斯估计第3.4节经验贝叶斯估计0、背景与意义贝叶斯估计存在的问题：先验分布的确定如何客观地确定先验分布？根据历史资料数据（即经验）确定该问题的先验分布，其对应的贝叶斯估计称为经验贝叶斯估计.该方法是由Robbins在1955年提出的.经验贝叶斯估计分类（共两类）非参数经验贝叶斯估计参数经验贝叶斯估计一、非参数经验贝叶斯估计X设随机变量服从泊松分布，e0120(|),(,,,;!xxpxxx）例1（p109例3.20)1、问题引入(),GX设参数的先验分布为则的边缘分布为0e012()(),(,,,!）xxGmxdGxx(),G对于先验分布在平方损失下，可求得的贝叶斯估计为00()(|)d()(|)(|)d()GxpxGxdExpxGx10011ed()!ed()!xxGxxGxx11()()()GGxmxmx如果先验分布G(x)未知，该如何计算？2、经验贝叶斯决策函数当先验分布未知时，如何利用历史资料（经验资料）定义3.1112(,,,)TnXXX任何同时依赖于历史样本1(|,,)nnnXddXXX和当前样本的决策函数称为12(,,,)TnXXX的信息得到最优贝叶斯估计？经验贝叶斯决策函数1(|,,)nnnddXXX如何计算经验贝叶斯估计11(|,,)nnnddXXX（）根据贝叶斯估计风险函数的定义可知的风险为dd112(|,,)[(,(|,,)(|)]()GnnnnRdXXLdxxxxpxxG1(|,,)nnnddXXX经验贝叶斯估计的计算方法：11,,,nnXXXX注：此结果包含了而为随机变量，因而，该风险仍包含有随机性，需要对此风险再求一次期望，即2()计算期望，可得ddd*111212()((|,,))(|,,)(,,,)GnGnnGnnGnnRdERdXXRdXXmxxxxxx使得上式达到最小的决策函数为经验贝叶斯决策函数*(),FG设为先验分布族，参数的先验分布为若*(),GF对于任何有定义渐近最优贝叶斯决策函数*lim()()GnGGnRdRdnnnddd则称为渐近最优经验贝叶斯决策函数，若为的估计，则为渐近最优经验贝叶斯估计.例2(续例p109例3.20)()G在先验分布未知时，如何计算11()()()()GGGxmxdxmx12,,()nGXXXmx由于历史样本均是从分布中抽取的独立()Gmx样本，故由这些样本可以对估计，根据泊松分布特()Gmx性可以得到的估计为1212111ˆ(,,,,){(,,,}Gnnmxxxxxxxxn中等于的个数）12ˆ(,,,,)(),GnGmxxxxmx用代替可得其经验贝叶斯估计量为1211ˆ()()(|,,,)ˆ()GnnGXmXdXXXXmX例3(p110例3.21)X设随机变量的分布密度为2212()(|)xpxe(),(,)(,).Gab的先验分布为在平方损失下，的贝叶斯估计为'()()()GGGmxdxxmx由于密度函数比较难估计，我们可以选用非参数密度ˆ()Gmx估计法（如核估计，最近邻密度估计），得到于是可以得到的经验贝叶斯估计为12'ˆ()(|,,,)ˆ()GnnGmXdXXXXXmX由这两个例子可以看到，经验贝叶斯估计一方面依赖贝叶斯估计理论，同时也依赖于非参数估计方法。定理4.1()f设为任一固定的函数，满足条件10()(),,f20()(|)()dngtf则12(|)(){:,,}(|)()dnfngtfDngtf是共轭先验分布族，其中121(|)(|)(|)(,,,)ninniqxpxgthxxx二、参数经验贝叶斯估计例4(p126例4.10)12(,,,)TnXXX设是来自总体1(,)B的一个样本，试寻求的共轭先验分布？解其似然函数为111111(|)()()nniiiiiiixnnxxxiqx11()(|),nxnnxngt11(|)()()tntngtf其中,选取，则101120121(){:,,,,,,}()dtntftntDnt显然此共轭分布族为分布的子族，因而，两点分布的共轭先验分布族为分布.常见共轭先验分布倒分布方差²正态分布（均值已知）正态分布N(,²)均值正态分布（方差已知）分布()均值的倒数指数分布分布()均值泊松分布分布(,)成功概率p二项分布共轭先验分布参数总体分布二、参数经验贝叶斯估计(,)((,())(,())(|)dRdELdXLdxqxx由第一小节内容可知，给定损失函数以后，风险函数定义为此积分仍为的函数，在给定的先验分布()时，定义()((,))(,)π()dRdERdRd为决策函数d在给定先验分布()下的贝叶斯风险，简称为d的贝叶斯风险.1、贝叶斯风险的定义2、贝叶斯风险的计算当X与都是连续性随机变量时，贝叶斯风险为()((,))(,)π()dRdERdRd(,())(|)π()ddLdxqxx(,())(|)g()ddLdxhxxxg(){(,())(|)d}dxLdxhxx当X与都是离散型随机变量时，贝叶斯风险为()((,))RdERdg(){(,())(|)}xxLdxhx注由上述计算可以看出，贝叶斯风险为计算两次期望值得到,即()(((,()))RdEELdX此风险大小只与决策函数d有关，而不再依赖参数.因此以此来衡量决策函数优良性更合理*()dX则称为参数的贝叶斯估计量1、贝叶斯点估计定义4.6若总体X的分布函数F(x,)中参数为随机变量，()为的先验分布，若决策函数类D中存在一个决策函数使得对决策函数类中的任一决策函数均有*()inf(),dDRdRddD注1、贝叶斯估计是使贝叶斯风险达到最小的决策函数.2、不同的先验分布，对应不同的贝叶斯估计2、贝叶斯点估计的计算平方损失下的贝叶斯估计定理4.2设的先验分布为()和损失函数为2(,)()Ldd则的贝叶斯估计为*()(|)(|)ddxEXxhx(|).hx其中为参数的后验分布证首先对贝叶斯风险做变换2min()min(){[()](|)d}dRdmxdxhxx2max.[()](|)dasdxhx又因为22[()](|)d[(|)(|)()](|)ddxhxExExdxhx222[(|)](|)d[(|)()](|)d[(|)][(|)()](|)dExhxExdxhxExExdxhx又因为[(|)][(|)()](|)dExExdxhx[(|)()][(|)](|)dExdxExhx(|)(|)dExhx则0[(|)()][(|)(|)]ExdxExEx因而222[()](|)d[(|)](|)d[(|)()](|)ddxhxExhxExdxhx*()(|).().dxExasRd显然，当时，达到最小定理4.3设的先验分布为()和损失函数为加权平方损失2(,)()()Ldd则的贝叶斯估计为*(()|)()(()|)ExdxEx证明略，此证明定理4.2的证明类似.定理4.4设参数为随机向量，先验分布为()和损失函数为二次损失函数(,)()()TLddQd1*(|)()(|)(|)pExdxExEx注其中Q为正定矩阵，则的贝叶斯估计为后验分布h(|x)的均值向量，即12(,,,).p其中参数向量为定理表明，正定二次损失下，的贝叶斯估计不受正定矩阵Q的选取干扰，表现出其稳健性.证在二次损失下，任一个决策函数向量d(x)=12((),(),,())Tndxdxdx的后验风险为[()()|]TEdQdx****[(()())(()())|]TEdddQdddx****()()[()()|]TTddQddEdQdx0*(|),Edx又由于因而[()()|]TEdQdx其中第二项为常数，而第一项非负，因而只需当*()ddx时，风险达到最小.定义4.7设d=d(x)为决策函数类D中任一决策函数，(|)[(,())]RdxELdx损失函数为L(,d(x)),则L(,d(x)),对后验分布h(|x)的数学期望称为后验风险，记为(,())(|)d,(,())(|)iiiLdxhxxLdxhx为连续型随机变量，，为离散型随机变量.注如果存在一个决策函数，使得*(|)inf(|),dRdxRdxdD则称此决策为后验风险准则下的最优决策函数，或称为贝叶斯（后验型）决策函数。定理4.5对给定的统计决策问题(包含先验分布给定的情形）和决策函数类D,当贝叶斯风险满足如下条件：inf(),dRddD***()()dxdx则贝叶斯决策函数与贝叶斯后验型决策函数是等价的.定理表明：如果决策函数使得贝叶斯风险最小，此决策函数也使得后验风险最小，反之，也成立.证明从略定理4.6设的先验分布为()和损失函数为(,)||,Ldd*(){(|)}dxhx后验分布的中位数证则的贝叶斯估计为设m为h(|x)的中位数，又设d=d(x)为的另一估计，为确定期间，先设dm,由绝对损失函数的定义可得2,,(,)(,)(),,,,mdmLmLdmdmddmd又由于22()()mdmddmddm当时，则,,(,)(,),,mdmLmLddmm由于m是中位数，因而1122{|},{|},PmxPmx则有(|)(|)((,)(,)|)RmxRdxELmLdx(){|}(){|}mdPmxdmPmx11022()()mddm于是，当dm时(|)(|)RmxRdx同理可证，当dm时(|)(|)RmxRdx因而*(){(|)}dxmhx后验分布的中位数定理4.7设的先验分布为()和损失函数为01(),(,)(),,kddLdkdd，0*(){(|)}dxhxk11k后验分布的上侧分位数k则的贝叶斯估计为证首先计算任一决策函数d(x)的后验风险(|)[(,())](,())(|)dRdxELdxLdxhxx10()(|)d()(|)dddkdhxxkdhxx100()()(|)d((|))dkkdhxxkExd为了得到R(d|x)的极小值，关于等式两边求导：1000(|)()(|)d()dRdxkkhxxkdd即011010(|)d(|)dddkkhxxhxxkkkk0*(){(|)}dxhxk11k后验分布的上侧分位数k则例5(p131例4.11)设总体X服从两点分布B(1,p),其中参数p未知，而p在[0,1]上服从均匀分布，样本12(,,,)nXXXX来自总体，损失函数为平方损失，试求参数p的贝叶斯估计与贝叶斯风险?解平方损失下的贝叶斯估计为：*()(|)(|)ddxEpXxphpxp而10(|)π()(|)π()