第5章统计决策与贝叶斯估计

147第五章统计决策与贝叶斯估计20世纪40年代末，瓦尔德（Wald）建立了统计决策理论。1950年发表了《统计决策函数》一书，系统地论述了他的理论。这一理论对参数估计、区间估计、假设检验等统计问题在统计决策的观点下统一处理。它通过将统计问题提成数学最优化问题的解，引进了各种优良性准则。这个理论的一些基本观点现在已经不同程度地渗透到各个统计分支，对数理统计学的发展产生了重大的影响。统计决策理论是战后数理统计学发展的重大事件。统计决策与统计推断是既有联系又有区别的。统计决策问题要考虑到决策的损失，而统计推断问题，一般是指解决一类统计问题的方法，但不考虑决策的损失问题。如在参数的点估计中，矩估计与极大似然估计是进行点估计的统计方法，属于统计推断的范围，而讨论点估计的优良性，则与统计决策有关。统计决策是统计推断研究的深化。统计决策方法可以作为产生优良统计推断的手段。贝叶斯（Bayes）估计是贝叶斯统计的主要部分，它是运用统计决策理论研究参数估计问题。第一节统计决策的基本概念5.1.1统计决策问题的三个要素统计决策问题的三个要素是：样本空间和样本分布族、决策（行动）空间、损失函数。1．样本空间和样本分布族设总体X的分布函数为(;)Fx，是未知参数，称为参数空间。若12,,,nXXX为来自总体X的样本，则样本所有可能取值组成的集合称为样本空间，记为，由于iX的分布函数为(;),1,2,...,iFxin，则12,,,nXXX的联合分布函数为121(,,,;)(;),nniiFxxxFx148若记*1(;),niiFFx，则称为样本12,,,nXXX的概率分布族，简称样本分布族。所谓给定了一个参数统计模型，实质上是指给定了样本空间和样本分布族。例5.1设总体~(,1)XN，12,,,nXXX是来自总体的样本，则样本空间是集合12(,,,):R,1,2,...,nixxxxin样本分布族为211()21:2niinxe2．决策空间对于一个统计问题，如参数的点估计、区间估计以及参数的假设检验问题，我们常常要给予适当的回答。对参数的点估计，一个具体的估计值就是一个回答。在假设检验中，它是一个决定，即是接受还是拒绝原假设。在统计决策中，每个具体的回答称为一个决策（或行动），一个统计问题中可能选取的全部决策组成的集合称为决策空间，记为。一个决策空间至少应含有两个决策，假如中只含有一个决策，那么人们就无需选择，从而也形成不了一个统计决策问题。例5.2设总体~(,1)XN，12,,,nXXX是来自总体的样本。1）未知参数的点估计常用X。这意味着：对样本空间中任一点（12,,,nxxx），可以用R中的一个元素x作为的估计值，于是此统计问题——点估计的决策空间为2）未知参数的区间估计常用2211,XuXunn。这意味着：对样本空间中任一点（12,,,nxxx），可以用区间组成的集合1491212[,]:dddd中的一个元素122211,,ddxuxunn去估计所在的范围。于是此统计问题——区间估计的决策空间为：1212[,]:dddd3）要检验假设：0010::HH，我们可以通过给出一个拒绝域12021(,,,):nWxxxxun来确定一个检验。这意味着：对样本空间中任一点（12,,,nxxx），根据（12,,,nxxx）是否属于W来决定是拒绝0H还是接受0H，记0010,dHdH接受拒绝于是此统计问题——假设检验的决策空间为：01,dd3．损失函数统计决策的一个基本观点系假设：每采取一个决策，必然有一定的的后果，所采取的决策不同，后果就不同。这种后果必须以某种方式通过损失函数的形式表示出来。这样，每一决策有优劣之分。统计决策的一个基本思想就是把决策的优劣性以数量的形式表现出来，其方法是引入一个依赖参数值和决策d的二元实值非负函数(,)Ld，称之为损失函数，它表示当参数真值为而采取决策d时所造成的损失，决策越正确，损失就越小。由于在统计问题中人们总是利用样本对总体进行推断，所以误差是不可避免的，因而总会带来损失，这就是损失函数定义为非负函数的原因。对于不同的统计问题，可以选取不同的损失函数，对于参数的点估计问题常见的损失函数有如下几种：（1）线性损失函数01()(,)()kddLdkdd其中0k和1k是两个非负常数，它们的选择常反映决策d低于参数和高于参数的150相对重要性。当101kk时就得到绝对值损失函数(,)Ldd（2）平方损失函数2(,)Ldd平方损失函数在估计理论中占有特殊重要的地位。（3）凸损失函数(,)()Ldwd其中()0是的已知函数，且有限，()0wt是0t上的单调不减函数且(0)0w。对于参数的区间估计问题，设决策空间为：1212[,]:dddd如果只考虑区间估计的精度，可以定义损失函数：12112(,),,[,]Ldddddd它表示以区间估计的长度来度量采取决策12[,]ddd所带来的损失。如果只考虑区间估计的可靠性，则可以定义损失函数：1220(,)1ddLd当其它即122(,)1IddLd这个损失函数表示当决策正确时，也即区间12[,]dd包含未知参数时无损失，反之损失为1。在区间估计问题中，应兼顾区间估计的精确性和可靠性两个方面。因而1L或2L若单独使用就显得不甚合理，较合理的损失函数是1L和2L的线性组合：1511122(,)(,)(,)LdLdLd，,d其中120,0。或者可取12(,)Lddd，,d对于参数的假设检验问题，设假设为：0011::HH其中01，记0010,dHdH拒绝接受，则常取损失函数为：001101100,(,)1,ddddLddddd当且或且当且或且此损失函数称为0-1损失函数，它表示当决策正确时，没有损失；当决策错误时，损失为1。更一般地，损失函数可取为：00110011100,(,)()()ddddLdlddldd当且或且当且当且其中01()0,()0ll为的已知函数；当01()()1ll时即为上述的0-1损失函数。通常可取00()ll且11()ll。归纳起来，我们有定义5.1.1统计决策问题的三个要素为：（1）样本空间及其样本分布族给定参数统计模型*121(;),(,,,),niniFFxxxx其中为样本空间，为参数空间；（2）决策空间对于某类统计问题，给定全体决策d组成的集合，称为决策空间；（3）损失函数对于某类统计问题，给定定义在上的二元非负函数(,)Ld，,d称为该类决策问题的损失函数。1525.1.2统计决策函数及其风险函数1．统计决策函数设给定了一统计决策问题的三要素：样本空间和样本分布族，决策空间及损失函数(,)Ld。我们的问题是对每一样本观测值12(,,,)nxxxx，即对每一x，有一个确定的法则，在中选取一个决策d。这样一个对应关系是定义在样本空间上，取值于决策空间的一个函数（即由到的一个映射）()dx。定义5.1.2定义在样本空间上，取值于决策空间内的函数()dx，称为统计决策函数，简称决策函数。易见，决策函数()dx就是一个“行动方案”。当有了样本观测值x后，按即定的方案采取行动（决策）()dx；因此，12()(,,,)nddXXXX是一个统计量。决策函数()dx就是所给定的统计决策问题的一个解。例5.3设总体2(,)XN，2已知，12,,,nXXX是来自总体的样本，12,,,nxxx为样本观测值，记11niixxn。当用x作为的点估计时，()dxx就是一个决策函数；在区间估计中，22,xuxunn就是一个决策函数；如果要对进行假设检验，记拒绝域为：1202(,,,):nWxxxxun则决策函数为：[]0()1WWdIWxxxx当当此即为检验函数。说明：这里00dH接受对应数010,dH拒绝对应数1，若直接取15301()dWddWxxx当当它是一个有到01,dd的一个映射，是广义的“函数”。2．风险函数给定一个统计决策问题，若使用决策函数()dx，则采取此决策所带来的损失为(,())Ldx。然而样本12(,,,)nXXXX是随机的，从而()dX也是随机的，因此，(,())LdX是一随机变量，它是样本X的函数，(,())LdX关于样本分布的数学期望代表了取决策函数()dx时，在概率意义下的平均损失，这就是统计决策理论在非常重要的风险函数的概念。定义5.1.3设样本空间和样本分布族分别为和(;):Fx，决策空间为，损失函数为(,)Ld（,d），则统计决策函数()dx的风险函数定义为：(,)(,())(,())(;)RdELdLddFXxx(,)Rd是的函数（），当取定值时，(,)Rd称为决策函数()dx在参数值时的风险。说明：当样本12(,,,)nXXXX的分布族为密度族(;):fx时，则(,)(,())(,())(;)RdELdLdfdXxxx风险函数(,)Rd是统计决策问题当采取决策函数d时统计意义下的平均损失。风险函数是Wald统计决策理论的基本概念。评价一个决策函数d的依据就是其风险函数。下面，我们将讨论各类统计问题在各种损失函数下的风险。（1）点估计设决策函数为ˆ()()dxx（即的点估计），则对应平方损失函数的风险函数154为：2(())EX即为估计量ˆ的均方误差；对应绝对值损失函数的风险函数为：()EX即为估计量ˆ的平均绝对误差。（2）区间估计设参数的区间估计为()(),()dxxx，则对应于损失函数1(,)()()Ldxx，d的风险函数为：()()EXX对应于损失函数20()()(,)1LdXX当其它，d的风险函数为：[(),()]1()()PPXXXX对应于损失函数1122(,)(,)(,)LdLdLd，d的风险函数为：12()()[(),()]EPXXXX（3）假设检验对于假设检验问题：0011::HH，其中01，记0010,dHdH接受拒绝，当决策函数0()1WdWxxx当当，即0()()1WdWxxxx（函数()x为以W为拒绝域的检验函数）；则对应于损失函数：155001101100,(,)1,ddddLddddd当且或且当且或且的风险函数为01()(,)1()gRdg其中函数()()gEX为检验()x的功效函数。因此，Neyman-Pearson假设检验理论（N-P理论）的基本思想，可以用统计决策的语言表达：对某，01，使风险函数(,)Rd的值在0上不超过，而使风险函数(,)Rd在1上尽可能的小。由此可见，N-P理论体现了Wald决策函数理论的一些概