贝叶斯讲义贝叶斯决策

11贝叶斯统计经济学院统计系陈耀辉:CH5Madebycyh陈耀辉:CH5Madebycyh2第五章贝叶斯决策第一节贝叶斯决策问题第二节后验风险决策第三节常用损失函数下的贝叶斯估计第四节抽样信息期望值第五节最佳样本量的确定第六节二行动线性决策问题的EVPI3第一节贝叶斯决策问题一、决策问题分类(1)仅使用先验信息的决策问题称为无数据(或无样本信息)的决策问题;(2)仅使用抽样信息的决策问题称为统计决策问题;(3)先验信息和抽样信息都使用的决策问题称为贝叶斯决策问题.4二、贝叶斯决策问题先验信息和抽样信息都用的决策问题称为贝叶斯决策问题。若以下条件已知，则我们认为一个贝叶斯决策问题给定了。),(~)1(xpX)(~)2(}{)3(a(4)定义在上的二元函数称为损失函数A),(aL5三、贝叶斯决策的优缺点1.优点主要表现在:(1)贝叶斯决策充分利用各种信息,使决策结果更加科学化;(2)能对调查结果的可能性加以数量化的评价;(3)贝叶斯决策巧妙地将调查结果和先验知识有机地结合起来;(4)贝叶斯决策过程可以不断地使用,使决策结果逐步完善.2.缺点:(1)贝叶斯决策所需要的数据多，分析计算也比较复杂,如果解决的问题比较复杂时,这个矛盾就更加突出;(2)在决策的过程中，有些数据必须要使用主观概率,有些人不是很相信,这也妨碍了贝叶斯决策方法的推广和使用.O6第二节后验风险决策1.后验风险函数),(aL我们把损失函数对后验分布的期望称为后验风险,记,即)(x)(xaRdxaLxaLaLExaRiiix)(),()(),()],([)(后验风险就是用后验分布计算的平均损失.1172.决策函数定义5.1在给定的贝叶斯决策问题中,从样本空间到行动集A上的一个映照称为该决策问题的一个决策函数,表示所有从样本空间χ到A上的决策函数组成的类,称为决策函数类.)},,,({21nxxxx)(x)}({xD在贝叶斯决策中我们面临的是决策函数类D,要在D中选择决策函数,使其风险最小.例题分析)(x83.后验风险准则定义在给定的贝叶斯决策问题中是其决策函数类,则称为决策函数的后验风险.假如在决策函数类中存在这样的决策函数,它在D中有最小的风险,即)}({xD,))],(,([)(xxLExRx)(x)(min)(xRxRD则称为后验风险准则下的最优决策函数,或称贝叶斯决策,或贝叶斯解,或贝叶斯估计。注:(1)定义中的条件:给定的贝叶斯决策问题(2)定义中的先验分布允许是广义的.)(x)(x9例1设是来自正态分布N(θ,1)的一个样本。又设参数θ的先验分布为共轭先验分布N(0,τ2),其中τ2已知.而损失函数为0-1损失函数试求参数θ的贝叶斯估计。解:分三步求解:(1)求参数θ的后验分布(2)对于任意一个决策函数计算后验风险函数:(3)求出使得上述风险函数达到最小时的决策函数:),,(1nxxx||,1||,0),(L122)(,)|(nnxNxi)|(|1)|(|)|()|(),()|(||||xxPPdxdxLxR)(x)()(2nxxi10例2在市场占有率θ的估计问题中，已知损失函数为：药厂厂长对市场占有率θ无任何先验信息，另外在市场调查中，在n个购买止痛剂的顾客中有x人买了新药，试在后验风险准则下对θ作出贝叶斯估计。解:(1)求参数θ的后验分布:结果为Be(x+1,n-x+1)(2),计算风险函数(3)求最优行动使上述风险函数达到最小.令:则得:(4)数值计算:1,0),(2),(L)(x)|()|()(3)|()()|()(2)|(),()|(01010xEdxdxdxdxLxR01)|(3)|(0dxdxdR31)|(0dx11例3如何判断一个样本是来自密度函数为p0(x)的总体还是来自密度函数为p1(x)的总体。解:两个假设:问题:接受H0还是H1?(1)把假设检验问题转化为贝叶斯决策问题:①参数空间Θ={0,1}②行动空间A={0,1}③先验分布:P(θ=0)=π0,P(θ=1)=π1④损失函数:决策正确无损失,决策错误的损失为1.则(2)求后验分布:(3)计算每个行动下的后验风险:R(a=0|x)=P(θ=1|x)R(a=1|x)=P(θ=0|x)(4)找出最佳行动,即确定拒绝域.)(:),(:1100xpxHxpxH来自来自0110L1,)()()(0,)()()()|(110011110000ixpxpxpixpxpxpxiP10011001*)()(,1)()(,0)(xpxpxpxpx121.平方损失函数下的贝叶斯估计定理5.1在平方损失函数下,的贝叶斯估计为后验均值,即2)(),(L)()(xExB[Pr]在平方损失函数下,任何一个决策函数的后验风险为)(x)(0)(22])[()()(2])[(2222xExEdxdExExExE得：令第三节常用损失函数下的贝叶斯估计13定理5.2在加权平方损失函数下,θ的贝叶斯估计为:其中λ(θ)为参数空间Θ上的正值函数.定理5.3在参数向量的场合下,对多元二次损失函数,Q为正定阵,θ的贝叶斯估计为后验均值向量:2))((),(L]|)([]|)([)(xExExB),,(1k)()(),(QL)|()|()|()(1xExExExkB14例4设是来自泊松分布的一个样本.若θ的先验分布用其共轭先验分布G(α,λ),即其中参数α与λ已知.求平方损失函数下θ的贝叶斯估计.解:解题过程分为以下三步:(1)根据题意求出θ的后验分布(2)写出后验均值(3)结论:由定理5.1知θ的贝叶斯估计为:),,(1nxxxexxXPx!)(0,)()(1e),(nxnGanxnE)|(xnxnnnxnB)(x15例5设是来自均匀分布U(0,θ)的一个样本.又设θ的先验分布为Pareto分布.在损失函数分别为绝对值损失函数和平方损失函数下求θ的贝叶斯估计.解题步骤:第一步:求θ的后验分布:第二步:在绝对值损失函数下θ的贝叶斯估计:恰为后验分布的中位数.第三步:平方损失函数下θ的贝叶斯估计:Pareto分布的分布函数:密度函数为:期望:方差:中位数:μ),,(1nxxx,)(1p,1)(F1,)1()(E2,)2()1()(22Var111,)()|(nnnx1)(ˆ11nnB16例6贝叶斯决策在可靠性统计中的应用问题的描述:假设某产品的寿命T服从指数分布,其分布函数为:把指定时间t0后该产品才失效的概率称为产品在t0时刻的可靠度。在平方损失函数下怎样估计可靠度R(t0)？0,1)(tetFt0)()(00tetTPtR172.线性损失函数下的贝叶斯估计证明:(1)证明的思路:设m为π(θ|x)的中位数,要证明定理成立,即要证:,都有即当mθδ时,2θ-(m+δ)2δ-(m+δ)=δ-m,故D)|()|(xRxmR0)],(),([|LmLEx定理5.4在绝对值损失函数L(θ,δ)=|θ-δ|下,θ的贝叶斯估计δB(x)为后验分布π(θ|x)的中位数.(2)证明的过程:先证δm的情形,此时:mmmmmmLmL,),(2,),(),(mmmmLmL,,),(),(02/)(2/)()|()()|()()],(),([|mmxmPmxmPmLmLEx因此(3)同理可证δm的情形。18定理5.5在线性损失函数:下,θ的贝叶斯估计δn(x)为后验分布π(θ|x)的分位数.证明:(1)计算任一决策函数δ=δ(x)的后验风险:),(),(),(10kkL)(100kkk(3)结论:θ的贝叶斯估计是后验分布的分位数.例9(p191例题5.13)自学))|(()|()()()|()()|()()|(),()|(00101xEkdxkkdxkdxkdxLxR(2)求R(δ|x)的驻点:令100010)|(0)|()()|(kkkdxkdxkkdxdR)(100kkk193.有限个行动问题的假设检验(1)一般问题:设A={a1,a2,…,ar},在ai下的损失为L(θ,ai),如何从这些行动当中选择一个最优行动?(使后验期望损失达到最小的行动)(2)特例:r=2的情形,即二个行动的假设检验问题(3)特例:r=3的情形(三个行动的假设检验问题)(儿童智商检验的实例P193)),(|iaLEx20二个行动的假设检验问题1.问题的描述:有两个假设:两个行动:a0:表示接受H0的行动,a1:表示接受H1的行动.决策方法:如果,则认为a0为最优行动;如果,则认为a1为最优行动.2.损失函数的确定:确定原则:决策正确无损失,决策错误损失ki个单位.则得到损失矩阵:1100:,:HH0110011000kkaaL213.计算每个行动的后验期望损失：假设后验分布已经求出,则4.按照后验风险准则,确定最优行动:如果,即:则应选择a1,拒绝a0.如果,即:则应选择a0,拒绝a1.5.确定拒绝域:若,则则由上一步可算得:即拒绝域)|()|(),()|(1000|01xPkdxkaLExaRx)|()|(),()|(0111|10xPkdxkaLExaRx)|()|(10xaRxaR)|()|(0110xPkxPk)|()|(10xaRxaR)|()|(0110xPkxPk10)|(1)|(10xPxP1011)|(kkkxP})|(:{1011kkkxPxW22第四节抽样信息期望值一、基本概念1.完全信息：对需要作决策的问题，假如决策者所获得的信息足以肯定那一个状态即将发生，则该信息就称为(该状态的)完全信息。2.完全信息期望值(EVPI)：设某决策问题有n种状态θ1,θ2,…,θn,且各种状态的先验概率π(θi)已知,又有m种行动a1,a2,…,am。设Qij为出现θi采取行动aj的收益，a′为使取得最大时的行动，则称为完全信息期望值，记为EVPI。)],([jiaQE)]},([{max)}],({max[jiajiaaQEaQEjj233.先验EVPI：在一个决策问题中π(θ)是状态集Θ={θ}上的先验分布。a′是先验期望准则下的最优行动，则在a′下的损失函数L(θ,a′)的先验期望称为完全信息先验期望值，记为先验EVPI。4.两者的关系:),(aLE5.例题:对给定的Q或L怎样计算EVPI和先验EVPI？如：)],([)()()max()()()max(11