3.5 贝叶斯估计

13.5贝叶斯估计§1.贝叶斯推断方法一、统计推断中可用的三种信息美籍波兰统计学家耐(E.L.Lehmann1894~1981)高度概括了在统计推断中可用的三种信息：1．总体信息，即总体分布或所属分布族给我们的信息。譬如“总体是指数分布”或“总体是正态分布”在统计推断中都发挥重要作用，只要有总体信息，就要想方设法在统计推断中使用。2．样本信息，即样本提供我们的信息，这是任一种统计推断中都需要。23．先验信息，即在抽样之前有关统计推断的一些信息。譬如，在估计某产品的不合格率时，假如工厂保存了过去抽检这种产品质量的资料，这些资料（包括历史数据）有时估计该产品的不合格率是有好处的。这些资料所提供的信息就是一种先验信息。又如某工程师根据自己多年积累的经验对正在设计的某种彩电的平均寿命所提供的估计也是一种先验信息。由于这种信息是在“试验之前”就已有的，故称为先验信息。以前所讨论的点估计只使用前两种信息，没有使用先验信息。假如能把收集到的先验信息也利用起来，那对我们进行统计推断是有好处的。只用前两种信息的统计学称为经典统计学，三种信息都用的统计学称为贝叶斯统计学。本节将简要介绍贝叶斯统计学中的点估计方法。3二、贝叶斯公式的密度函数形式贝叶斯统计学的基础是著名的贝叶斯公式，它是英国学者贝叶斯（T.R.Bayes1702~1761）在他死后二年发表的一篇论文《论归纳推理的一种方法》中提出的。经过二百年的研究与应用，贝叶斯的统计思想得到很大的发展，形成一个统计学派—贝叶斯学派。为了纪念他，英国历史最悠久的统计杂志《Biometrika》在1958年又全文刊登贝叶斯的这篇论文。初等概率论中的贝叶斯公式是用事件的概率形式给出的。可在贝叶斯统计学中应用更多的是贝叶斯公式的密度函数形式。下面结合贝叶斯统计学的基本观点来引出其密度函数形式。贝叶斯统计学的基本观点可以用下面三个观点归纳出来。4假设Ⅰ随机变量X有一个密度函数p（x；θ），其中θ是一个参数，不同的θ对应不同的密度函数，故从贝叶斯观点看，p（x；θ）在给定θ后是个条件密度函数，因此记为p（x│θ）更恰当一些。这个条件密度能提供我们的有关的θ信息就是总体信息。假设Ⅱ当给定θ后，从总体p（x│θ）中随机抽取一个样本X1，…，Xn，该样本中含有θ的有关信息。这种信息就是样本信息。假设Ⅲ我们对参数θ已经积累了很多资料，经过分析、整理和加工，可以获得一些有关θ的有用信息，这种信息就是先验信息。参数θ不是永远固定在一个值上，而是一个事先不能确定的量。5从贝叶斯观点来看，未知参数θ是一个随机变量。描述这个随机变量的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用π（θ）表示。1先验分布定义3.1将总体中的未知参数θ∈Θ看成一取值于Θ的随机变量，它有一概率分布，记为π（θ），称为参数θ的先验分布。2后验分布在贝叶斯统计学中，把以上的三种信息归纳起来的最好形式是在总体分布基础上获得的样本X1，…，Xn，和参数的联合密度函数6)(),,(),,,(11nnxxpxxp在这个联合密度函数中。当样本给定之后，未知的仅是参数θ了，我们关心的是样本给定后，θ的条件密度函数，依据密度的计算公式，容易获得这个条件密度函数nXX,,1dxxpxxpxxpxxpxxnnnnn)(),,()(),,(),,(),,,(),,(11111这就是贝叶斯公式的密度函数形式，称为θ的后验密度函数，或后验分布。而),,(1nxxdxxpxxpnn)(),,(),,(117是样本的边际分布，或称样本的无条件分布，它的积分区域就是参数θ的取值范围，随具体情况而定。nXX,,1前面的分析总结如下：人们根据先验信息对参数θ已有一个认识，这个认识就是先验分布π（θ）。通过试验，获得样本。从而对θ的先验分布进行调整，调整的方法就是使用上面的贝叶斯公式，调整的结果就是后验分布。后验分布是三种信息的综合。获得后验分布使人们对θ的认识又前进一步，可看出，获得样本的的效果是把我们对θ的认识由π（θ）调整到。所以对θ的统计推断就应建立在后验分布的基础上。),,(1nxx),,(1nxx),,(1nxx8例1设事件A的概率为，即。为了估计而作n次独立观察，其中事件A出现次数为X，则有X服从二项分布即()PA),(nb.,,1,0,)1()(nxCxXPxnxxn如果此时我们对事件A的发生没有任何了解，对的大小也没有任何信息。在这种情况下，贝叶斯建议用区间（0，1）上的均匀分布作为的先验分布。因为它在（0，1）上每一点都是机会均等的。这个建议被后人称为贝叶斯假设。others,010,1)(9此式在定义域上与二项分布有区别。再计算X的边际密度为10,,,1,0,)1(,nxCxpxnxxn样本X与参数的联合分布为nxnxnxCdxpxpxn,1,0,)2()1()1(),()(1010,)1()1()1()2()(xnxxnxnx)1,1(~xnxBeX即10贝叶斯统计学首先要想方设法先去寻求θ的先验分布。先验分布的确定大致可分以下几步：第一步，选一个适应面较广的分布族作先验分布族，使它在数学处理上方便一些，这里我们选用β分布族0,0,10,)1()()()()(11babababa11注：作为θ的先验分布族是恰当的，从以下几方面考虑：1参数θ是废品率，它仅在（0，1）上取值。因此，必需用区间（0，1）上的一个分布去拟合先验信息。β分布正是这样一个分布。0,0,)()()(),(0,0,)1(),(!)1(,0,)(101101qpbaqpqpBqpdxxxqpBnnsdxexsqpxs2β分布含有两个参数a与b，不同的a与b就对应不同的先验分布，因此这种分布的适应面较大。123样本X的分布为二项分布b（n，θ）时，假如θ的先验分布为β分布，则用贝叶斯估计算得的后验分布仍然是β分布，只是其中的参数不同。这样的先验分布（β分布）称为参数θ的共轭先验分布。选择共轭先验分布在处理数学问题上带来不少方便。4国内外不少人使用β分布获得成功。第二步，根据先验信息在先验分布族中选一个分布作为先验分布，使它与先验信息符合较好。利用θ的先验信息去确定β分布中的两个参数a与b。从文献来看，确定a与b的方法很多。例如，如果能从先验信息中较为准确地算得θ先验平均和先验方差，则可令其分别等于β分布的期望与方差最后解出a与b。1322)1()(Sbabaabbaa)1()1(22abSa如果从先验信息获得则可解得a=3，b=12这意味着θ的先验分布是参数a=3，b=12的β分布。假如我们能从先验信息中较为准确地把握θ的两个分位数，如确定θ确定的10％分位数θ0。1和50％的中位数θ0。5，那可以通过如下两个方程来确定a与b。01.0,2.02S14.5.0)(,1.0)(5.01.000dd假如的信息较为丰富，譬如对此产品经常进行抽样检查，每次都对废品率作出一个估计，把这些估计值看作的一些观察值，再经过整理，可用一个分布去拟合它。假如关于θ的信息较少，甚至没有什么有用的先验信息，那可以用区间（0，1）上的均匀分布（a=b=1情况）。用均匀分布意味着我们对的各种取值是“同等对待的”，是“机会均等的”。15贝叶斯本人认为，当你对参数θ的认识除了在有限区间（c，d）之外，其它毫无所知时，就可用区间（c，d）上的均匀分布作为θ的先验分布。这个看法被后人称之为“贝叶斯假设”。确定了先验分布后，就可计算出后验分布，过程如下：11(,)()()()(1)()()axbnxpxpXxnabxabx=0，1，…，n，0θ1于是X的边际分布为.,,1,0,)()()()()()(),()(10nxxnnbaxnbxababadxpxp16最后在给出X=x的条件下，θ的后验密度为10,)1()()()()(),()(11xxnbxanbaxpxpxxnbxa显然这个后验分布仍然是β分布，它的两个参数分别是a+x和b+n-x。我们选后验期望作为的贝叶斯估计，则θ的贝叶斯估计为nbaxadxB10)(ˆ与前面的极大似然估计是不同的。baaXEbaX)(),,(~17如果用（0，1）上的均匀作为θ的先验分布，则θ的贝叶斯估计为21ˆnxB计算如下：10.,,1,0,)1()()(),(nxCxXpxpxnxxn10,)1()1()1()2()(),()()2()1()1()1()(10xxnxnxpxpxnxnxCdCxpxnxxnxnxxn后验分布为)1,1(xnx18三、常用的一些共轭先验分布对于一些常用的指数分布族，如果仅对其中的参数θ感兴趣，下表列出了它们的共轭先验分布及后验期望。分布共轭先验分布后验分布正态分布正态分布二项分布β分布Poisson分布Γ分布Γ（a，b）),(2N2222x),(pnb),(baaxabn)(1bxa),(2N19例1设θ是一批产品的不合格率，已知它不是0.1就是0.2，且其先验分布为π（0.1）=0.7,π（0.2）=0.3假如从这批产品中随机取8个进行检查，发现有2个不合格，求θ的后验分布。解：3.07.02.01.0)1()2(6228PCXP542.07.03.09.01.08.02.011)2.0()2.02()1.0()1.02()1.0()1.02()21.0(62286228CCPXPPXPPXPXP458.0)21.0(1)22.0(XPXP458.0542.02.01.02PX20四、贝叶斯推断（估计）Ⅰ条件方法由于未知参数的后验分布是集三种信息（总体、样本和先验）于一身，它包含了所有可供利用的信息。故有关的参数估计和假设检验等统计推断都按一定方式从后验分布提取信息，其提取方法与经典统计推断相比要简单明确得多。基于后验分布的统计推断就意味着只考虑已出现的数据（样本观察值）而认为未出现的数据与推断无关，这一重要的观点被称为“条件观点”，基于这种观点提出的统计方法被称为条件方法。21例如经典统计学认为参数的无偏估计应满足：其中平均是对样本空间中所有可能出现的样本而求的，可实际中样本空间中绝大多数样本尚未出现过，而多数从未出现的样本也要参与平均是实际工作者难以理解的。故在贝叶斯推断中不用无偏性，而条件方法是容易被实际工作者理解和接受的。22Ⅱ估计1.贝叶斯估计定义3.2使后验密度达到最大的值称为最大后验估计；后验分布的中位数称为后验中位数估计；后验分布的期望值称为的后验期望值估计，这三个估计都称为贝叶斯估计，记为。)(x^MDMeˆEˆBˆ),(pnB),(Be,),(xnxBenxnxEMDˆ,21ˆ例1为估计不合格率，今从一批产品中随机抽取n件，其中不合格品数X服从，一般选取为的先验分布，设已知，由共轭先验分布可知，的后验分布为可计算得：23选用贝叶斯假设，则121ˆ,ˆnxnxEMD第一、在二项分布时，的最大后验估计就是经典统计中的极大似然估计，即的极大似然估计就是取特定的先验分布下的贝叶斯估计。第二、的后验期望值估计要比最大后验估