先验分布的确定

11第三章先验分布的确定2第三章先验分布的确定§3.1主观概率§3.2利用先验信息确定先验分布§3.3利用边缘分布m(x)确定先验密度§3.4无信息先验分布§3.5多层先验3一、主观概率1.贝叶斯学派要研究的问题：如何用人们的经验和过去的历史资料确定概率和先验分布。2.经典统计确定概率的两种方法：（1）古典方法；（2）频率方法。3.主观概率的定义：一个事件的概率是人们根据经验对该事件发生可能性所给出的个人信念。§3.1主观概率4二、确定主观概率的方法1.利用对立事件的比较确定主观概率(例3.1)；2.利用专家意见确定主观概率(例3.2)；3.向多位专家咨询确定主观概率(例3.3)；4.充分利用历史资料，考虑现有信息加以修正,才能得到比较切合实际的主观概率(例3.4)。51.利用对立事件的比较确定主观概率62.利用专家意见确定主观概率73.向多位专家咨询确定主观概率8在座人员根据自己的经验各写了两个数，经理在计算了两个平均值后，稍加修改，提出自己看法：在上述两种情况下，本公司新产品畅销率各为0.9和0.4，这是经理在征求多位专家意见后所获得的主观概率。另据本公司情报部门报告，外厂正忙于另一项产品开发，很可能无暇顾及生产此新产品。经理据此认为，外厂将生产此新产品的概率为0.3，不生产此产品的概率为0.7.利用上述四个主观概率，由全概率公式可得本公司生产此新产品获畅销的概率为0.9*0.7+0.4*0.3=0.7594.充分利用历史资料，考虑现有信息加以修正10注意事项：（1）不管按照什么方法确定的主观概率必须满足概率的三条公理：①非负性公理：对任意事件A，0≤P(A)≤1。②正则性公理：必然事件的概率为1③可列可加性公理：对可列个互不相容的事件A1，A2，…，有（2）如果发现所确定的主观概率与上述三个公理及其推出的性质相悖，必须立即修正。直到两者一致为止。（例3.5）11)()(iiiiAPAP1112§3.2利用先验信息确定先验分布一、直方图法二、选定先验密度函数形式再估计其超参数三、定分度法与变分度法13一、直方图法基本步骤：1.把参数空间分成一些小区间；2.在每个小区间上决定主观概率或依据历史数据确定其频率；3.绘制频率直方图；4.在直方图上作一条光滑曲线，此曲线即为先验分布()。例3.6某药材店记录了吉林人参的每周销售量,现要寻求每周平均销售量θ的概率分布。14二、选定先验密度函数形式再估计其超参数该方法的要点：（1）根据先验信息选定θ的先验密度函数π(θ)的形式，如选其共轭先验分布。（2）当先验分布中含有未知参数（称为超参数）时，譬如π(θ)=π(θ；α,β)，给出超参数α,β的估计值，使π(θ；，)最接近先验信息。ˆˆˆˆ151617说明：如果有两个甚至多个先验分布都满足给定的先验信息，则要看情况选择：假如这两个先验分布差异不大，对后验分布影响也不大，则可任选一个；如果我们面临着两个差异极大的先验分布可供选择时，一定要根据实际情况慎重选择。18三、定分度法与变分度法基本概念:(1)定分度法:把参数可能取值的区间逐次分为长度相等的小区间,每次在每个小区间上请专家给出主观概率.(2)变分度法:该法是把参数可能取值的区间逐次分为机会相等的两个小区间,这里的分点由专家确定.例3.2.3(自学)19§3.3利用边缘分布m(x)确定先验密度一、边缘分布m(x)二、混合分布三、先验选择的ML-II方法四、先验选择的矩方法20一、边缘分布m(x)设总体X的密度函数为p(x|θ),它含有未知参数θ，若θ的先验分布选用形式已知的密度函数π(θ),则可算得X的边缘分布（即无条件分布）：为离散时当，为连续时当)()|(,)()|()(xpdxpxm当先验分布含有未知参数，譬如π(θ)=π(θ|λ)，那么边缘分布m(x)依赖于λ，可记为m(x|λ)，这种边缘分布在寻求后验分布时常遇到。212223二、混合分布(1)混合分布的概念：设随机变量X以概率π在总体F1中取值，以概率1-π在总体F2中取值。若F(x|θ1)和F(x|θ2)分别是这两个总体的分布函数，则X的分布函数为：F(x)=πF(x|θ1)+(1-π)F(x|θ2)或用密度函数（或概率密度）表示：p(x)=πp(x|θ1)+(1-π)p(x|θ2)这个分布F(x)称为F(x|θ1)和F(x|θ2)的混合分布。这里的π和1-π可以看作一个新随机变量θ的分布，即：P(θ=θ1)=π=π(θ1)，P(θ=θ2)=1-π=π(θ2)24(2)混合样本的概念：从混合分布中抽出的样本称为混合样本。注：①从混合分布F(x)中抽取一个样品x1，相当于如下的二次抽样：第一次:从π(θ)中抽取一个样品θ。第二次：若θ=θ1，则从F(x|θ1)中再抽一个样品，这个样品就是x1；若θ=θ2，则从F(x|θ2)中再抽一个样品，这个样品就是x125②若从混合分布抽取一个容量为n的样本x1,x2,…,xn,则约有nπ(θ1)个来自F(x|θ1)，约有nπ(θ2)个来自F(x|θ2)。(3)实例分析:2627三、先验选择的ML-Ⅱ方法定义：设为所考虑的先验类，且x=(x1,x2,…,xn)是来自边缘分布中的样本，若存在满足（对观测数据x）：则被称为Ⅱ型极大似然先验，或简称为ML-Ⅱ先验。说明：这里将m(x)看成似然函数},)|({)ˆ(ˆniixmm1)|(sup)ˆ|(xˆ282930四、先验选择的矩方法在选择π∈Г时，可用矩方法代替极大似然方法。矩方法应用于当Г有“已知函数形式”。即可利用先验矩与边缘分布矩之间的关系寻求超参数的估计。这种方法称为先验选择的矩方法。该方法的具体步骤是：1.计算总体分布p(x|θ)的期望μ(θ)和方差σ2(θ)，即μ(θ)=Ex|θ(X)，σ2(θ)=Ex|θ[X-μ(θ)]2Ex|θ表示用θ给定下的条件分布p(x|θ)求期望。312.计算边缘密度m(x|λ)的期望μm(λ)和方差，其中:)]([)|()()|()|()|()|()|()()(||EdddxxxpdxdxpxdxxxmXExxxxm)(2m32其中：dxEddxxpxdxdxpxXEmxxmxmmxm)|())(()|()|())(()|()|())(()]([)(2|222|2222|2|2|2|))()(()())()(())(())()()(())((mmxxmxmxExExExE2|2|2)]()([)]([)(mmEE代入上式得：33),(21),,,(21nxxxx221111ˆˆ,()nnmimiiixxxxnn2|2|2|)]()([)]([)(ˆ)]([ˆmmmEEE),(21)ˆ,ˆ(ˆ21)ˆ|(3.特殊情形:当先验分布中仅含二个超参数时，即,可用混合样本计算其样本均值和样本方差，即：再用样本矩代替边际分布的矩，列出如下方程解此方程组，可得超参数的估计从而获得先验分布34的矩估计。，，试求超参数和方差现有混合样本的均值，其密度函数的先验分布取伽玛分布参数，，其密度函数为设总体例21ˆˆ0,)(),|(),(0,)|()Exp(~X3.13mmxeGaxexp解：35363738例3.14设总体X~N(θ，1)，其中参数θ的先验分布取共轭先验。试估计两个参数的值。),(2N解：39§3.4无信息先验分布一、贝叶斯假设二、位置—尺度参数族的无信息先验三、用Fisher信息阵确定无信息先验40一、贝叶斯假设1.贝叶斯假设的基本含义无信息先验分布应选取在θ(同等无知，无偏爱）取值范围内的均匀分布，即：这种看法被称为贝叶斯假设。说明：贝叶斯假设在很多情况下都是合理的。,0,)(c412.应用贝叶斯假设时所出现的问题(1)当θ的取值范围为无限区间时，就无法在Θ上定义一个正常的均匀分布。定义3.1设总体X~f(x|θ)，θ∈Θ。若θ的先验分布π(θ)满足下列条件：①π(θ)≥0，且②由此决定的后验密度π(θ|x)是正常的密度函数，则称π(θ)为θ的广义先验密度。(2)贝叶斯假设不满足变换下的不变性。d)(42二、位置-尺度参数族的无信息先验定义：设密度函数中有两个参数μ与σ，且密度具有下述形式：其中f(x)是一个完全确定的函数，它相应于μ=0，σ=1时的密度，μ称为位置参数，σ称为尺度参数，这类分布族称为位置-尺度参数族。如正态分布、指数分布、均匀分布等都属于这一类。特别σ=1时称为位置参数族，而μ=0时称为尺度参数族。),0(,),(,1),(xfxp；43(一)位置参数的无信息先验定理：位置参数族的先验分布可用贝叶斯假设作为无信息先验分布。证明：设总体X的密度具有形式p(x-θ)，其样本空间与参数空间均为实数集。对X作一个平移Y=X+c，则Y的密度具有形式：p(y-c-θ)，这相当于对参数θ作一个平移η=θ+c，即Y的密度形式为p(y-η)，它仍然是位置参数族的成员，且其样本空间与参数空间没有发生改变。因此θ与η应具有相同的无信息先验分布。即π(τ)=π*(τ)其中π*(τ)为η的无信息先验分布。同时，由变换η=θ+c可算得η的无信息先验分布为比较上述两式就可知道θ的无信息先验分布是常数。)()()(*ccdd4445例3.18设x是从正态总体N(θ,σ2)抽取的容量为1的样本，其中σ2已知，θ未知，但知其为正，试求参数θ的估计。解：这是一种带约束条件的估计问题，用贝叶斯方法解决这类问题比较容易。取参数θ的无信息先验分布为（0，∞）上的均匀分布，即：π（θ）=I（0，∞）（θ）由此可得后验密度：若取后验均值作为θ的估计，则:022),0(222/)(exp)(2/)(exp)|(dxIxx46)/(12/exp)2()(2/)(exp2/)(exp)|()|(ˆ222/12/2//)(022022022xxxdedexdxdxdxxExxxE47(二)尺度参数的无信息先验定理设总体X的密度函数具有形式：则参数σ的无信息先验分布为：π(θ)=1/σ，σ0证明：令Y=cX(c0),同时让参数也作同比例变化，即定义η=cσ，不难算出Y的密度函数为仍然属于尺度参数族。且X与Y的样本空间相同，此时σ的无信息先验π(σ)与η的无信息先验π*(η)应相同，即：π(τ)=π*(τ)另一方面，由变换η=cσ可以得的无信息先验为：),0(,1)(xpxp；yp148若令π(1)=1，则π(σ)=1/σ，σ0它还是一个非正常先验。cc1)(*11)(1)(ccccc取比较上述两式得：4950三、使用杰弗莱原则确定先验分布贝叶斯假设中的一个矛盾是：如果对参数选用均匀分布，那么当的函数作为参数时，也应该选用均匀分布作为先验分布。然而由服从均匀分布这一前提，往往导出不是均匀分布，反之也一样。杰弗莱为了克服这一矛盾提出了选取先验的不变原理。并被称为杰弗莱原则或杰弗莱准则。()g()g511.确定无信息先验的更一般方法(Jeffreys(1961)):设x=(x1,x2