贝叶斯参数估计

BayesianParameterEstimation（贝叶斯参数估计）09009128曹祥09009131严富函贝叶斯估计的基本原理•假设•将待估计的参数看作符合某种先验概率分布的随机变量•估计方式•通过观察样本，将先验概率密度通过贝叶斯规则转化为后验概率密度1引言概率密度估计的两种基本方法：参数估计(parametricmethods)：根据对问题的一般性的认识，假设随机变量服从某种分布，分布函数的参数通过训练数据来估计。如：ML估计，Bayesian估计。非参数估计(nonparametricmethods)：不用模型，而只利用训练数据本身对概率密度做估计。如：Parzen窗方法，kn-近邻估计。（Bayes，Thomas）(1702─1761)贝叶斯是英国数学家.1702年生于伦敦；1761年4月17日卒于坦布里奇韦尔斯.贝叶斯是一位自学成才的数学家.曾助理宗教事务，后来长期担任坦布里奇韦尔斯地方教堂的牧师.1742年，贝叶斯被选为英国皇家学会会员.如今在概率、数理统计学中以贝叶斯姓氏命名的有贝叶斯公式、贝叶斯风险、贝叶斯决策函数、贝叶斯决策规则、贝叶斯估计量、贝叶斯方法、贝叶斯统计等等.贝叶斯统计学派把任意一个未知参数都看成随机变量，应用一个概率分布去描述它的未知状况，该分布称为先验分布。后验信息统计推断贝叶斯定理先验信息样本信息3.3贝叶斯估计ML估计：根据每一类的训练样本估计每一类的类条件概率密度。Bayesian估计：同样根据每一类的训练样本估计每一类的类条件概率密度。但不再把参数看成是一个未知的确定变量，而是看成未知的随机变量。通过对第i类样本的观察，使概率密度分布转化为后验概再求贝叶斯估计。θ先验分布的选取有信息的：已知分布类型、参数等无信息的：最大熵、共轭分布、Bayes假设基于经验的：利用样本确定先验分布例：设2~(,2)XN，2~(10,3)N。若从正态总体X抽得容量为5的样本，算得12.1x，于是可算得111.93和2216()7。这时正态均值的后验分布为正态分布26(11.93,())7N共轭分布法).(),,(~)(),(.~,...,,21xpiidxxxn试确定设例).exp()()exp()()(::11a有先验密度为解])(exp[)()()(:1nxfxt则其先验密度的核为的共轭分布是即故)(),(),(~)(1Pnxaxniiniintniixxtxxxnxxfi1211,!!...!)exp()exp(!)(:其拟然函数为常用共轭先验分布总体分布参数共轭先验分布二项分布成功概率贝塔分布(,)beta泊松分布均值伽玛分布(,)Ga指数分布均值的倒数伽玛分布(,)Ga正态分布（方差已知）均值正态分布2(,)N正态分布（均值已知）方差倒伽玛分布(,)IGa它有两个优点1．计算方便2．后验分布中的一些参数可以得到很好的解释在“正态均值的共轭先验分布为正态分布”的例题中，其后验均值可改写为2201222200(1)xx其中22200/()是用方差倒数组成的权，于是后验均值1是样本均值x和先验均值的加权平均。这表明后验均值是在先验均值与样本均值间采取折衷方案。共轭先验分布的优点贝叶斯决策问题:样本x决策ai真实状态wj状态空间A是离散空间先验概率P(wj)贝叶斯参数估计问题样本集估计量真实参数θ参数空间Θ是连续空参数的先验分布P(θ)期望损失最小条件风险贝叶斯估计的思路与贝叶斯决策类似，只是离散的决策状态变成了连续的估计。贝叶斯估计离散情况下：损失函数表连续情况下：损失函数常用损失函数：——平方误差损失函数贝叶斯估计可以证明，如果采用平方误差损失函数，则θ的贝叶斯估计量是在给定x时θ的条件期望，即：也就是说，时，采用平方误差损失函数的最小风险贝叶斯估计达到期望风险的最小值！贝叶斯估计求贝叶斯估计的方法：（平方误差损失下）贝叶斯估计θμGaussian情况：仅参数未知给定样本集，已知随机变量2,xN200,N均值未知而方差已知。均值变量的先验分布ppppppppd求μ的后验概率吸收所有与μ无关的项2202210022022102022221001111expexp22221'exp2111''exp22NiippNiiNiipppxxNx22211expN,22NNNNNμ的二次函数的指数函数，所以仍然是一个正态密度20222210022111''exp2211exp22NiiNNNNpx2220222011ˆNNNNNNN11ˆNNiixN由两式指数项中对应的系数相等得：其中：22002222002220220ˆNNNNNNN求解方程组得：11ˆNNiixN其中：2N,NNp求μ的贝叶斯估计值2211ˆexp22NNNNpdd因此，μ的贝叶斯估计值：2200222200ˆˆNNNN11ˆNNiixN其中：ˆNNN当时，0ˆ0N当时，200ˆ0当时，220ˆ;NN当一般情况下：特例：（先验知识可靠，样本不起作用）（先验知识十分不确定，完全依靠样本信息）n：样本数量贝叶斯估计的误差设是的一个贝叶斯估计，在样本给定后，是一个数，在综合各种信息后，是按取值，所以评定一个贝叶斯估计的误差的最好而又简单的方式是用对的后验均方差或平方根来度量，具体定义如下：设参数的后验分布，贝叶斯估计为，则的后验期望称为后验均方差，而其平方根称为的后验标准误，其中符号表示用条件分布求期望当为的后验期望时，则(|)x(|)x()|2(|)()xMSExE12[(|)]MSEx|xE(|)x(|)EEx|2(|)()(|)xEMSExEVarx称为后验方差，其平方根12[(|)]Varx称为后验标准差。经典统计学派对贝叶斯统计的批评贝叶斯方法受到了经典统计学派中一些人的批评,批评的理由主要集中在以下三点：•(1)贝叶斯方法具有很强的主观性而研究的问题需要更客观的工具。经典统计学是“客观的”,因此符合科学的要求。而贝叶斯统计学是“主观的”，因而(至多)只对个人决策有用。•(2)应用的局限性,特别是贝叶斯方法有许多封闭型的分析解法,不能广泛地使用。•(3)先验分布的误用。对以上这些批评,贝叶斯学派的回答如下：几乎没有什么统计分析哪怕只是近似是“客观的”。因为只有在具有研究问题的全部覆盖数据时,才会得到明显的“客观性”,此时,贝叶斯分析也可得出同样的结论。但大多数统计研究都不会如此幸运,以模型作为特性的选择对结论会产生严重的影响。实际上,在许多研究问题中,模型的选择对答案所产生的影响比参数的先验选择所产生的影响要大得多。Box(1980)说：“不把纯属假设的东西看作先验…我相信,在逻辑上不可能把模型的假设与参数的先验分布区别开来。”Good(1973)说的更直截了当：“主观主义者直述他的判断,而客观主义者以假设来掩盖其判断,并以此享受着客观性的荣耀。”杰出的当代贝叶斯统计学家A.OHagan(1977)的观点是最合适的：劝说某人不加思考地利用贝叶斯方法并不符合贝叶斯统计的初衷。进行贝叶斯分析要花更多的努力。如果存在只有贝叶斯计算方法才能处理的很强的先验信息或者更复杂的数据结构。这时收获很容易超过付出,由此能热情地推荐贝叶斯方法。另一方面,如果有大量的数据和相对较弱的先验信息,而且一目了然的数据结构能导致已知合适的经典方法(即近似于弱先验信息时的贝叶斯分析)，则没有理由去过分极度地敲贝叶斯的鼓(过分强调贝叶斯方法)。贝叶斯估计的一般步骤①选择先验分布，设为)(；)(的确定方法多样，可以用主观概率、先验信息、边缘分布等来确定先验分布，亦可采用无信息先验分布。此处可采用先验信息来进行贝叶斯估计，即以前的蔬菜产品抽样的历史数据来确定先验分布。②确定似然函数)|();,,()|(121niinxpxxxLxp⑴③确定参数的后验分布样本x和参数的联合分布为：)()|(),(xpxh⑵x的边缘密度函数为：dxpdxhxm)()|(),()(⑶又有)()|(),(xmxxh⑷则参数的后验分布为：dxpxpxmxhx)()|()()|()(),()|(⑸④选择损失函数引入一个非负函数,记作),(Loss来刻画参数的真实值与估计值之间差距的严重程度，这个函数称为损失函数。⑤估计参数根据所选择的损失函数和参数的后验分布,通过求损失函数的期望值的最小值的解来作为参数的贝叶斯估计值。验前信息处理Q1:在解决同样的分布问题时用最大似然估计与贝叶斯估计在θ取值上有什么区别？区别与最大似然估计,最大似然估计求p(x|D)仅用了峰值处的θ值.而贝叶斯利用的是θ的函数的每一个可能的取值!Q2:Bayesian估计有什么特点？ML估计1.参数为未知确定变量2.没有利用参数先验信息3.估计的概率模型与假设模型一致4.可理解性好5.计算简单Bayesian估计1.参数为未知随机变量2.利用参数的先验信息3.估计的概率模型相比于假设模型会发生变化4.可理解性差5.计算复杂ML估计与贝叶斯估计有什么关系？•ML估计通常比贝叶斯估计简单•ML估计给出参数的值，而贝叶斯估计给出所有可能的参数值的分布•当可用数据很多以至于减轻了先验知识的作用时，贝叶斯估计可以退化为ML估计财务困境概率贝叶斯估计通过财务困境概率估计模型建立一套企业财务风险预测系统,具有降低企业经营风险、投资风险以及防范金融危机的重要意义。利用贝叶斯分析方法建立的概率估计模型,可以较好地解决这个问题,提高预测的针对性和准确性。贝叶斯分析方法贝叶斯分析方法在决策分析中得到了广泛的应用,其基本原理为:由于许多决策问题的先验信息不够充分,因此只能主观设定状态(记为θ)的先验分布;而先验分布又往往只能凭决策人所获得的先验信息对状态θ发生的概率做出主观估计,很难准确反映客观真实情况,因此需要收集新的信息去改进主观设定的先验分布;但是状态θ在风险情况下往往不能直接观察,则只能观察另外一个与θ有联系的随机变量(记为X)的值,这种联系愈紧密愈好。贝叶斯分析方法由于观察的结果,X还受到其他随机因素的影响,因此对于给定的θ为一随机变量,用P(X|θ)表示X在给定的θ下的条件密度函数,称为似然函数;最后,根据贝叶斯定理,即可求出状态θ由观察X所确定的后验密度π(θ|X)。π(θ|X)由于综合了先验和后验的信息,从而提高了估计的精度。假定公司的财务困境发生可能性为未知状态θ,决策者(CEO或者投资者)根据个人的经验和已知信息等先验信息对θ给出一个主观估计概率分布π(θ),再利用与θ紧密相关的预测模型在公司