贝叶斯理论做统计推断

如何应用贝叶斯理论做统计推断贝叶斯方法的基本思想是,不论你作出何种推断,都只能基于后验分布,即由后验分布所决定（陈希孺,1999）.贝叶斯方法是基于贝叶斯定理而发展起来用于系统地阐述和解决统计问题的方法（Kotz和吴喜之,2000）.一个完全的贝叶斯分析（fullBayesiananalysis）包括数据分析、概率模型的构造、先验信息和效应函数的假设以及最后的决策（Lindley,2000）.贝叶斯推断的基本方法是将关于未知参数的先验信息与样本信息综合,再根据贝叶斯定理,得出后验信息,然后根据后验信息去推断未知参数（茆诗松等,1998）.袁卫（1990）从认识论的角度阐述了贝叶斯辩证推断的思想.他认为,贝叶斯公式中包含了丰富的辩证思想：（1）贝叶斯公式既考虑了主观概率,又尊重了客观信息.（2）贝叶斯公式将静态与动态结合起来,充分利用前人的知识和经验,符合认识的发展过程.（3）人类的认识过程是一个从实践到认识,再从认识到实践这样循环往复的过程.经典的统计理论仅仅反映了这一无限的认识链条中的一个环节,即“实践~认识”的过程；而贝叶斯推断则反映整个认识链条中互相联系的两个环节“认识~实践~认识”.其中第一个认识活动即先验知识,反映为先验分布；实践活动主要表现为样本观察；第二个认识活动是认识到实践再到认识的重新认识活动,是对第一次认识的补充、修改和提高.毫无疑问,历史和前人的知识对实践会起指导作用.陈希孺院士（1999）从统计推断的观点对贝叶斯理论进行了论述.他从纯科学研究的性质（不考虑损失,只关心获取有关未知参数的知识）解释了贝叶斯方法：（1）先验分布总结了研究者此前（试验之前）对未知参数可能取值的有关知识或看法.（2）在获得样本后,上述知识或看法有了调整,调整结果为后验分布.按照贝叶斯学派的观点,在获得后验分布后,统计推断的任务原则上就完成了.理由很简单,推断的目的是获取有关未知参数的知识,而后验分布反映了当前对未知参数的全部知识.至于为了特定的目的而需要对未知参数作出某种特定形式的推断,它可以由研究者根据后验分布,以他认为合适的方法去做,这些都已不是贝叶斯方法中固有的,而只是研究者个人的选择.陈希孺院士还总结了吸引应用者的贝叶斯推断思想和方法的特点：（1）“先验分布十样本~后验分布”这个模式符合人们的认识过程,即不断以新发现的资料来调整原有的知识或看法.（2）贝叶斯推断有一个固定的、不难实现的程式：方法总是落实到计算后验分布,这可能很复杂但无原则困难.在频率学派的方法中,为进行推断,往往需要知道种种统计量的抽样分布,这在理论上往往是很难解决的问题.（3）用后验分布来描述对未知参数的认识,显得比频率学派通过用统计量来描述更自然些.（4）对某些常见的问题,贝叶斯方法提供的解释比频率学派更加合理.当然,贝叶斯方法也受到了经典统计学派中一些人的批评,批评的理由主要集中在三个方面—主观性、先验分布的误用和先验依赖数据或模型.针对这些批评,贝叶斯学派的回答如下：几乎没有什么统计分析哪怕只是近似地是“客观的”.因为只有在具有研究问题的全部覆盖数据时,才会得到明显的“客观性”,此时,贝叶斯分析也可得出同样的结论.但大多数统计研究都不会如此幸运,以模型作为特性的选择对结论会产生严重的影响.实际上,在许多研究间题中,模型的选择对答案所产生的影响比参数的先验选择所产生的影响要大得多.博克斯（Box,1980）说：“不把纯属假设的东西看做先验……我相信,在逻辑上不可能把模型的假设与参数的先验分布区别开来.”古德（Good,1973）说的更直截了当：“主观主义者直述他的判断,而客观主义者以假设来掩盖其判断,并以此享受着客观性的荣耀.”防止误用先验分布的最好方法就是给人们在先验信息方面以适当的教育.另外,在贝叶斯分析的最后报告中,应将先验和数据、损失分开来报告,以便使其他人对主观的输入做合理性的评价.两个“接近的”先验可能会产生很不相同的结果.没有办法使这个问题完全消失,但通过稳健贝叶斯方法和选择“稳健先验”可以减轻（Berger1985）.当代杰出的贝叶斯统计学家奥黑根（O'Hagan,1977）指出：“劝说某人不加思考地利用贝叶斯方法并不符合贝叶斯统计的初衷.进行贝叶斯分析要花更多的努力.如果存在只有贝叶斯计算方法才能处理的很强的先验信息或者更复杂的数据结构,这时收获很容易超过付出,由此能热情地推荐贝叶斯方法.另一方面,如果有大量的数据和相对较弱的先验信息,而且一目了然的数据结构能导致已知合适的经典方法（即近似于弱先验信息时的贝叶斯分析）,则没有理由去过分极度地敲贝叶斯的鼓（过分强调贝叶斯方法）.”///////////////////////直至今日，关于统计推断的主张和想法，大体可以纳入到两个体系之内，其一叫频率学派，其特征是把需要推断的参数θ视作固定且未知的常数，而样本X是随机的，其着眼点在样本空间，有关的概率计算都是针对X的分布。另一派叫做贝叶斯学派，他们把参数θ视作随机变量，而样本X是固定的，其着眼点在参数空间，重视参数θ的分布，固定的操作模式是通过参数的先验分布结合样本信息得到参数的后验分布。两学派各有其信仰、内在逻辑、解释力和局限性，从20世纪上半页至今，两大学派的辩论从未停歇，但分歧如故。贝叶斯学派的发展在二十世纪滞后于频率学派，甚至现今主流统计学教材仍然以频率学派的理论框架为主，贝叶斯理论通常一笔带过。这或许受到KarlPearson，SirRonaldA.Fisher，EgonPearson（KarlPearson的儿子）和JerzyNeyman等二十世纪上半叶的大统计学家的影响，这些当时具有话语权的大统计学家并不认可贝叶斯理论（尽管一些人的文章里被怀疑使用了贝叶斯的思想）。注：上一段中提到的二十世纪上半页大统计学家的部分贡献（排列不分先后）：KarlPearson：拟合优度检验，Chi方检验，矩估计RonaldA.Fisher：极大似然估计，显著性检验（提到p值），方差分析，F检验，试验设计理论EgonPearson和JerzyNeyman：假设检验，两类统计学错误，备择假设，似然比检验JerzyNeyman：区间估计ReginaNuzzo的文章相比两学派近一个世纪的辩论而言，并没有提出新的批判观点。对于频率学派假设检验的理论体系，一次试验得到很小的p值，并不意味这样的结果可以重现。关于p值的可重现性在频率学派框架下的解释，见下例。场景1：假设盒子A里有近乎无穷的有限个球（就是很多很多数不清但是又不是无穷无尽的意思），每个球上有一个数字（实数）。每从中取出一个球，记录球上的数字X，则X是一个随机变量（每取一次球得到的数字是不确定的）。假设上帝观察了每一个球上的数字，总结得到，X服从均值为1.96，标准差为10的正态分布。那么从中有放回地随机抽取100个，计算这些球上数字的平均值x-bar，则x-bar也是一个随机变量（每做一次取100个球的试验得到的一个均值是不确定的），应当服从均值为1.96，标准差为1的正态分布。而可怜的试验者事先对盒子里球上数字的平均值一无所知（而为了方便起见，上帝仁慈地告诉试验者盒子里所有球上数字的标准差是10，且平均值不小于零）。试验者希望通过从盒子中有放回地随机抽取100个球，利用这100个球的信息，推断盒子里所有球上数字的均值是否等于零。他目前只能知道（onthemercyofthegod，你已经知道得比你应该知道的多了），一次试验得到的平均值x-bar应当服从一个平均值未知，标准差为1的正态分布。于是他建立的零假设（nullhypothesis）是，盒子里所有球上数字的平均值等于零。可以推断，在不考虑零假设的情况下，如果重复100次这样的试验，可以得到100不全相同的x-bar，这些x-bar应当服从一个平均值未知，标准差为1的正态分布。但可惜试验者通常只有能力和精力做一次这样的试验（就算能做好多次，也在文章发表之后再说吧）。如果零假设正确，得到的x-bar更有可能在零附近不太远的地方。如果得到的x-bar距离零远得太离谱，这样极端的情况在一次试验中恐怕不太可能发生。既然发生了，更有可能是因为零假设本身是错误的，因而拒绝零假设。取到比某个极端阈值更加极端值的概率，就是p值（Fisher的显著性检验理论，区别于EgonPearson-JerseyNeyman的假设检验/I类II类错误理论）。在本例中，如果零假设正确，（根据正态概率分布）则x-bar取到比1.96更大或比-1.96更小值的概率仅有5%。于是设定一个标准，如果一次试验得到大于1.96或小于-1.96的x-bar（p0.05），那么就很有“信心”认为零假设错误，盒子里所有球数字的平均值不太可能等于零。频率学派里的“信心”在此处理解为，在零假设正确的情况下，如果真的重复了100次这样的试验，用以上的标准做出对零假设的判断，平均意义上将出现5次错误的拒绝。换句话说，零假设本身正确而被假设检验流程拒绝的可能性是5%（通常的取值有5%，1%等等，没有什么科学依据，5%就是Fisher当年第一次在田间随便一说，后来大家认为都能接受就成习惯了）。而事实上，上帝知道盒子里所有球数字的平均值是1.96，如果真的重复了100次这样的试验，平均意义上有约50次将得到x-bar小于1.96的结果，而剩下约50次将得到x-bar大于1.96的结果。也就是说，该试验者按照这样的假设检验流程，有50%的可能性得到p0.05的结果拒绝零假设，有50%的可能性得到p0.05的结果不能拒绝本应拒绝的零假设。场景2：描述同模拟1，但上帝观察了每一个球上的数字，总结得到，X服从均值为0.0000196，标准差为10的正态分布。那么从中有放回地随机抽取100个，计算这些球上数字的平均值x-bar，则x-bar也是一个随机变量（每做一次取100个球的试验得到的一个均值是不确定的），应当服从均值为0.0000196，标准差为1的正态分布。试验者希望通过从盒子中有放回地随机抽取100个球，利用这100个球的信息，推断盒子里所有球上数字的均值是否等于零。他目前只能知道一次试验得到的平均值x-bar应当服从一个平均值未知，标准差为1的正态分布。于是他建立的零假设（nullhypothesis）是，盒子里所有球上数字的平均值等于零。可以推断，在不考虑零假设的情况下，如果重复100次这样的试验，可以得到100不全相同的x-bar，这些x-bar应当服从一个平均值未知，标准差为1的正态分布。但可惜试验者通常只有能力和精力做一次这样的试验。如果零假设正确，得到的x-bar更有可能在零附近不太远的地方。如果得到的x-bar距离零远得太离谱，这样极端的情况在一次试验中恐怕不太可能发生。既然发生了，更有可能是因为零假设本身是错误的，因而拒绝零假设。取到比某个极端阈值更加极端值的概率，就是p值。在本例中，如果零假设正确，（根据正态概率分布）则x-bar取到比1.96更大或比-1.96更小值的概率仅有5%。于是设定一个标准，如果一次试验得到大于1.96或小于-1.96的x-bar（p0.05），那么就很有“信心”认为零假设错误，盒子里所有球数字的平均值不太可能等于零。而事实上，上帝知道盒子里所有球数字的平均值是0.0000196，如果真的重复了100次这样的试验，平均意义上有将近100次将得到x-bar在-1.96和1.96之间的结果，几乎不会得到x-bar大于1.96或小于-1.96的结果。也就是说，该试验者按照这样的假设检验流程，几乎不能得到p0.05的结果以拒绝零假设。但零假设真真的是错的啊。场景3：描述同模拟1，但上帝观察了每一个球上的数字，总结得到，X服从均值为0.0000196，标准差为10的正态分布。那么从中有放回地随机抽取1000000000000000000个，计算这些球上数字的平均值x-bar，则x-bar也是一个随机变量（每做一次取100个球的试验得到的一个均值是不确定的），应当服从均值为0.0000196，标准差为0.00000001的正态分布。试验者希望