Bayes贝叶斯

贝叶斯估计BayesEstimation数理统计课题组例子：•某人打靶，打了5枪，枪枪中靶，•问：此人枪法如何？•某人打靶，打了500枪，枪枪中靶，•问：此人枪法如何？•经典方法：极大似然估计：100%•但是:……几个学派（1）•经典学派：频率学派，抽样学派•带头人：Pearson、Fisher、Neyman•观点：概率就是频率•参数就是参数•联合分布密度：p(x1,x2,..xn;)几个学派（2）•Bayesian学派：•带头人：Bayes,Laplace,Jeffreys,Robbins•观点：频率不只是概率•存在主观概率，和实体概率可转化•参数作为随机变量•条件分布：p(x1,x2,..xn|)几个学派（3）•信念学派：•带头人：Fisher•观点：概率是频率•主观不是概率，而是信念度•参数不是随机变量，仅是普通变量•似然函数：L(|x1,x2,..xn)批评1：置信区间•置信区间：•解释：区间[u1,u2]覆盖u的概率•不是u位于区间的概率•缺点：u不是变量批评2：评价方法•假设检验、参数估计等都是多次重复的结果；•想知道：–一次实验发生的可能性Bayesian方法Bayesian公式•先验分布密度：q(y)•条件分布密度：p(x|y)似然度•后验分布密度：h(y|x)•后验综合先验与样本信息dyyqyxpyqyxpxyh)()|()()|()|(思路：•1、未知参数视为随机变量：•数据的不可设计性与经验的不能穷尽性？•2、取样本x1…xn，求联合分布密度•p(x1,x2,..xn;)，是参数•3、联合分布密度－条件分布密度•p(x1,x2,..xn|)，是随机变量•4、确定的先验分布()•5、利用Bayesian公式求后验分布密度•6、使用后验分布做推断（参数估计、假设检验）例1：两点分布b(1,p)的•1.联合分布：•2.先验分布：•3.后验分布：•4.后验期望估计：•xnxxnxp)1()|(1)(10)(*)1()|(rnrxnxh21)|()|(nxdxhxE2、先验分布的共轭分布选取法•后验分布和先验分布是同一个类型•优点：易于解释、继续试验•已知：，选•使得与先验分布同类型•若p(x|)服从正态分布，选正态分布•若p(x|)服从两点分布，选Beta分布•若p(x|)服从指数分布，选逆Gamma分布)()|(xp)(*)|()|(xprhBayes统计推断问题•参数估计：–点估计–区间估计估计的损失•损失函数：•风险：平均损失•一致最小风险：–对于任意产生的样本x1…xn,都是最小分析估计。•Bayesian平均风险：))...2,1(,((),(xnxxLER),(LdxdxpLddxxpLdR))()|(),(()())|(),(()(),(),(L后验风险：•Bayesian风险与后验风险•后验分析最小＝Bayesian风险最小dxdxpL))()|(),((两种常用损失函数：•平方损失：–最小Bayesian风险估计：后验期望•点损失：–最大后验密度估计2)(),(L||,1||,0),(aaaL例子：正态分布•X1…Xn服从正态分布N(，2)，2已知，•的先验分布是N(，2)•求的Bayes估计.•求得后验分布还是正态分布•求得•例：某圆形产品内径X（单位：mm）服从正态分布N(，0.4),有先验分布N(2，0.22),现在测量X=1.8,n=5•MLE=1.8•bayes=(1.8*5/0.4+2*0.2^(-2))/(5/0.4+0.2^(-2))=1.932222)()()|(nnXXE置信区间估计：•方法:是随机变量，可求其后验分布•步骤:1.积分求后验分布2.根据后验分布求置信区间duxuhxh)|,()|(分位数。后验分布的表示其中，的置信区间为：的pp)ˆ(12/12/例子：两点分布•X1…Xn服从两点分布，概率，•则服从二项分布•求的估计•设先验分布是beta(a,b)•求得后验分布：•求得E(|r)=(a+r)/(a+b+n)•2.Neyman-Pearson范式•不用贝叶斯方法•规避了先验概率的决定•对两个假设区别对待，一个成为原假设H0(nullhypotheses)，另一个成为备择假设H1(alternativehypotheses)•由此导致在有些场合下选择原假设的困难•Neyman-Pearson引理(lemma)•方差已知的正态置信区间和假设检验的对偶关系：引理置信区间和假设检验的对偶关系：引理B•广义似然比检验：方差未知正态总体的均值检验多项分布的广义似然比检验Pearson卡方统计量和似然比Handy-Weinberg均衡•在参数估计的例子中引入了Handy-Weinberg均衡BacterialClump泊松散布度检验(dispersiontest)泊松散布度检验(dispersiontest)泊松散布度检验：数方法：Mann-Whitney检验00.10.20.30.40.50.60.70.80.9100.511.522.533.5a=2,b=2a=0.5,b=0.5a=2,b=5a=5,b=2