概率统计基础

1第二部分：统计推断Chp6：统计推断概述Chp7：非参数推断Chp8：BootstrapChp9：参数推断Chp10：假设检验Chp11：贝叶斯推断Chp12：统计决策理论2Chp6：统计推断统计推断/学习利用数据来推断产生数据的分布的过程统计推断的基本问题：我们观测到数据，要推断（估计或学习）F或F的某些性质（如均值和方差）。1,...,nXXF:数据产生过程观测到的数据概率统计推断3推断的基本问题推断的基本问题点估计置信区间假设检验4统计推断概述统计模型参数模型非参数模型模型估计点估计区间估计假设检验估计的评价无偏性一致性有效性…第三部分的统计学习部分更多地关心模型选择5参数模型参数模型可用有限个参数参数化，如也可记为一般形式当为向量，而我们只对其中一部分参数感兴趣，则其余参数称为冗余参量（nuisanceparameters）()()2211;,exp,,02fxxmsmmsssp禳禳镲镲镲镲=--?眄镲镲镲铪镲铪R=F()|,fxms(){};:fxqq蜵=Fq6非参数模型非参数模型粗略地说，非参数模型不能用有限个参数参数化如如{}'allCDFs=ALLF()(){}2:ffxdxⅱ=?òSOBF7例：参数推断6.1例（一维参数估计）设是独立的Bernoulli(p)观测，问题在于如何估计参数p。6.2例（二维参数估计）假设且PDF，如则有两个参数。目标是从数据中获得参数。如果仅对μ感兴趣，那么μ是感兴趣参数，而σ是冗余参量。1,...,nXXfÎF1,...,nXXF:,ms()()2211;,exp,,02fxxmsmmsssp禳禳镲镲镲镲=--?眄镲镲镲铪镲铪R=F8例：非参数推断6.3例（CDF的非参数估计）设是来自CDFF的独立观测。问题是在假设的条件下估计F。1,...,nXX{}'FallCDFs=:ALLF9例：非参数推断6.4例（非参数密度估计）设是CDFF的独立观测，令是其PDF。假设我们要估计f。在只假设的条件下，不可能估计出f。我们需要假设f的平滑性。例如，可假设，其中是满足下述条件的所有概率密度函数的集合类称为Sobolev空间；是“波动不大”的函数的集合。1,...,nXXfF¢=F:ALLFf吻DENSSOB=FFFDENSF()(){}2:ffxdxⅱ=?òSOBFSOBF10例：非参数推断6.5例（函数的非参数估计）：令，我们要估计，仅假设μ存在。均值μ可被认为是F的函数，可写成通常，任意F的函数可认为统计函数/统计泛函。方差：中值：1,...,nXXF:()()1XxdFxm==òE()()TFxdFxm==ò()()()()22TFxdFxxdFx=-蝌()()112TFF-=11例：监督学习假设有成对的观测数据，如为第i个人的血压，为其寿命X：特征/独立变量/预测子/回归子Y：输出/依赖变量/响应变量：回归函数参数回归模型：，其中为有限维如线性回归：为直线集合，非参数回归模型：，其中为无限维如核回归：()()11,,...,nnXYXYiXiY()()|rxYXx==EfÎFfÎFFF()01rxxbb=+F()()1ˆniiirxwxY==å12例：监督学习（续）预测：给定新的X的值，估计Y的值分类：当Y为离散值时的预测回归/曲线拟合/曲线估计：估计函数回归模型：rf()YfXe=+()0e=E()YfXe=-()()()()||XYfXXee轾轾==-犏臌臌EEEEE()()|YXfX轾=-臌EE()()0fXfX轾=-=臌E13统计推断方法频率推断贝叶斯推断14注意在参数模型中，若为参数模型，我们记下标θ表示概率或期望是与有关，而不是对θ求平均(){};:fxqq蜵=F()();AXAfxdxqq?òP()()()();rXrxfxdxqq=òE();fxq15点估计点估计是指对某个感兴趣的量的真值做一个最佳估计，这个估计称为或，因为它取决于数据，所以是一个随机变量。但θ为固定值，虽然未知如果X1,…,Xn是从某个分布F的IID数据点，参数θ的点估计为X1,…,Xn的函数：*ˆˆ1ˆ,...,nngXXˆn16抽样分布（SamplingDistribution）的分布称为抽样分布的标准差(standarddeviation)称为标准误差(standarderror)标准误差的估计值称为ˆnˆn()()nnseseqq==$$Vµse17估计量的评价标准一个好的估计有什么性质?无偏性估计的偏差（bias）为若，则该估计是无偏估计。一致性若，则该点估计是一致的。有效性无偏估计中，方差较小的一个更有效（收敛速度更快）()()nnbiasqqqq=-$$E()nqqq=$EPnqq揪?$对分布求期望，而不是对θ平均()()11,...,;;nniifxxfxqq==Õ18偏差—方差分解点估计的性能有时通过均方误差(MSE,meansquarederror)来评价：MSE可分解为为了使估计的MSE小，估计的偏差和方差都要小对无偏估计，bias=0，所以估计的偏差/正确性估计的变化程度/精度无偏估计的MSE不一定最小，还需考虑估计的方差()2nMSEqqq=-$E()()2nnMSEbiasqqq=+$$V()nMSEqq=$V19偏差—方差分解证明：()()2ˆˆnnMSEbiasqqq=+V令ˆnnE，则()()22ˆˆnnnnMSEqqqqqqqq=-=-+-EE()()()()22ˆˆ2nnnnnnqqqqqqqqqqq=-+-+--EEE()()()()22ˆ2nnnnnnqqqqqqqqq=-+-+--E()()2ˆˆnnbiasqqq=+V20偏差—方差分解若时，且，则是一致的，即证明：所以所以所以（qm收敛定义）n0bias®0bias®0se®0se®nq$Pnqq揪?$()()()220nnnMSEbiasqqqqqq=+==-$$$VEqmnqq揪?$Pnqq揪?$quadraticmeanprobability揪?21例：Bernoulli分布中的参数估计令为p无偏估计标准误差为所以，为一致估计估计的标准误差为()1,...,nXXBernoullip~µ1niipnX-=åµ()()1niipnXp-==åEEµnpµPnpp揪?µ()()10nsepppn==-?Vµµµ()1seppn=-µnp22置信区间参数的1-α置信区间为区间，其中和是数据的函数，使得区间(a,b)以1-α的概率覆盖θ1-α：置信区间的覆盖度(coverage)置信区间表示了我们对未知参数的不确定程度置信区间宽，表示若要对参数有个比较确定的解，需要更多样本数据(),nCab=()1,...naaXX=()1,...nbbXX=()1,forallnCqqaq纬-蜵P23渐近正态性如果满足则该估计是渐近正态的（asymptoticallynormal）。如果一个估计是渐近正态的，可以比较方便地得到其置信区间。()ˆ0,1nNseqq-»24基于正态分布的置信区间假设，令，即且其中，令则如对95%的置信区间，则95%的置信区间约为()1nCqqa萎-Pµµ()22ˆˆ,nnnCzsezseaaqq=-+20.05,1.962zaa==?µˆ2nseq±µ()2ˆ,nNseqq»()()1212zaa-=F-()22Zzaa=P()221zZzaaa-=-P()~0,1ZN25例：二项分布的置信区间令其中则根据Hoeffding不等式对每个p，所以为1-α置信区间。根据CLT，则1-α置信区间为基于正态的区间比基于Hoeffding不等式的区间小，但CLT只是近似（在大样本时）µ()2ˆ,npNpse»111ˆ,...,~(),nnniiXXBernoullippXn==å()ˆˆ,nnnnnCppee=-+()()2log22nnea=()1npCa纬-PnCµ()22ˆˆ1ˆˆnnnnpppzsepznaa-??26假设检验假设检验：从缺省理论-零假设/原假设（nullhypothesis）开始问题：数据是否提供了足够多的证据以拒绝该理论是：拒绝原假设否：接受原假设27例：检验硬币是否公正假设表示n次独立的抛硬币试验，我们想知道该硬币是否公正原假设：硬币是公正的备择假设：硬币是不公正的记为：当较大时，拒绝问题：T应为多大？（拒绝域/接受域/显著水平）一般不能轻易拒绝1,...,~()nXXBernoullip0H1H01:12vs.:12HpHp=?ˆ12nTp=-0H0H28总结统计推断的基本概念模型、模型估计、估计的评价一个好的估计：偏差小方差/标准误差小MSE小一致性鲁棒性（当样本数据有噪声时，仍能得到一个好的估计）…….重点掌握偏差、标准误差和MSE的计算29作业Chp6的1、2、3交作业时间在布置作业的2周后，作业序号请以教材章节为准第6章作业：1、111ˆ,...,~(),nniiXXPoissonpXnl==å，计算该估计的偏差、标准误差和MSE。2、()11ˆ,...,~(0,),max,...,nnXXUniformXXqq=，计算该估计的偏差、标准误差和MSE。3、1ˆ,...,~(0,),2nnXXUniformXqq=，计算该估计的偏差、标准误差和MSE。