点估计理论第二章

第二章无偏性2.1UMVU估计在1.1节中已经指出，具有一直最小风险的估计一般都是不存在的，克服这个困难的一般方法就是把我们的考虑范围限制在那些具有某种“公平”性质的估计。作为第一个这样的限制，我们将在这一章研究无偏性（umbiasedness）。定义1.1()g的一个估计(X)称为无偏的，如果它满足下列条件[(X)](),Eg对任意的都成立（1.1）当重复使用时，无偏估计可视为在平均意义下估计了正确值。这是一个十分诱人的性质，但无偏性的考虑也导致一些问题。首先一点是，g的无偏估计可能不存在。例1.2无偏估计不存在。设X遵循二项分布b(p,n)，并假设(p)1/pg，估计的无偏估性要求满足0(k)(p),0p1nknkknpqgk对所有的成立（1.2）不难看出，满足上式的是不存在的。例如，随着0p，上式左端趋于(0)，而右端趋于，但是，1/p的令人满意的估计是存在的，它（对不是太小的n）可以以较大的概率接近1/p如果存在g的一个无偏估计，那么待估计量g称为U-可估（U-estimable）。（一些作者称这样的估计是“可估的”，但是这样会产生一个错觉，似乎任何不具有这个性质的g都不能被准确的估计。）即使在g是U-可估的情况下，也不能保证它的无偏估计是令人满意的。在某些场合下，人们或许更乐于采用具有一些偏差的估计，另一方面，大的偏倚通常是为估计的缺陷，现在有人得到了缩小估计的偏倚的方法。例1.3刀切法Quenouille(1949,1956)提出了一个缩小偏倚的方法。Tukey(1958)称之为刀切法。设T(x)是参数()的依赖于1(x,,x)nx的估计，T(x)满足条件1[T(X)]()()En,定义(i)x表示从样本中删去ix得到的向量。T(x)的刀切统计量定义为(i)11(x)nT(x)(x)nJinTTn（1.3）可以指出21T(X)()()JEn，即偏倚得到压缩。总的看来，无偏性确实是一个诱人的条件，但即使是在找到最优的无偏估计之后，我们也还应对它的性能加以研究，并且不能排除存在具有更小的风险但稍微有偏的估计的可能性。（如见5.4和5.6节，也可见习题1.4）引入无偏性的动机是希望在无偏估计类中存在一个具有一致最小风险的估计。研究这个问题的方法是，就某一个特定的值0，寻找估计使风险极小化，然后再看得到的最优估计是否与0无关。下面引入无偏估计类的一个明显的性质，该性质是非常有用的。引理1.4设0是()g的任一个无偏估计，则所有的无偏估计由0U给出，这里U是零的任一无偏估计，即统计量U满足0,EU对任意的都成立为了简单起见，假设损失函数是平方误差。于是，一个无偏估计的风险正是她得方差不失一般性，我们仅限于考虑具有有限方差的估计0U，和。若0是无偏的，则2200var()var(U)(U)[g()]E故20(U)E的极小化即可使的方差达到极小。例1.5局部最优无偏估计设X取值范围是-1,0,1，…，取值概率为2(X1)p,(Xk)q,0,1,kPPpk…，（1.4）这里0p1,q=1-p,考虑估计(a)p和(b)2q的问题，p和2q的简单的无偏估计分别是011=0X若其他和110=0X若其他容易验证U是的无偏估计当且仅当[习题1.1(b)]它满足下列条件，(k)kU(1)U，对所有的k=0,1，…都成立（1.5）或等价地U(k)=ak，对所有的k=-1,0,1…都成立，此处a为某一常数。这样，求出在0p点使方程达到极小的无偏估计的问题就归结为求出使2(Xk)[ak]iPk（1.6）达到最小的a值。这些极小值在(a)和(b)两种情况下分别是(习题1.2)*22*0000001[]a=0kkappqkp和由于*1a不依赖于0p，估计**11110ap=pX-不仅对，而且对所有的p，使方差在所有的无偏估计类中达到极小。另一方面，**000aX-依赖于0p，它的方差只在0p=p处达到极小。换句话说，只有当0pp时，*0(它依赖于0p)的方差才在p的无偏估计类中达到极小值。*0和*1的性质可用下列定义来刻画。定义1.6()g的一个无偏估计(X)称为()g的一致最小方差无偏估计(UMVU)，若它满足'var(X)var(X)对一切成立，其中'(X)是()g的任一无偏估计。()g的无偏估计'(X)称为()g的在0处的局部最小方差无偏估计(LMVU)，若它满足00'var(X)var(X)，其中'(X)是()g的任一无偏估计。利用定义1.5在例1.5中我们已经指出*1是UMVU而*0只是LMVU，由于*0依赖于0,pp的UMVU是不存在的。在定义1.5的原文中，UMVU前加了定冠词”the”，这表明UMVU估计是唯一的（习题1.12），在翻译时很难把这一点表述清楚。特此说明，Barankin(1949)和Stein(1950)研究了LMVU估计的存在性，唯一性和特征。若把20(bU)E解释为0b和U的距离，则使该距离达到极小化的*U可解释为0b向由0的无偏估计全体所形成的线性空间U上的投影。于是，由线性空间理论中的投影定理，可以得到关于LMVU估计的令人满意的结果(如见Bahadur1957和Luenberger1969)。当()g的无偏估计存在时，利用()g的无偏估计和零的无偏估计之间的关系有助于确定其UMVU估计。注意，若(X)是()g的一个无偏估计，则()g的无偏估计的通式就是(X)aU(X)，其中a为任意常数，U为任意零的无偏估计，并且还有00002var[(X)aU(X)]var(X)avarU(X)2cov(),(X)aUX若cov(U(X),(X))0对任一0成立，我们将指出必存在一个a值，使得00var[(X)aU(X)]var[(X)]。这样，与零的无偏估计的协方差是解决UMVU估计存在性的关键。在下面的定理中，我们只将关注具有有限方差的估计，否则便没有使方差极小化的问题。记满足2E对所有的成立的估计所形成的类为。定理1.7设X具有分布,,P是的一个成员，并记U为中的所有零的无偏估计之集合，那么是其自身期望()g的一个UMVU估计的充要条件是()0EU，对所有的UU和所有的成立（1.7）（注意，由于0EU，对所有的UU成立，故()cov(,)EUU，因此（1.7）等价于与每一个UU不相关。）证明(a)必要性。假设是()g的UMVU估计，固定UU和，并对任一实数，令'U，则'也是()g的无偏估计，且var[U]var[]，对所有的成立展开左端项，我们可得2varU2var(,)0U，对所有的成立由二次三项式的性质，易见上式只有当var(,)0U时才可能成立。（b）充分性。假设()0EU对所有的UU成立，为证明是UMVU估计，设'是E的任一无偏估计。若'var()，则不需证明，故假设'var()，这时'U（习题1.8），且'[()]0E因此2'()EE。由于和'具有相同的期望，故'var()cov(,)由协方差不等式（习题1.5），我们得到'var()var()。由定理1.7的证明可以看出，条件（1.7）仅对0成立时，它是满足02()E的估计在0点为LMVU估计的充要条件。这个结果也可以从前面提到的LMVU估计的特征得到。根据LMVU估计的特征，应该具有形式*0U，这里0是g的任一个无偏估计，*U是0向U的投影，若解释0()0EU为与U的正交性，则由投影*U的性质知，*0U与U正交，即0()0EU对所有的UU成立。若估计是MUVU的，则这个关系式对所有的成立例1.8续例2.3作为定理1.7的应用，我们求出例1.5中的UMVU估计的全体。考虑（1.5）和（1.7），是它的期望的UMVU估计的充要条件是()0pEX对所有的p成立（1.8）这就要求在U中，因此满足(1.5)式。这个条件等价于()(1)0,1,2,kkkk