三大检验

三大检验一、最大似然估计（ML）二、似然比检验（LR）三、Wald检验四、拉格朗日乘子检验（LM）•前面介绍的F检验适用于检验模型的线性约束。如果模型是非线性的、或者约束是非线性的、或者扰动项分布是非正态的，在这些情况下，F检验不再适用，通常需要采用LR、Wald、LM其中之一来检验约束条件是否成立。这三个检验方法是渐进等价的，他们所用统计量的小样本分布是未知的，但都渐进服从自由度为约束个数的卡方分布。•似然比检验（LikelihoodRatioTest,LR）、沃尔德检验（WaldTest,W）、拉格朗日乘数检验（LagrangeMultiplier,LM）是三种基于极大似然法的大样本检验方法。2020/6/192中级计量经济学•一、最大似然估计（ML）•（一）极大似然原理•假设对于给定样本，其联合概率分布存在，。将该联合概率密度函数视为未知参数的函数，则称为似然函数（LikelihoodFunction）,即观测到所给样本的可能性.•极大似然原理就是寻找未知参数的估计，使得似然函数达到最大，或者说寻找使得样本出现的概率最大的。,YX,;fYX,;fYXˆ,YXˆ2020/6/193中级计量经济学•（三）线性回归模型最大似然估计•1、估计结果•对数似然函数：•对未知参数求导：YXu2~(0,)nuNI2222()()(,;,)(2)exp{}2nYXYXLYX22()()2222nnYXYXlLnLLnLn22241ˆ(22)0ˆˆ21ˆˆ()()0ˆˆˆ22lXYXXlnYXYX2020/6/194中级计量经济学•得到，•与OLS对比12ˆ()1ˆMLMLXXXYeen()1()22将估计量代入对数似然函数，得到最大对数似然估计值nnlLnLLnLnee2020/6/195中级计量经济学•3、最大似然估计量（MLE）的性质：•（1）一致性：是的一致估计量，即•（2）渐进有效性：是渐进有效的且达到所有一致估计量的Cramer-Rao下界，即是所有一致渐进正态估计量中方差最小的•（3）渐进正态性ˆˆlim)1,nP为任意给定的正数。ˆML2020/6/196中级计量经济学二、似然比检验（LR）•1、似然比•命题：•检验思想：如果约束是无效的，有约束的最大似然函数值当然不会超过无约束的最大似然函数值，但如果约束条件“有效”，有约束的最大值应当“接近”无约束的最大值，这正是似然比检验的基本思路。•似然比：•无约束模型似然函数值：•有约束模型似然函数值：2020/6/197中级计量经济学22(,)ˆˆ(,)LL2ˆˆ(,)L2(,)L0:HgC•显然。如果原假设是真，则趋近于1；如果太小，则约束无效，拒绝原假设。•可以证明，对大样本来说，检验统计量为，•拒绝域，•似然比检验另一种表达，01222ˆˆ2ln2ln(,)ln(,)~()LRLLq21()LRq'2**'**2ln(lnln)~()eeeeLRneeeeq有约束模型残差平方和；无约束模型残差平方和；2020/6/198中级计量经济学•三、Wald检验•如果约束条件为真，则不应该显著异于零，其中是无约束极大似然估计值。当显著异于零时，约束条件无效，拒绝原假设。•检验统计量，•Wald只需要估计无约束模型，但需要计算渐进协方差矩阵。2020/6/19中级计量经济学90:HgC0MLEgCMLEMLEgC1a2ˆˆˆ()()()~()WgCVargCgCq•在线性约束条件下，Wald检验•拒绝域，•Wald统计量另一种表达形式，a1212ˆˆˆ()()()~()WRrRXXRRrq2()Wq'2**'**()~()eeeeneeeeWqee有约束模型残差平方和；无约束模型残差平方和；2020/6/1910中级计量经济学0:HRr四、拉格朗日乘子检验（LM）•基本思想：拉格朗日乘子检验（LM），又称为Score检验。该检验基于约束模型，无需估计无约束模型。•假设约束条件为，在约束条件下最大化对数似然函数，另表示拉格朗日乘子向量，此时，拉格朗日函数为，•约束条件下最大化问题就是求解下式根，2020/6/19中级计量经济学110:HgC()()()LnLLnLgC()()0()()0gLnLLnLgLnLgCg()其中，是矩阵g=的转置•如果约束成立，对数似然函数值不会有显著变化。这就意味着在一阶条件下，第二项应该很小，特别是应该很小。因此，约束条件是否成立检验转化成检验，这就是拉格朗日乘子检验的思想。•但是直接检验比较困难，有一个等价而简单的方法。如果约束条件成立，在约束估计值处计算对数似然函数的导数应该近似为零，如果该值显著异于零，则约束条件不成立，拒绝原假设。•对数似然函数的导数就是得分向量，因此，LM检验就是检验约束条件下参数估计值的得分向量值是否显著异于零，因而，LM检验又称为得分检验。2020/6/19中级计量经济学120=0H：0=0H：•在最大似然估计过程中，通过解似然方程，可以求出无约束估计量；如果计算有约束估计量在此处得分，则一般不为零，但是如果约束有效，则趋近于零。•在原假设成立条件下，ˆ()0Sˆ()S()Sa12()()()~()LMSISq2020/6/1913中级计量经济学•对于线性约束•将有关量代入上式得，•拒绝域，''122**'**'**2*()'LM==~()eeReXneXXXXenRqee有约束模型残差平方和；是对回归的拟合优度；22()LMnRq2020/6/1914中级计量经济学•LM统计量另一种表达形式，•LR、Wald、LM关系(一般情况下成立)：'2**'**'**()~()eeeeneeeeWqee有约束模型残差平方和；无约束模型残差平方和；WaldLRLM2020/6/1915中级计量经济学