计量中三大检验(wald-lr-lm)的区别

Wald统计量我们先对无约束模型得到参数的估计值，再代入约束条件检查约束条件是否成立；LR统计量则是分别计算在约束和无约束条件下的参数估计值，然后计算二者的对数似然函数是否足够接近；LM统计量则考察约束条件的拉格朗日乘子是否为零，因为假设约束条件成立，那么这个约束条件应该对我们的估计没有影响，那么拉格朗日乘子应该为0。这是三个检验的基本思想。至于为什么渐进等价，则要一些推导。基本上三者的大小差距为O（1/n).似然比检验、wald检验、拉格朗日乘数检验都基于MLE，就大样本而言三者是渐进等价的。1、似然比检验的思想是：如果参数约束是有效的，那么加上这样的约束不应该引起似然函数最大值的大幅度降低。也就是说似然比检验的实质是在比较有约束条件下的似然函数最大值与无约束条件下似然函数最大值。似然比定义为有约束条件下的似然函数最大值与无约束条件下似然函数最大值之比。以似然比为基础可以构造一个服从卡方分布统计量（具体形式参见Greene）。2、wald检验的思想是：如果约束是有效的，那么在没有约束情况下估计出来的估计量应该渐进地满足约束条件，因为MLE是一致的。以无约束估计量为基础可以构造一个Wald统计量（具体形式参见Greene），这个统计量也服从卡方分布；3、拉格朗日乘数检验的思想是：在约束条件下，可以用拉格朗日方法构造目标函数。如果约束有效，则最大化拉格朗日函数所得估计量应位于最大化无约束所得参数估计值附近。这里也是构造一个LM统计量（具体形式参见Greene），该统计量服从卡方分布。对于似然比检验，既需要估计有约束的模型，也需要估计无约束的模型；对于Wald检验，只需要估计无约束模型；对于LM检验，只需要估计有约束的模型。一般情况下，由于估计有约束模型相对更复杂，所有Wald检验最为常用。对于小样本而言，似然比检验的渐进性最好，LM检验也较好，Wald检验有时会拒绝原假设，其小样本性质不尽如人意。