极大似然估计和广义矩估计

第一节极大似然估计法第二节似然比检验、沃尔德检验和拉格朗日乘数检验第三节广义矩（GMM）估计小结除普通最小二乘法（OLS）外，极大似然估计（MLE）和广义矩估计（GMM）也是计量经济学中重要的估计方法。极大似然估计法和广义矩估计法适用于大样本条件下参数的估计，它们在大样本条件下显示了优良的性质。本章主要介绍极大似然法和广义矩方法以及基于极大似然估计的似然比（LR）检验、沃尔德（W）检验和拉格朗日乘数（LM）检验。3第一节极大似然估计法极大似然估计法（MaximumLikelihoodmethod，ML）的应用虽然没有普通最小二乘法广泛，但它是一个具有更强理论性质的点估计方法，它以极大似然原理为基础，通过概率密度函数或者分布律来估计总体参数。极大似然估计的出发点是已知被观测现象的分布，但不知道其参数。极大似然法用得到观测值（样本）最高概率的那些参数的值来估计该分布的参数，从而提供一种用于估计刻画一个分布的一组参数的方法。4一、极大似然法的思路设有一枚不均衡的硬币，我们关心的是在每次抛掷该硬币出现正面的概率p。抛掷该硬币N次，假设得到次正面，次反面。由于每次抛硬币都是相互独立的，根据二项分布，得到这样一个样本的概率为：上式中的表达式可看作是未知参数p的函数，被称为似然函数（Likelihoodfunction）。对p的极大似然估计意味着我们选择使似然函数达到最大的p值，从而得到p的极大似然估计量。111)1()(1NNNNNppCNP次正面1N1NN5实际计算中，极大化似然函数的对数往往比较方便，这给出对数似然函数上式达到极大的一阶条件是解之，得到p的极大似然估计量p)-)ln(1N-(N)ln(lnc)(ln111pNpLNN01)(ln11pNNpNpLddpNNp/ˆ16二、极大似然原理极大似然法的思路是，设是随机变量X的密度函数，其中是该分布的未知参数，若有一随机样本，则的极大似然估计值是具有产生该观测样本的最高概率的那个值，或者换句话说，的极大似然估计值是使密度函数达到最大的值。由于总体有离散型和连续型两种分布，离散型分布通过分布律来构造似然函数，而连续型分布通过概率密度函数来构造似然函数，因此二者有区别，下面分别讨论。(,)fx(,)fx12,,...,nXXX7（一）离散型随机变量极大似然原理若总体为离散型分布，容易求得从样本取到观察值的概率，亦即事件发生的概率为：其中，是待估参数向量。这一概率随的取值而变化，它是的函数，称为样本的似然函数。极大似然估计法就是在取值的可能范围内挑选使似然函数达到最大的参数值作为参数的估计值，即求，使得12,,...nXXX12,,...,nxxx1122,,...,nnXxXxXx121()(,,...,;)(;)nniiLLxxxpx12(,,...,)k()L12(x,,,;)nLxxˆ1212ˆ(,,...,;)(,,...,;)nnLxxxMaxLxxxˆ8•一般通过微分的方法求得，即，令得到，有时候也可通过迭代法来求，具体的计算方法根据随机变量的分布来确定。这样得到的称为参数的极大似然估计值，而相应的统计量通常记为，称为参数的极大似然估计量。ˆ()/0LˆˆˆML9（二）连续型随机变量极大似然原理与离散型的情况一样，我们取的估计值使取到极大值，但不随而变，故只需考虑函数的极大值，这里称为样本的似然函数。若则称为的极大似然估计量，记为。1(,)niifxdxˆnidx1121()(,,...,;)(;)nniiLLxxxfx1212ˆ(,,...,;)(,,...,;)nnLxxxMaxLxxxˆˆML()L10通常情况下，关于可微，这时可从方程解得。因为与在同一点处取到极值，的极大似然估计值通常从方程解得，式中称为对数似然函数。为了后面内容表述方便起见，我们将对数似然函数的一阶导数向量表示为，称为score向量或梯度向量，的极大似然估计量通过求解得到，因此称为似然方程。()Lˆ()/0L()Lln()Lˆ()/0Lln()LS()lnL()/)(SS()0S()011三、极大似然估计量的性质极大似然估计量（MLE）的优势在于它们的大样本性质（渐近性质）。为介绍这些渐近性质，我们用表示参数向量的极大似然估计量（MLE），表示参数向量的真值。如果极大似然函数被正确设定，可以证明，在弱正则条件下，极大似然估计量具有以下渐近性质：12（1）一致性：是的一致估计量，即，（2）渐近有效性：是渐近有效的且达到所有一致估计量的Cramèr-Rao下界，即在所有一致渐近正态估计量（consistentasymptoticallynormalestimators）中具有最小方差。（3）渐近正态性：即渐近地服从正态分布，其中V是渐近协方差矩阵ˆML0ˆlimMLpˆML)(,~ˆ00VNML13协方差矩阵V由对数似然函数的形状决定。为了说明这一点，我们引入信息矩阵（InformationMatrix）的概念，信息矩阵定义为在适当的正则条件下，可以证明，极大似然估计量的渐近协方差矩阵等于信息矩阵的逆矩阵，即2lnL()()Ι-1[()]VI14四、线性回归模型的极大似然估计线性回归模型是计量经济学应用最为广泛的模型，因此讨论线性模型的极大似然估计是非常必要的。下面我们在随机扰动项服从正态分布的假设下分别讨论双变量线性回归模型和多元线性回归模型的极大似然估计。非线性模型的极大似然估计，将在第五章中介绍。15（一）双变量线性回归模型的极大似然估计双变量线性回归模型：其中，为待估参数，为随机扰动项。对随机扰动项作出如下假设：即随机扰动项具有0均值、同方差、不相关和服从正态分布的性质。ntuxyttt,,2,1,tu222()0,(),()0,~(0,)ttijtEuEuEuuijuN16根据以上假设可知：因此，的概率密度函数为：由于独立同分布，因此，联合概率密度函数，即似然函数为：),(~2ttxNytynteyfttxyt...,,2121)(22)(21，212()2211(,,)()()2ntttyxnnttLfye17对数似然函数为：令：，，得，)17.4(2)()ln(2)2ln(2),,(ln12222ntttxynnL0),,(ln2L0),,(ln2L0),,(ln22L222ˆˆˆˆˆˆ()ˆtMLMLtttMLtMLttMLMLtMLYnXXYXXYXn18不难看出，前两式与用普通最小二乘法得出的正规方程相同，故我们有但最后一式表明，的极大似然估计量与最小二乘估计量不同，我们记得，最小二乘估计量是一个无偏估计量。而，ˆˆˆˆ,MLOLSMLOLS2222ˆˆ()ˆ22tttOLSeYXnn22222(2)2ˆ()()tMLenEEnnn19这表明，是一个有偏估计量不难看出，当样本容量趋向无穷时，因而是一个渐近无偏估计量。22ˆˆ()ˆtMLMLtMLYXn2222n2ˆML20（二）多元线性回归模型的极大似然估计下面我们来讨论一般形式的线性回归模型的极大似然估计，并以矩阵形式表示：对随机扰动项作出如下假设：根据以上假设，我们有：因此，的概率密度函数为：YXβu22()()~(,)nnEENu0uuIu0I2~(,)tyNXβ2()21()12,...,2tfyetnYXβ)(YXβ，上面有点问题，把单个标量和整体向量混淆了，看的时候注意点,可以参考多元线性回归讲义PPT.21由于独立同分布，因此，联合概率密度函数，即似然函数为：对数似然函数为：注意到（4.17）中右端第二项的分子就是残差平方和，我们有：2()2211(,)()()2nnttLfyeYXβ)(YXβ222()ln(,)ln(2)22nLYXβ)(YXβ2()(4.18)iRSSeeeYXβ)(YXβYYYXββXY+βXXβYY2YXβ+βXXβ22这里最后一个等号成立是因为第二行中所有各项都是标量，且中间两项互为转置矩阵，因而相等RSS对微分，得到：这里用到了矩阵微分的以下两条规则：（1）（2），第二个等号成立的条件是A为对称矩阵。22(4.19)RSSXYXXββ/abba()/()2bAbbA+AbAb23在（4.19）式中，a是，A是。由（4.19）式的结果，使对数似然函数（4.17）达到极大的一阶条件为解此二正规方程，得:YXXX22ln(,)2202LβXYXXββ2242ln(,)()()022LYnβXβYXβˆ(ML-1βXX)XY2()ˆ//MLRSSnnnYXβ)(YXβee24因此，在随机扰动项满足标准假设条件的情况下，的极大似然估计量与普通最小二乘估计量相同，方差的ML估计量与OLS估计量则不同。是无偏的，而是有偏的，但在大样本下渐近无偏22()()ˆ1OLSnkYXβYXβ2ˆOLS2ˆMLβ25将这些极大似然估计量代入(4.17)，就得到的极大值：为了得到的无偏估计量的Cramèr-Rao下界，需要先计算信息矩阵222ˆˆˆln(,)ln(2)ˆ22ln(2)ln()222ln()2MLMLMLMLnLnnnnneeeeee常数222222222ln/ln/(,)(4.22)ln/ln/LLIELLβββββ26信息矩阵是按分块对角的，这是扰动项为正态分布的回归模型的一个重要性质，意味着Cramèr-Rao下界为：值得注意的是，达到了Cramèr-Rao下界。在正态性的假设下，是最小方差无偏估计量（MVU），这表明，在所有无偏估计量而不仅仅是线性无偏估计量中方差最小。假设多一些（CLR模型加上正态性），得到的也多一些（MVU而不仅仅是BLUE）。2β和21124()0(,)(4.24)02/EnXXIβˆˆMLOLSββˆOLSβˆOLSβ27例4.2以简单的消费函数为例，说明极大似然估计法的估计过程。根据经济理论，消费和收入与价格密切相关，因此建立以国内生产总值gdp和消费价格指数p为解释变量，国内总消费tc为被解释变量的消费方程。数据区间为1988—2007年。消费方程设定为：其中服从正态分布。0121988,1989,...,2007tttttcgdpputtu28普通最小二乘估计的结果为：极大似然估计的EViews结果为：可见，对于线性方程，用极大似然估计得到的系数估计值与用最小二乘法估计得到的结果完全相同。8738.9700.635159.043:(8.94)(2.27)ttttcgdppt8738.9700.635159.043:(4.2)(1.2)ttttcgdppz29第二节似然比检验、沃尔德检验和拉格朗日乘数检验似然比检验（LikelihoodRatioTest,LR）瓦尔德检验（WaldTest,W）拉格朗日乘数检验（LagrangeMultiplierTest,LM）是三种基于极大似然法的大样本检验方法。30我们在第二章中介绍的F检验适用于检验CLR模型的线性约束条件。如果施加于模型