内生性产生的原因及解决方案

第五讲内生性OLS经典假设所有的解释变量Xi与随机误差项彼此之间不相关。(,)0iiCovuX若解释变量Xi和ui相关，则OLS估计量是非一致的，也就是即使当样本容量很大时，OLS估计量也不会接近回归系数的真值。当解释变量和随机误差项相关时，模型存在着内生性问题。在计量经济学中，把所有与扰动项相关的解释变量都称为“内生变量”。这与一般经济学理论中的定义有所不同。1。与误差项相关的变量称为内生变量(endogenousvariable)。2。与误差项不相关的变量称为外生变量(exogenousvariable)。造成误差项与回归变量相关（内生性）的原因很多，但我们主要考虑如下几个方面：遗漏变量偏差变量有测量误差双向因果关系。遗漏变量偏差变量有测量误差测量数据正确时：假设方程为：01iiiYXu当存在测量误差时：方程为：01iiiYXv01011[()]iiiiiiiYXvXXXu所以我们有：1()iiiivXXu可知，误差项中包含iiXX所以可以得到：如果(,)0iiiCovXXX则回归结果有偏，非一致我们假设iiiXXw则有21122ˆxpxw结论：1。由于2221xxw2。回归的性质决定于w的标准差221122ˆ0xppwxw2211122ˆxppwxw双向因果关系之前我们假定因果关系是从回归变量到因变量的(X导致了Y)。但如果因果关系同时也是从因变量到一个或多个回归变量(Y导致了X)的呢？如果是这样的话，因果关系是向前的也是“向后”的，即存在双向因果关系，如果存在双向因果关系，则OLS回归中同时包含了这两个效应，因此OLS估计量是有偏的、非一致的。2111(,)/(1)iiuCovXurr可以推导出：检验方法：豪斯曼检验检验豪斯曼检验（Hausmanspecificationtest）H0：所有解释变量均为外生变量。H1：至少有一个解释变量为内生变量。quietlyreglw80s80expr80tenure80iqeststoreolsquietlyivregress2slslw80expr80tenure80(s80iq=medkwwmrtage)eststoreivhausmanivols，若Hausman检验失效（检验统计量为负值），则使用dmexogxt，否则仍Hausman检验为主。使用Davidson-MacKinnon检验xtivreg后使用dmexogxt*Davidson-MacKinnon(1993)检验*H0：OLS和xtivreg都是一致的，即内生性问题对OLS的估计结果影响不大xtivregtlsizendtstang(npr=tobinL1.npr),fedmexogxtDavidson-MacKinnon检验得到F统计量的P值小于0.05，代表有内生性遗漏变量偏差可采用在多元回归中加入遗漏变量的方法加以解决，但前提是只有当你有遗漏变量数据时上述方法才可行。双向因果关系偏差是指如果有时因果关系是从X到Y又从Y到X时，此时仅用多元回归无法消除这一偏差。同样，变量有测量误差也无法用我们前面学过的方法解决。因此我们就必须寻找一种新的方法。二、内生性的解决方案事实上，仅仅为了解决内生性问题，并不需要我们对内生性问题的缘起有很深入的理解。对于应用型的实证研究而言，我们只需要掌握解决内生性问题的具体方案即可。内生性问题的解决方案一共四种，理论上来讲，这四种方案应对内生性问题都很有效。但于我个人而言，我对四种方法的评价是有高低的，由高到低分别介绍如下。1.自然实验法所谓自然实验，就是发生了某些外部突发事件，使得研究对象仿佛被随机分成了实验组或控制组。这是我最喜欢的方法，只是自然实验需要寻找一个事件，并且这个事件只影响解释变量而不影响被解释变量。遇着这种事件是一种缘分，还要能识别出来，这对学者的眼光也是一种挑战。有很多文章声称使用了自然实验，但严格来讲，并没有做到对研究对象进行了随机分组。虽然如此，我对此类文章仍然很是喜欢。自然实验包括的要素有:一个政策措施(treatment),一个观察到的结果(outeome),一个对照组(contorlgoruP)。在评估“政策措施”对“结果”是否发挥作用时,对照组充当一个参照系。而一个“准自然实验”和自然实验的区别在于处理组和对照组的选取是否随机。这里的“结果”是以受政策影响的县和没有受政策影响的县之间在增长速度上的差异来衡量。简单连接改革措施和被直管县绩效的做法并不恰当。这样的做法无法排除其他政策或是整体经济的影响,因而是无法衡量改革真实效果的。172.双重差分法Difference-in-Difference（DID）一般称为双重差分法，或倍差法。倘若出现了一次外部冲击，这次冲击影响了一部分样本，对另一部分样本则无影响，而我们想看一下这次外部冲击到底有何影响，双重差分法就是用来研究这次冲击的净效应的。其基本思想是，将受冲击的样本视作实验组，再按照一定标准在未受冲击的样本中寻求与实验组匹配的对照组，而后做差，做差剩下来的便是这次冲击的净效应。双重差分法实际上是固定效应的一个变种，差分的过程实际上是排除固定效应的过程。ZERA在《计量论文写作和发表的黑客教程》有一个非常简明风趣的举例，我转述于此，以飨读者。19DifferenceindifferencemodelsMaybethemostpopularidentificationstrategyinappliedworktodayAttemptstomimicrandomassignmentwithtreatmentand“comparison”sampleApplicationoftwo-wayfixedeffectsmodel20ProblemsetupCross-sectionalandtimeseriesdataOnegroupis‘treated’withinterventionHavepre-postdataforgroupreceivinginterventionCanexaminetime-serieschangesbut,unsurehowmuchofthechangeisduetosecularchanges21DifferenceindifferencemodelsBasictwo-wayfixedeffectsmodelCrosssectionandtimefixedeffectsUsetimeseriesofuntreatedgrouptoestablishwhatwouldhaveoccurredintheabsenceoftheinterventionKeyconcept:cancontrolforthefactthattheinterventionismorelikelyinsometypesofstates22ThreedifferentpresentationsTabularGraphicalRegressionequation23DifferenceinDifferenceBeforeChangeAfterChangeDifferenceGroup1(Treat)Yt1Yt2ΔYt=Yt2-Yt1Group2(Control)Yc1Yc2ΔYc=Yc2-Yc1DifferenceΔΔYΔYt–ΔYc24timeYt1t2Yt1Yt2treatmentcontrolYc1Yc2Treatmenteffect=(Yt2-Yt1)–(Yc2-Yc1)25KeyAssumptionControlgroupidentifiesthetimepathofoutcomesthatwouldhavehappenedintheabsenceofthetreatmentInthisexample,YfallsbyYc2-Yc1evenwithouttheinterventionNotethatunderlying‘levels’ofoutcomesarenotimportant(returntothisintheregressionequation)26BasicEconometricModelDatavariesbystate(i)time(t)OutcomeisYitOnlytwoperiodsInterventionwilloccurinagroupofobservations(e.g.states,firms,etc.)27ThreekeyvariablesTit=1ifobsibelongsinthestatethatwilleventuallybetreatedAit=1intheperiodswhentreatmentoccursTitAit--interactionterm,treatmentstatesaftertheinterventionYit=β0+β1Tit+β2Ait+β3TitAit+εit28Yit=β0+β1Tit+β2Ait+β3TitAit+εitBeforeChangeAfterChangeDifferenceGroup1(Treat)β0+β1β0+β1+β2+β3ΔYt=β2+β3Group2(Control)β0β0+β2ΔYc=β2DifferenceΔΔY=β329MoregeneralmodelDatavariesbystate(i)time(t)OutcomeisYitManyperiodsInterventionwilloccurinagroupofstatesbutatavarietyoftimes30uiisastateeffectvtisacompletesetofyear(time)effectsAnalysisofcovariancemodelYit=β0+β3TitAit+ui+λt+εit31GroupeffectsCapturedifferencesacrossgroupsthatareconstantovertimeYeareffectsCapturedifferencesovertimethatarecommontoallgroups32其中，d就是双重差分估计量，Y为研究的结局变量，右侧脚标中treatment和control分布代表干预组和对照组，t0和t1分别代表干预前和干预后。构造了差分估计量之后，就要根据不同的数据类型和不同的结局变量Y，分别选用相应的参数检验方法来进行建模。(1)适用于独立混合横截面数据33独立混合横截面数据是在不同时点从同一个的大总体内部分别进行随机抽样，将所得的数据混合起来的一种数据集。该类数据的特点为每一条数据都是独立的观测值。通过将不同时点的多个观测值结合起来，从而可以加大样本量以获得更精密的估计量和更具功效的检验统计量;也可加入新的变量———时间(即干预前后)，以便判断干预前后的差别。对于总体一致、范围较大、涉及不同时间点的调查研究，多收集此类数据343536(2)适用于综列数据面板数据的DID模型37面板数据要求在不同时点调查相同的研究对象。它与独立混合横截面数据最大的不同在于，不同时点的观测值并不是独立分布的。这类数据的特点在于:由于研究的个体相同，一些不随时间改变的不可观测的因素(如个人特质等)对不同时点的观测值会产生影响，可以通过控制这些影响从而得到较为真实的结果;383940由于一般大规模的人群调查存在较大的变异性问题，仅在模型中纳入虚拟变量“分组(A)”、“时间(T)”是远远不够的。为了提高解释系数R2，需要加入其他可能影响被解释变量的因素，即控制除分组、时间变量以外的其他变量。sscinstalldiffhelpdiff