稳健回归2013版

稳健估计主要内容一、稳健估计的概念及任务二、重要背景三、线性模型的稳健回归1一、稳健估计的概念及任务估计的稳健性(Robustness)概念指的是在估计过程中产生的估计量对模型误差的不敏感性。因此稳健估计是在比较宽的资料范围内产生的优良估计。如在独立同分布正态误差的线性模型中，最小二乘估计(LSE)是有效无偏估计。然而当误差是非正态分布时，LSE不一定是最有效的。但误差分布事先不一定知道，故有必要考虑稳健回归的问题。一般认为对一个估计量进行评价时，需要考虑两种类型的稳健性：效度稳健性和效率稳健性。分别满足一下两个条件：1、数据的微小改动不会造成估计的剧烈变化。2、在各种情况下该估计都具有高效率。我们主要关注效度稳健性，因为对一个稳健估计量来讲，效率稳健性一般只被看作第二位的标准。2模型误差实际模型与所建模型之差称为模型误差。模型误差分为随机误差、系统误差和粗差。粗差粗差是指在相同观测条件下作一系列的观测，其绝对值超过限差的测量偏差。它产生的最普遍原因是观测时的仪器精度达不到要求、技术规格的设计和观测程序不合理，以及观测者粗心大意和仪器故障或技术上的疏忽等。31、概念所谓稳健估计，是在粗差不可避免的情况下，选择适当的估计方法，使所估参数尽可能减免粗差的影响，得出正常模式下最佳或接近最佳的估值。在《现代稳健回归方法》中，稳健回归被宽泛的定义为任何限制特异值对回归估计造成过分影响的回归。稳健估计与经典估计理论的根本区别在于前者是把稳健估计理论建立在符合于观测数据的实际分布模式而不是像后者那样建立在某种理想的分布模式上。42、稳健估计的原理稳健估计的原则是要充分利用观测数据（或样本）中的有效信息，限制利用可用信息，排除有害信息。由于事先不大准确知道观测数据中有效信息和有害信息所占比例以及它们具体包含在哪些观测中，它可以用来探测离群值和提供抵抗误差的结果，因此要冒损失一些效率的风险，去获得较可靠的、具有实际意义的、较有效的估值。53、目标（1）在采用假定模型下，所估计的参数应具有最优或接近最优性；（2）如果实际模型与假定模型存在较小的偏差，则对应的估计参数所受影响也较小；（3）即使实际模型与假定模型有较大的偏差，其参数估值的性能也不应太差，亦即不至于对估值产生灾难性的后果。6二、重要背景1、偏差与一致性假定样本Z有n个案例，令（𝑍1,…,𝑍𝑛）为参数𝜃的一个估计量，且其概率分布为P。换句话说,将T运用于Z即得到总体参数的估计值：一个无偏估计量需满足：这个估计量的偏差可通过下式得到：bias𝑇𝑛𝑇𝑍=𝜃𝐸𝑇𝑍=𝐸𝜃=𝜃𝐸𝑇𝑧−𝜃7如果随着样本规模增大，估计量向收敛，那它就具备一致性。我们也可以从均方误的角度来理解估计量的一致性，满足如下条件的𝜃就具备一致性：𝜃𝜃lim𝑛→∞𝑀𝑆𝐸𝜃=082、崩溃点/失效点崩溃点（BDP）是一种估计量的抗异常值干扰能力的全局性测度。准确的讲，它是一个估计量在不产生任意结果的前提下能够容忍的离群案例的最小分量或百分比。假定所有的可能“破败”的样本，其中m个观察案例被替换为任意值（即不符合数据一般趋势的观察案例），为，那么由这种替换所可能造成的最大影响是：𝑍′ⅇ𝑓𝑓ⅇ𝑐𝑡𝑚;𝑇,𝑍=|𝑇𝑍′−𝑇𝑍|𝑍′sup9如果effect（m;T,Z)无限，那么这m个特异值对T有任意大的影响。换句话说，该估计量“崩溃”了，不能充分代表数据主体部分的模式。更一般的讲，一个有限样本Z的估计量T的崩溃点是这样定义的：BDP(T,Z)=min𝑚𝑛：effect（𝑚；𝑇,𝑍）无限一个估计量最高的可能崩溃点是50%，也就是说多达一半的观察案例可以被忽视。高于0.5的崩溃点是不可取的，因为它意味着该估计量仅仅与一小部分数据相关。103、影响函数影响函数是用来判断估计统计量对异常值敏感程度的指标，反映了在不同位置上异常数据对估值所造成的相对影响的大小。衡量的是一中局部抗扰性。影响函数的定义式为：𝐼𝐹𝑌,𝐹,𝑇=lim𝜆→0𝑇1−𝜆𝐹+𝜆𝛿𝑦−𝑇(𝐹)𝜆其中𝛿𝑦是在y点的概率质量为𝜆的污染度，换言之，𝜆给出了在y点的污染比例。114、相对效率从严格意义上讲，估计量的效率取决于他可能的最小方差与实际方差的比率。只有这一比率等于1时，一个估计才被认为是有效率的。如果一个估计量能够在大样本时达到有效率，就被认为是渐进有效率的。更一般的讲，抽样方差相对较小，从而标准误也较小的估计量被认为是高效率的。假定对于总体参数𝜃我们有两个估计量𝑇1和𝑇2。如果𝑇1效率最高，𝑇2效率较差，那么𝑇1的均方误相对较小。𝑇2的相对效率由它的均方误与𝑇1的均方误的比率决定：𝐸ffiviency（𝑇1，𝑇2）=𝐸𝑇2−𝜃2𝐸𝑇1−𝜃2125、位置测度/位置量数位置的测度即对分布中的某个位置进行刻画的量。假定随机变量Y的分布为F。如果对于任意常量a和b，估计量𝜃(𝑌)满足下面四个条件，那么它就是F的位置测度之一：a.𝜃𝑌+𝑎=𝜃𝑌+𝑎b.𝜃−𝑌=−𝜃𝑌c.Y≥𝜃意味着𝜃𝑌≥0d.𝜃𝑑𝑌=𝑏𝜃𝑌13均值假设有独立观察值𝑦𝑖和一个估计总体分布中心𝜇的简单模型：𝑦𝑖=𝜇+ⅇ𝑖如果潜在的分布为正态分布，那么样本均值是效率最高的𝜇的估计量。得到的拟合模型为：𝑦𝑖=𝑦+ⅇ𝑖它的崩溃点为1𝑛，仅仅一个观察案例就可以使得均值崩溃失效。影响函数𝐼𝐹𝑦𝑦=2𝑦14𝛼-截尾均值这种均值通过删除分布尾端的观察值来降低特异值或重尾的影响。我们先将y值从小到大顺序排列，并确定需要截除的量0𝛼0.5，然后用排除了g(g=𝛼𝑛)个最大值和最小值后观察值计算出的平均值。截尾均值计算方程可以写成：𝑦𝑡=𝑦(𝑔+1)+⋯+𝑦(𝑛−𝑔)𝑛−2𝑔崩溃点取决于剪除量，BDP=𝛼。影响函数：𝐼𝐹𝑦𝑡𝑦𝛼−𝜇𝑡1−2𝛼当𝑦𝑦𝛼时𝑦−𝜇𝑡1−2𝛼当𝑦𝛼≤𝑦𝑦𝛼时𝑦1−𝛼−𝜇𝑡1−2𝛼当𝑦𝑦1−𝛼时15中位数中位数M，即把数据从小到大排列时出现在中间位置的y的取值。BDP=0.5影响函数：𝐼𝐹𝑀𝑦=1当𝑦0时0当𝑦=0时−1当𝑦0时中位数的不足之处在于，当分布为正态分布时它的效率要比均值低。166、尺度测度标准差𝑠𝑦=𝑦𝑖−𝑦2𝑛𝑖=1𝑛−1影响函数没有上限，BDP=0平均离差𝑀𝐷=𝑦𝑖−𝑦𝑛𝑖=1𝑛影响函数没有界限，BDP=0，MD一般被认为已经过时了。相对于中位数的平均离差𝑀𝐷=𝑦𝑖−𝑀𝑛𝑖=1𝑛17影响函数没有界限，BDP=0对于极端特异值和长尾并不免疫，所以也不是用于稳健回归的理想尺度测量。四分位差任意给定的q分位差是这样给定的：𝑄𝑅𝑞=𝑦1−𝑞−𝑦𝑞(其中0𝑞0.5)令q=0.25，即得到四分位差。它的崩溃点BDP=0.25。它是最稳健也最常用的分位差。影响函数：𝐼𝐹𝐼𝑄𝑅(𝑦)1𝑓(𝑦0.25)−𝐶如果𝑦𝑦0.25或𝑦𝑦0.75−𝐶如果𝑦0.25≤𝑦≤𝑦0.7518其中𝐶=𝑞1𝑓𝑦0.25+1𝑓𝑦0.75中位绝对离差定义：𝑀𝐴𝐷=median𝑦𝑖−𝑀（其中M是中位数）BDP=0.5影响函数：𝐼𝐹𝑀𝐴𝐷𝑦=sign𝑦−𝑀−𝑀𝐴𝐷−𝑓𝑀+𝑀𝐴𝐷−𝑓(𝑀−𝑀𝐴𝐷)𝑓(𝑀)2𝑓𝑀+𝑀𝐴𝐷+𝑓(𝑀−𝑀𝐴𝐷)其中f(y)是y的概率密度函数。197、M估计M估计包括很多估计方法，它们将最大似然的思想推广用于尺度和位置的稳健测度。M估计也是很多稳健回归估计的基础。与其他用于大样本的稳健测量相比，他们也具有相对效率，并且随着n变大而更有效率。位置的M估计如果总体的均值是随机变量Y的期望值，令𝜌𝑦−𝜇为测量相对于位置估计𝜇的距离的目标函数。𝜌𝑦；𝜃=𝜌𝑦𝑖−𝜇𝑐𝑆𝑛𝑖=1𝑛𝑖=120其中S是分布尺度的一个测量，c为通过定义分布的中心和尾巴来对估计量的稳定程度进行调整的细调常数。取上述方程的导数，就得到影响函数的形状。M估计值即能够解出下一方程的𝜇的取值：Ψ𝑦−𝜇𝑐𝑆𝑛𝑖=1均值的M估计基于最小平方目标方程：𝜌𝑦；𝜃=12𝑦−𝜇22122尺度的M估计量主要思想是找到一个给极端案例赋权较小的函数，尺度的M估计的一般形式是由位置的M估计的渐进方差定义的：𝜉2=𝐾2𝜏2𝐸Ψ2𝑍𝑖𝐸Ψ‘𝑍𝑖2Ζ𝑖=𝑦𝑖−𝜇𝑚𝑐𝑆其中𝜇𝑚是位置的M估计，c是一个正的细调常数，S是通常被设为MAD的尺度的最初测量，Ψ是得分函数。23各种估计量的对比例124例2252627三、线性模型的稳健回归1、L估计量任何由顺序统计量的线性组合计算而来的统计量都可以被归类为L统计量。最小绝对值回归它通过将残差绝对值之和最小化来求解，对带异常y值的观察案例具有很强的抗扰能力minⅇ𝑖=min𝑦𝑖−𝑥ij𝛽𝑗𝑛𝑖=1𝑛𝑖=1需要最小化的目标函数可以被写成𝜌𝛼(ⅇ𝑖)𝑛𝑖=1其中𝜌𝛼ⅇ𝑖=𝛼ⅇ𝑖如果ⅇ𝑖≥0𝛼−1ⅇ𝑖如果ⅇ𝑖028最小二乘中位数回归它是把OLS回归中残差平方的总和替换为残差平方的中位数，其想法是通过将总和替换为更稳健的中位数，使得最终的估计量能够更好的抵抗特异值。minM𝑦𝑖−xi𝑗𝛽𝑗2=min𝑀ⅇ𝑖2它的崩溃点BDP=0.5相对效率只有37%29最小截尾二乘回归由截尾均值扩展而来，通过最小化结尾残差平方和来求解minⅇ𝑖2𝑞𝑖=1其中q=𝑛1−𝑎+1，是估计量运算过程中包含的观察案例数，𝛼是截尾了的比例，使用q=𝑛2+1，可以确保估计量的崩溃点BDP=0.5但相对效率只有大概8%左右。30R估计量他们与基于残差的秩的离散程度度量紧密相关。令𝑅𝑖代表残差秩ⅇ𝑖，R估计量最小化就是秩化残差某种得分之和：min𝑎𝑛𝑅𝑖ⅇ𝑖𝑛𝑖−1其中𝑎𝑛𝑖是满足如下条件的单调得分函数：𝑎𝑛𝑖𝑛i−1=0其中最简单的，可能也是用的最多的是威尔考克森（Wilcoxonscores）得分，它直接寻找观察案例相对于中位数的秩𝑎𝑛𝑖=i−𝑛+1231中位得分是威尔考克森得分简单调整后的结果：𝑎𝑛𝑖=sini−𝑛+12凡德瓦尔登得分以正态概率密度函数的反函数Φ−1对秩进行了修正：𝑎𝑛𝑖=Φ−1𝑖𝑛+1最后，有限正态得分根据一个常数c对凡德瓦尔登得分进行了限定和修正。𝑎𝑛𝑖=min𝑐，maxΦ−1𝑖𝑛+1，−𝑐R估计量的一个优点是他们具有尺度同变性。不足之处在于，这些得分哪个最优并不清楚，对于截距而言，他们的目标函数不具可变性。多数R估计量的崩溃点BDP=0323、M估计量简单的讲，M估计量将残差的某种函数最小化。和位置的M估计量一样，估计量的稳健性取决于权重函数的选择。如果线性，方差齐次性和独立误差假定成立，那么𝛽的最大似然估计结果就等于使用最小化平方和函数求得的OLS估计：min𝑦𝑖−𝑥ij𝛽𝑗2=minⅇ𝑖2𝑛𝑖=1𝑛𝑖=1稳健回归的M估计量最小化的是一个递增速率较低的残差函数之和：min𝜌𝑦𝑖−𝑥ij𝛽𝑗𝑛𝑖=1=min𝜌ⅇ𝑖𝑛𝑖=133解出来的得分函数Ψ𝑦𝑖−𝑥ij𝛽𝑗/𝜎𝑥ik=Ψⅇ𝑖/𝜎𝑛𝑖=1𝑛𝑖=1=0