稳健估计与可靠性理论

抗差估计、粗差探测抗差估计、粗差探测与可靠性理论与可靠性理论（主要资料来自杨元喜院士）同济大学测量系E-mail:[e-mail]提要•概述概述•抗差估计原理•独立观测值的抗差估计相关观测值的抗差估计•相关观测值的抗差估计•粗差探测与可靠性理论•粗差探测与可靠性理论•单个与多个观测粗差的探测概述•观测数据难免包含粗差。•粗差探测：先发现并剔除粗差，再处理没有粗差的数据的数据•抗差估计：设计一种估计准则，能够抵御粗差对参数的估值影响。可靠性理论平差系统发现粗差的能力不能发•可靠性理论：平差系统发现粗差的能力，不能发现的粗差对参数估值的影响。抗差估计及最小二乘检验抗差估计及最小二乘检验最小二乘检验最小二乘检验最小二乘检验最小二乘检验LSLS残差残差统计统计拒绝拒绝分析分析估计估计残差残差检验检验拒绝拒绝修正修正抗差估计抗差估计抗差抗差估计估计残差残差统计统计检验检验权函数权函数分析分析修正修正抗差估计简史•Huber(1964)提出M估计（RobustestimationofalocationparameterAnnMathStat35:73-101)parameter,AnnMathStat35:73101)•Stiger(1977)提出中位数估计(Dorobustestimatorsworkwithrealdata?,AnnStat5:1055-1098)realdata?,AnnStat5:10551098)•Bloomfield和Stiger(1983)提出L1估计(Leastabsolutedeviations:theory,applications,andalgorithms.y,pp,gBirkhäuser,Boston)•徐培亮(1989),杨元喜(1994,2002)提出了不同的相关观测抗差估计方法（Onrobustestimationwithcorrectedobservations,BullGeod63:237-252.Robustestimationfordependentobservations,ManuscrGeod19:10-17.RobustestimatorforcorrelatedobservationsbasedonbifactorequivalentihtJGd76353358）weights,J.Geod76:353-358）抗差估计简史•徐培亮(2005)提出符号约束的抗差估计（Sign-constrainedrobustleastsquaresandtheeffectofweightsofobservationsonrobustness,J.Geod,79:146-159）•Hampel(1971,1974)提出影响函数和崩溃点概念（Ageneralqualitativedefinitionofrobustness,AnnMathStat42:1887-1896.TheInfluencecurveanditsroleinrobustestimation.JAmStatAssoc69:383-393）粗差探测简史Ab(1960)和Bd(1968)提出粗差探测•Anscombe(1960)和Baarda(1968)提出粗差探测•Förstner（1983）一维粗差可区分理论Förstner（1983）维粗差可区分理论•李德仁（1985）多维粗差可区分理论•於宗俦李明峰（1996）同时定位定值试探法•欧吉坤（1999）检测粗差拟准检定法抗差估计原理线性观测方程：VAXLn线性观测方程：=−VAXLρ为连续、凸函数。min)ρ(vPin1ii=∑=极值条件极值条件nT()0∑抗差解抗差解Ti1a()0iiPvψ==∑()ivψ非线性非线性抗差解抗差解nTi1a=0iiPv∑=0TAPV比较比较LSLS解解i1=独立观测值的抗差估计)(nvψ0)(a1iT=∑=iiiivvvPψ等价转换等价转换1iii)v(ψiiiiv)v(PPψ=等价权等价权0=VPAT法方程法方程0VPA法方程法方程抗差抗差MM估计的解估计的解)(ˆ1LPAAPAXTT−=抗差估计解抗差估计解LPAAPAXkTkTk11)(ˆ−+=迭代解迭代解kkii1kiv)v(PPψ=+ivLXˆAVkk−=关键：Ψ函数或等价权函数抗差权函数抗差权函数¾¾HuberHuber函数函数¾¾HuberHuber函数函数|v|)(c|v|)(⎩⎨⎧≤=Ψcvsigncvv-c-c|v|)(⎩cvsignc⎧≤||ccHuber权函数⎩⎨⎧≤=cvvcpcvppiiiiii||||/||分析：分析：11无界无界⎩piii||||11、无界、无界22、分段、分段33高效（含高效（含LS)LS)33、高效（含、高效（含LS)LS)抗差权函数（续）抗差权函数（续）¾¾TukeyTukey函数函数c|v|))/(1()(22⎨⎧≤−=Ψcvvv|v|0)(⎩⎨cTk权函数⎩⎨⎧≤−=cvvppiiii||0||)/c)(1(22Tukey权函数⎩⎨cvpii||0分析：分析：有界；连续有界；连续抗差权函数（续）抗差权函数（续）¾¾IGG1IGG1权函数权函数¾¾IGG1IGG1权函数权函数⎪⎧≤0|/|kvpviiσ⎪⎪⎨≤=1000|/|0|/|k|/|/||kkvvkppPiiiviviiviiiσσ⎪⎩1|/|0kviviσ分析：分析：11有界有界分析：分析：1k−0k−0k1k11、有界、有界22、分段、分段33、高效、高效33、高效、高效44、跳跃、跳跃抗差权函数（续）抗差权函数（续）¾¾IGG3IGG3权函数权函数0|~||~|vkkvpii−⎪⎧≤0111020|||~|0|~|k)|~|/(kkvkdkvkvdvkpPiiiiiii−−=⎪⎩⎪⎨≤=1||0kvi⎩分析：分析：1、有界1k−0k−0k1k2、分段3高效IGG3权函数3、高效4、连续符号约束的抗差估计极值条件：极值条件：符号约束条件：符号约束条件：定权标准：定权标准：解算方式带有约束条件的优化算法解算方式：带有约束条件的优化算法徐培亮JlfGd2005徐培亮，JournalofGeodesy,2005IGGIII相关观测值的抗差估计原理相关观测值的抗差估计模型极值原则nnijiji=1j=1pρ(v,v)=min.∑∑或nnijTijijji=1j=1jψ(v,v)apv=0v∑∑T-1TˆX(APA)APLi=1j=1j抗差解T-1TX=(APA)APL抗差解n影响函数jiijjiT-1T=1IF(X;L)(APA)apψ(∆)≈∑相关观测抗差估计的IGGIII等价权¾等价权元素()10≤≤jdijijijijjjψ(v,v)p=p=pdv⎪⎪⎧≤0jj/σvkkk/σv1j⎪⎪⎪⎨≤−−=1jj0201jj1jj0jk/0k/σvk)kk/σvk(/σvkd⎪⎩1jjk/σv0¾误差异常时，将权因子dj等于0；分析¾误差异常时，将权因子dj等于0；¾误差落入正常段时，将权因子为1，即最小二乘平差；¾误差落入可疑段时，降权。¾误差落入可疑段时，降权。IGGIII相关观测抗差估计的优缺点优点：优点：•相关观测等价权矩阵具有较强的抗差能力缺点：IGGIII等价权矩阵并不对称且导致观测量固有的相关•IGGIII等价权矩阵并不对称,且导致观测量固有的相关性的改变；•IGGIII等价权矩阵降权因子取决于残差的均方差；而残差的均方差与方差因子有关；•均方差因子不可靠往往导致等价权矩阵不可靠。相关观测值的双因子抗差估计minVPVT==Ω极值原则极值原则()LPAAPAXˆT1T−=参数解式()()Tn1TAPAXˆIF∆∆−ijijijγpp=双因子相关等价权元素双因子相关等价权元素()()jijijTi1i1TipaAPAX;IF∆γ∆Σ==经验误差影响函数ijijijγppjjiiijγγγ=双因子关元双因子关元自适应降权因子自适应降权因子jjiiijγγγ=111112121n1npγpγ...pγ⎡⎤⎢⎥111112121n1n212122222n2npγpγpγpγpγ...pγP=............⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥等价权矩阵等价权矩阵n1n1n2n2nnnnpγpγ...pγ⎢⎥⎣⎦IGG3降权因子⎪⎧≤0ikv~1⎪⎪⎪⎨≤−−=1i0201i1i0kv~k)kkv~k(v~kiiγ¾IGG3降权因子⎪⎪⎩1ikv~0降权因子iiγ0iv~0k1k0k-1k-•误差落入中间段，则用相关LS估计；•误差落入显著异常段，相应观测弃用；•误差落入可疑段k0—k1，相应观测权因子小于1。等价协方差与等价权}{}{ijijijσλσ==Σ等价协方差：22iiiiσλσ=ijijijσλ=σλλλ=1≥λ⎥⎥⎥⎤⎢⎢⎢⎡=Σ22222221211112122111......nnnnσλσλσλσλσλσλjjiiijλλλ=1≥iiλijijijijσσρρ===相关系数相关性不变！相关性不变！⎥⎥⎥⎦⎢⎢⎢⎣22211...............nnnnnnnσλσλσλ等价权ijijijijρρσσσσ相关性不变！相关性不变！11221111121n11γ0...0pp...pγ0...0⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥2221222n220γ...0pp...p0γ...0P=....................................⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥nnn1n2nnnn00...γpp...p00...γ⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦/1λγ若取则有1iiii/1λγ=若取则有Σ=−1P双因子抗差估计的性质‹为连续减函数随观测误差绝对值的增iiγ‹为连续减函数，随观测误差绝对值的增大而减小，从而等价权元素减小，即观测误差可通过等价权元素得以控制。iiγ差可通过等价权元素得以控制。‹当观测值无异常时，=1，则等价权等于原RECOiiγ始权，即当观测无异常干扰时，参数的RECO估式与参数常规最小二乘估式一致。‹双因子等价权矩阵对称，参数抗差解算变得容易，验后协方差矩阵的表示相对简单。，。‹等价权矩阵保持原观测向量的相关性不变。粗差探测与可靠性理论vvVQPLRL=−=−残差：bRb∆=−粗差b引起的残差：不存在粗差：20ˆ/TVPVrσ=()()TTTVPVPVPV∆∆∆∆存在粗差b：20()()ˆTTTbbbbVPVPVPVrrrσ+∆+∆∆∆=≈+220TbbPδσ∆∆=E()=0V2202ˆ~(,,)TFrσδσ=∞统计量：0σ置信度与检验功效β检验功效β检验功效0αα=0ββ=00ββ()000,δδαβ⇒=0(/)1PTTHαα=−()()fF0()αβ)/(HTTP0H1Hβα=)/(1HTTP1β−αF1Tα21rδ+内部可靠性2TTTbbPbRPRbδ∆∆==bbH=∇令:2220()TTbHRPRHδσ=∇2200δσσ则有：0()b()0010,TiTHhδδ===LL取：顾及0000δσδTVVVVVVRPRPQPQPPQP==顾及：0000iiibiiVViiPQPδσδσγ∇==iiiiVVPQγ=,称为多余观测分量内部可靠性系统能够发现的最小粗差内部可靠性：系统能够发现的最小粗差外部可靠性外部可靠性：指不可发现的模型误差对参数估值的影响。()()110000TTTTXbTTAPAAPAPAAPHHRPRHσδ−−∇=∇=()1TTT−定义外部可靠性尺度：()()00000TTTTTXXXTTHPAAPAAPHAPAHRPRHδσδ=∇=∇∇=()010TiHh==LL当：则有：01iirrδδ−=单个与多个观测粗差的探测单个粗差探测20~(0,)iiivvvNQσ()~0,1iiivvwNσ=多个粗差探测0:()0iHEv=1:()0iHEv≠bVAXHL=+∆−多个粗差探测bbTbQHPV∆∆∆=−，1bbbTVVQHPQPH