TLS基本原理2010

总体最小二乘（TotalLeastSquares）的基本原理与应用陈义2010年11月10日总体最小二乘简史•TotalLeastSquares•orthogonalregression•Errors-in-variablesregression•Adcock（1878）“Aprobleminleastsquares”•Pearson（1901）“Onlinesandplanesofclosetfittopointsinspace”•Koopmans（1937）“LinearRegressionAnalysisofEconomicTimesSeries”总体最小二乘简介•总体最小二乘（TLS）问题是1980年由Golub等提出整体解决方法。近20年来，人们已经对总体最小二乘解的算法以及解的形式、总体最小二乘(TLS)解与最小二乘(LS)解之间的关系、总体最小二乘解的扰动理论以及数值实验做了许多的工作，现在已获得了非常丰富的理论结果和数值计算方法。•最小二乘（LS）是科学计算中求解超定线性方程组Ax=b的一个经典的方法。但是，很多实际问题得到的超定线性方程组用最小二乘方法求解会导致较大的误差，而用总体最小二乘方法来求解该超定线性方程组可能效果更好。数值稳定性与条件数•设有线性方程：•b的扰动对x的影响：•A的扰动对x的影响：•解向量x的误差与条件数：Axb()Axxbb1()xbAAxb1()xAAAxxA()()AAxxb1()condAAA2()[()]TcondAAcondA奇异值分解•SVD（SingularValueDecomposition）•Beltrami于1873年对实方阵提出：•奇异值分解：令A∈Rm×n,则存在正交矩阵U∈Rm×m,V∈Rn×n,使得:•式中•且•其对角元素满足顺序:(,),(,),TnnTTTfxyxAyARxUyVfxySSUAVAUVTAUV1000112(,,...,)rdiag12...0,()rrrankA奇异值的特性•奇异值与范数的关系:•奇异值与行列式的关系:•奇异值与条件数的关系:•奇异值与特征值的关系:212222maxmax11211,[]...mnijrspecFijAAa12det()detnA1()/,min(,)pcondApmn11(1,2,...,),()/innincondA高斯-马尔科夫模型•函数模型:•随机模型:•平差原则:•最小二乘解:11nnnmLXA22100()0EQP11ˆminTmnnnAXLVVPV11ˆˆ()()TTTXXAPAAPLQAPA总体最小二乘bAx若是经典的最小二乘（LS）方法，包含变量的系数矩阵A是被认为没有误差，即不需要加以改正的。因此，所有的误差都包含在观测向量b中。然而，在现实当中，这样的假设似乎并非完全合理，例如，由于样本的误差，人为的误差，模型的误差以及仪器的误差等等因素都有可能使得系数矩阵A不完全精确。从而，我们引入了总体最小二乘（TLS）的方法。该方法正适用于上述的问题，即认为不仅向量b中存在误差，而且矩阵A中也包含着误差，因此也需要改正。TLS与LS的比较为了对LS与TLS的的解加以区分，这里举一个对单参数线性回归方程进行估计的简单例。此时，超定线性方程组可表示为：x如果α可以被精确地得到，那么误差就集中在观测向量β上，因此用经典的LS的方法来解求参数x是合理的。根据最小二乘的原理，我们要求的值为最小，也就是参数的最优值为：21)(xabiimi211'imiiimiabax•由此，通过LS方法所解算的残差在纵轴方向上，如下图所示：TLS与LS的比较LS'xabiiyxTLS与LS的比较反向考虑另一种情况，即假定误差全部集中在α中，而观测向量β是无误差的。此时可将方程写为：1x那么我们同样可以利用LS的方法得到参数的值iimiimibabx121•容易想到，当误差全部存在于系数矩阵中时，残差是在横轴方向上的。因此可表现为如下形式：TLS与LS的比较LSyxiiaxb/xTLS与LS的比较•然而，在许多实际的情况中，变量和观测值都是含有误差的，因此我们需要用到总体最小二乘的方法。•总体最小二乘（TLS）方法要求参数的解满足如下条件：221min(()/(1))miiibaxxTLS与LS的比较因此，可以看出TLS的解正是介于前两者之间，它所解算出的残差是在垂直于直线方向上的x21/xxabiiTLSyxx由此看出，LS与TLS在求取最优解时，二者模型不同。经典最小二乘•最小二乘方法的解求模型可表达为mnArankebAx)(其中随机误差e满足),0(~120PNe在经典的最小二乘方法中，我们对解作出了这样的要求22'minminebAx于是我们得出在等权情况下LS的解为)()('1bAAAxTT总体最小二乘而对于TLS，当矩阵满秩时，它的模型可表示为等权情况下的TLS的原理是以目标函数最小为基础，即)min()()(xvecEvecEeeATAT可以看到，该模型与经典最小二乘的最大的区别就在于后者仅考虑到观测值向量b中是含有误差的，而认为系数矩阵中并没有存在误差。因此，利用总体最小二乘的方法正可以用于解决所谓的变量中的误差（EIV）这样一种模型的估计问题。()AAExbe0,0,,,,0AAmAEEeDvecEeICEe总体最小二乘解法一般情况下，TLS采用奇异值分解（SVD）的方法进行解算奇异值分解是线性代数中一种重要的矩阵分解，在处理病态矩阵的方面都有很好的效果。对于m×n阶的矩阵A，AHA的n个特征值的非负平方根叫作A的奇异值，记为σi(A)。定理：（奇异值分解）设A为m×n阶复矩阵，则存在m阶酉阵U和n阶酉阵V，使得：TVUA其中，∑=diag(σ1，σ2，…，σr)，σi0(i=1，…，r)，r=rank(A)=min(m，n)。•因此，在利用TLS方法进行解求时，需要对增广矩阵[A，b]进行奇异值分解，则解算过程为：•首先，对增广矩阵[A，b]进行奇异值分解，得到•为了求得x，使得目标函数最小，我们将方程改写•因此利用特征值的方法进行TLS的求解，待求的参数向量则等于•TLS的残差为总体最小二乘解法TVUbA,01ˆˆ,ˆxbA1,11,11,1,,1ˆnnnnnvvvxTnnAnvubAbAeE111ˆ,ˆ,ˆ,ˆ应用：拟合（1）•给定n个点：•拟合直线：•若直线过点•则：•设直线过n个点的中心：•直线方程可表述为：•或斜率形式：1122000011(,),(,),(,)0(,)11,()()0()()0,/nnnniiiixyxyxyaxbycxycaxbyxxyynnaxxbyymxxyymab应用：拟合（2）•最小二乘拟合函数：•总体最小二乘拟合：数据点到直线方程的距离平方和最小，点（p，q）到直线ax+by-c=0的距离d为：•总体最小二乘拟合函数：2(1)212(2)21(,,)[()()](,,)[()()]LSiiiLSiiiDmxyxxmyyDmxymxxyy222002222[()()]()apxbqyapbqcdabab2221[()()](,,,)niiiaxxbyyDabxyab应用：拟合（3）•已知三个数据点（2，1），（2，4），（5，1）拟合一条直线。则中心点坐标为（3，2）。•方案1•令•可得：•距离平方和为：2(1)21222(,,)[()()](1)(2)(21)LSiiiDmxyxxmyymmm(1)(,,)840LSDmxymm1,2702mxy(1)(,,)4.5LSDmxy应用：拟合（4）•方案2•令•可得：•距离平方和为：2(1)21222(,,)[()()](1)(21)(2)LSiiiDmxyxxmyymmm(1)(,,)840LSDmxymm1,2702mxy(1)(,,)4.5LSDmxy应用：拟合（5）•方案3•数据矩阵为：•特征值分解为：112222(,,,)1nnDabxyMtxxyyxxyyaMtbabxxyy2312116323421236531221TMMM11119022221103112222TMM应用：拟合（6）•定理：若2×1法向量t取作与2×2矩阵的最小特征值对应的特征向量，则距离平方和取最小值•法向量为•总体最小二乘拟合的直线方程为：•距离平方和为：TMM22(,,,)Dabxy2111222200TTTTuMMUUuuu221/21/2TTtab11(3)(2)022xy22221112(,,,)1231212TLSDabxyMtLS-TLS原理、解法•然而在一些线性模型中，并不是A中所有的列都是有误差的，也就是说，A中有可能存在部分的列是固定的，不需要加以修正的。•这时再直接用TLS的方法进行参数的解求，对系数矩阵A中所有的列都进行改正就显然不够合理了。•因此，考虑将LS与TLS进行结合，对A阵中存在误差的元素进行改正，对精确的项则保持原样。这也就产生了LS-TLS方法。于是，在线性方程组中，A、x矩阵可以分解为：这里认为A１中是不含有误差的，并且n=n1+n2。那么LS-TLS的目标就在于：12112121212121,,,,,,nnTTTnmnmRARxxxxRARAAAA)1(2222,,,minnmFRbAbAbALS-TLS原理、解法•若找到了，使得满足•那么我们也就找到了LS-TLS的解，而它的改正数为：2,AbTTTxxx21,bxAxAxA2211bAbAbA,,,222LS-TLS原理、解法•对于LS-TLS的解，我们首先需要对A１进行QR分解，再将Q左乘于增广矩阵［A，b］上，于是得到LS-TLS原理、解法bbTRRRRRbAAQ22211211210,,利用TLS的解法解算方程2222bRRxx1的解则是通过LS的方法解求以下方程得到2121111xRRxRbTLS在坐标转换中的应用•可以看到，对于观测方程Ax=b•经典的LS方法认为系数矩阵A不包含误差，误差存在于观测向量b当中的；•LS-TLS方法则认为系数矩阵A中部分列与观测向量b一样是需要修正的；•而TLS方法则对系数矩阵A及观测向量b中所有元素都进行了最小化约束，因为它认为A、b中均包含有误差。•这里将LS、TLS、LS-TLS三种方法分别应用于二维以及小角度的三维坐标转换中，将他们所解算出来的坐标转换参数以及单位权中误差进行比较，以进行进一步的分析。二维坐标转换二维平面坐标