您好,欢迎访问三七文档
当前位置:首页 > 办公文档 > 求职简历 > 超定方程组最小二乘解
超定方程组最小二乘解最小二乘法广泛地应用于工程计算中,用最小二乘法消除(平滑)误差,用最小二乘法从有噪声的数据中提取信号,从海量数据中找出数据变化的趋势,……。甚至利用简单函数计算复杂函数的近似值,我们并不期望它的近似值多么精确(事实上很多时候也不用很精确),尽管如此还是希望计算出的近似数据与原始数据之间有相似之处。如果从线性代数角度来理解最小二乘法,实际上是将一个高维空间的向量投影到低维子空间所涉及的工作。一、超定方程组的最小二乘解当方程组GX=b的方程数多于未知数个数时,对应的系数矩阵G的行数大于列数,此时方程组被称为是超定方程组。设G=(giu)m×n,当mn时即所谓的高矩阵,绝大多数情况下,超定方程组没有古典意义下的解。超定方程组的最小二乘解是一种广义解,是指使残差r=b–GX的2-范数达取极小值的解,即22*||||min||||GXbGXbmRX该问题是一个优化问题。命题1:如果X*是正规方程组GTGX=GTb的解,则X*是超定方程组GX=b的最小二乘解证由题设可得,GT(b–GX*)=0。对任意n维向量Y,显然有(X*–Y)TGT(b–GX*)=0考虑残差2-范数平方,由22**22||)()(||||||YXGGXbGYb上式右端利用内积,得22*22*22*22||||||)(||||||||||GXbYXGGXbGYb从而有||b–GY||2≥||b–GX*||2等式仅当Y=X*时成立。所以X*是超定方程组GX=b的最小二乘解。命题2:如果X*是超定方程组GX=b的最小二乘解,则X*满足正规方程组GTGX=GTb证由题设,22*||||min||||GXbGXbmRX,利用2-范数与内积关系,知X*是下面二次函数的极小值点(X)=(GX,GX)–2(GX,b)+(b,b)取任意n维向量v,对任意实数t,构造一元函数g(t)=(X*+tv)显然,g(t)是关于变量t的二次函数g(t)=(G(X*+tv),G(X*+tv))–2(G(X*+tv),b)+(b,b)=g(0)+2t[(GX*,Gv)–(Gv,b)]+t2(Gv,Gv)由题设t=0是g(t)的极小值点。由极值必要条件,得0)0(g。即(GX*,Gv)–(Gv,b)=0将左端整理化简,便得(Gv,GX*–b)=0利用内积性质,得(v,GT(GX*–b))=0由v的任意性,得GT(GX*–b)=0二、最小二乘解的几何意义首先考虑一个简单的超定方程组6311215342yx该方程组的右端向量是三维向量,系数矩阵的每一列也是三维向量,但待求的未知向量却是二维向量。将系数矩阵按列分块,G=[1,2],记右端向量为。则方程组求解问题可表示为求组合系数x和y使x1+y2=的向量的线性组合问题。由于两个向量1,2不构成三维空间的一组基,所以一般情况下这一问题无解。而由向量1,2张成的子空间span{1,2}是一张平面,记为。则超定方程组的最小二乘解实际上是求X*,使GX*恰好等于在平面上的投影。而最小二乘解所对应的残差向量则垂直于向量GX*。事实上,由正规方程组GTGX=GTb得GT(b–GX*)=0上式的几何意义可解释为:最小二乘解的残差向量与超定方程组的系数矩阵G的所有列向GX*rmin=b–GX*量正交。从而(X*)TGT(b–GX*)=0所以(GX*,b–GX*)=0
本文标题:超定方程组最小二乘解
链接地址:https://www.777doc.com/doc-3942328 .html