3 最佳一致逼近 - 西安电子科技大学出版社

超定线性方程组的最小二乘法主讲人：高淑萍西安电子科技大学超定线性方程组11112211211222221122nnnnmmmnnmaxaxaxbaxaxaxbaxaxaxb11121112122212......,,...............nnnmmmmnaaaxbaaaxbaaaRRAA,bxAb（），（）(1)式无解，即为不存在解的矛盾方程组----超定线性方程组其中(1)Ax=b实例美国地质调查局（NGS）1974年准备更新北美地质资料（NAD），这是一个包含268000个节点（地点）的网络，它覆盖整个北美大陆，包括巴拿马地峡、格陵兰岛、夏威夷、波多黎哥等其他加勒比海诸岛。地质资料中记录的经度和纬度必须经精确到几厘米，其原因是它构成了诸如测量、地图、法定边界、国家和区域土地使用计划，像高速路和公共使用线路等项目设计标准。覆盖长达140年的数据资料包括180万个观测值，考虑其相对精度，必须转化为适合计算机运算的格式，其数学模型为包含928735个方程、928735个变量的线性方程组，但这个方程组无解！无解的线性方程组也成为不相容的，实际应用中常出现这类不相容问题。即任意都不可能使2112210miiinniiaxaxaxb等于零。(2)12,,,nxxx如果有向量使得达到最小，称为超定线性方程组（1）的最小二乘解211221()miiinniiaxabaxbnxxx000T12(,,,)000T12(,,,)nxxx当方程组的解不存在但又需要求解时，最好的方法就是寻找，使得尽可能的接近xAxb高斯（德国的数学家、物理学家，1777--1855）18、19世纪之交最伟大的德国数学家，其贡献遍及纯数学及应用数学的各个领域，成为世界数学界的光辉旗帜，其形象成为数学告别过去，走向现代数学的象征，后人誉为“数学王子”1809年最小二乘法的方法发表于他的著作《天体运动论》,后来高斯等数学家对最小二乘法进行了大量的理论研究和应用,在统计学中发挥着重要的作用,是十九世纪统计学的“中心主题”勒让德（法国数学家，1752--1833）椭圆积分理论奠基人之一、数论、初等几何与天体力学，取得了重要理论成果，如在欧拉提出椭圆积分加法定理后的40年中，他是仅有的在这一领域提供重大新结果的数学家。在天文学的研究中，勒让德引进了著名的勒让德多项式1805年研究天文学和测地学处理数据时最先发明最小二乘法,但因不为世人所知而默默无闻勒让德高斯设系数矩阵AYAx令利用距离的概念，（2）式最小就是最小1212A,,,,[,,...,],1,2,...,nTnjjjmjaaaj2Y-b211221(2)miiinniiaxaxaxb最小二乘法公式推导1122Y即nnxxx---以为常向量的线性方程组（3）Y这等价于12(C,)(C,)(C,)0,n（4）即TTT12TTT120,0,,0,(,,...)0从而nnCCCC设则必有Cb-YbAx,12C(,,,)nL2112221Y(2)-bmiiinniiaxaxaxb找使（2）式最小，等价于找子空间12(,,,)nL中向量到距离最短。Ybx这样（4）式等价于TT（）AAx=Ab5即TTT12TTT120,0,,0,(,,...)0(4)nnCCCCTTT().0AbA=AA=Abxx称（5）式为法方程组，其解为超定线性方程组A=b的最小二乘解x例求下列超定线性方程组的最小二乘解1231231231232312521352xxxxxxxxxxxx解:超定方程组很难得到一组值使得每一个方程都成立，现求其最小二乘解。解法1利用公式直接写出法方程组1231231231232312521352xxxxxxxxxxxx1231112131125213152xxxAx=bTTAAx=Ab写为两边同乘以系数矩阵的转置矩阵，就得到所需要的法方程组：计算结果如下：1231112112311231311135113512521112511253152xxx1231591939361219155xxx得最小二乘解x1=-0.3141x2=0.1333x3=0.02691231231231232312521352xxxxxxxxxxxx利用极值原理，所求的最小二乘解应满足0,1,2,3iIix解法2采用最小二乘法思想，考虑如下的误差函数：2212312312322123123(,,)(2)(31)(2521)(352)Ixxxxxxxxxxxxxxx误差函数2212312312322123123(,,)(2)(31)(2521)(352)Ixxxxxxxxxxxxxxx)319915(2321xxx12312312(2)2(31)Ixxxxxxx同理可得：)253(32)1252(22321321xxxxxx12322(9362)Ixxxx12332(19315)Ixxxx令偏导数等于零()()()IxxxxIxxxxIxxxx123112321233215919302936202193150法方程组为：1231591939361219155xxx解此方程组得到最小二乘解：x1=-0.3141x2=0.1333x3=0.0269数据拟合的最小二乘法*()iiiiiyyfxy0,1,2,,.im经常由观察或测试可得到一组离散数据，给出拟合曲线y=f(x)22222010mmii*2200()[()]mmiiiiiiyyfxy这种度量标准求得拟合曲线y=f(x)的方法-----数据拟合的最小二乘法，转化为线性方程组的求解问题使得f(x)在每一个处所产生的误差δi绝对值|δi|达最小。但这样分别考虑太困难，所以考虑整体误差达到最小ixiixix已知离散数据：(,),=0,1,2,…,m,假设拟合函数为f(x)，将代入，则得函数值=f()，在每一个点都会产生一个误差：ixiy*iy课堂练习判断下列线性方程组是否有解？若无解，求其最小二乘解12341234123412343122224212442xxxxxxxxxxxxxxxx课后思考试推导数据拟合的最小二乘法公式