观察最小二乘多项式不稳定现象

1观察最小二乘多项式的数不稳定现象实验1实验任务1.1在[-1,1]区间上取n=20个等距节点，计算出以相应节点上的𝑒𝑥的值作为数据样本，以1，x，x2，⋯，𝑥𝑙为基函数做出l=3,5,7,9次的最小二乘拟合多项式。1.2画出ln(𝑐𝑜𝑛𝑑(𝐴))−𝑙曲线，其中A是确定最小二乘多项式系数的矩阵。1.3计算出不同阶最小二乘多项式给出的最小偏差σ(𝑙)。1.4将基函数改为1，𝑃1(𝑥)，𝑃2(𝑥)，⋯，𝑃𝑙(𝑥)，其中𝑃𝑖(𝑥)是勒让德多项式，结果如何？2实验原理与理论基础2.1一般线性最小二乘拟合的法方程组为：[(𝜑0,𝜑0)(𝜑0,𝜑1)⋯(𝜑0,𝜑𝑛)(𝜑1,𝜑0)(𝜑1,𝜑1)⋯(𝜑1,𝜑𝑛)⋮⋮⋮(𝜑𝑛,𝜑0)(𝜑𝑛,𝜑1)⋯(𝜑𝑛,𝜑𝑛)][𝑎0𝑎1⋮𝑎𝑛]=[(𝜑0,y)(𝜑1,y)⋮(𝜑𝑛,y)]由于以1，x，x2，⋯，𝑥𝑙为基函数，所以𝜑𝑖=𝑥𝑖，𝑖=0,1⋯l。把𝜑𝑖=𝑥𝑖，𝑖=0,1⋯l代入一般线性最小二乘拟合的法方程组中可得多项式拟合的法方程组。2.2最小二乘拟合多项式的存在唯一性：定理1：设节点𝑥0，𝑥1，⋯，𝑥𝑛互异，则多项式拟合的法方程组的解存在唯一性。定理2：设𝑎0，𝑎1，⋯，𝑎𝑛是多项式拟合的法方程组的解，则𝑃n(x)=∑𝑎𝑘𝑥𝑘𝑛𝑘=0是最小二乘拟合多项式。2.3矩阵A的条件数是cond(A)=‖𝐴‖∙‖𝐴−1‖。根据范式的不同矩阵的条件数也有3中，这里选取‖𝐴‖为A的2-范式。2.4勒让德多项式𝐿0=1，𝐿1=𝑥，𝐿𝑛+1=2𝑛+1𝑛+1𝑥𝐿𝑛(𝑥)−𝑛𝑛+1𝐿𝑛−1(𝑥)，n≥123实验内容及实验结果1.基函数为1，x，𝐱𝟐，⋯，𝒙𝒍3.1在[-1,1]区间上取n=20个等距节点，计算出以相应节点上的e^x的值作为数据样本。𝑥𝑖=−1+𝑖∗ℎ，ℎ=219，i=0，1，⋯，19𝑦𝑖=𝑒𝑥𝑖，i=0，1，⋯，193.2计算法方程组对应得系数矩阵，及增广矩阵。系数矩阵的的第i行，第j列的元素为𝑎𝑖,𝑗=(𝑥𝑖−1,𝑥𝑗−1)=∑𝑥𝑘𝑖−1∗𝑥𝑘𝑗−119𝑘=03.3求系数矩阵的条件数。cond(A)=‖𝐴‖∙‖𝐴−1‖。3.4化简增广矩阵为简化行阶梯型矩阵，得出法方程组的解。其中第一行是三阶最小二乘多项式的系数，第二行是五阶最小二乘多项式的系数等等。所以三阶最小二乘多项式为：y=0.9955+0.9976x+0.5404𝑥2+0.1770𝑥3五阶最小二乘多项式：y=1+x+0.4992𝑥2+0.1665𝑥3+0.0438𝑥4+0.0087𝑥5七阶最小二乘多项式：y=1+x+0.5+0.1667+0.0416𝑥4+0.0083𝑥5+0.0014𝑥6+0.00020457𝑥7九阶最小二乘多项式同样代入系数可得。3.5cond(A)的取值如下图所示，分别是3,5,7,9,11,13,15阶行列式对应得A的条件数：3画出ln(𝑐𝑜𝑛𝑑(𝐴))−𝑙的曲线：分析ln(𝑐𝑜𝑛𝑑(𝐴))−𝑙的曲线可看出，随着l增大，cond(A)迅速增大。这意味着当l越大时，正规方程组的病态越严重。3.6计算出不同阶最小二乘多项式给出的最小偏差σ(𝑙)。σ(𝑙)=∑[y(𝑥𝑖)−𝑦𝑖]219𝑖=0，l=3,5,7,9σ(3)=0.000313692373446139，σ(5)=2.24566107559548𝑒−08σ(7)=4.01160377773610𝑒−13，σ(9)=2.25819731366317𝑒−18可以看出随着多项式阶数的增大，其最小偏差在迅速减小。这似乎是和3.5中的结论“l越大时，正规方程组的病态越严重”相悖。3.7为了进一步研究这个问题，我们取l=3,5,7,9,11,13下图是cond(A)的取值，分别是3,5,7,9,11,13,15阶行列式对应得A的条件数。下图是ln(𝑐𝑜𝑛𝑑(𝐴))−𝑙曲线，可以发现曲线走势基本与l=3,5,7,9时确定的曲线走势一致。4计算σ(11)=7.5119𝑒−24，σ(13)=9.90515𝑒−23，σ(15)=3.4205𝑒−21对比σ(13)，σ(5)，σ(7)，σ(9)的值我们可以得出结论，随着拟合多项式次数的增大A的条件数迅速增大，确定最小二乘多项式的方程组的病态程度也随之增加。这在偏差中反映出来的便是，刚开始时次数增大偏差减小，当次数达到一定程度后，次数越大，偏差反而越大。2基函数为勒让德多项式3.8把基函数改为勒让德多项式组成的基函数：𝐿0=1，𝐿1=𝑥，𝐿𝑛+1=2𝑛+1𝑛+1𝑥𝐿𝑛(𝑥)−𝑛𝑛+1𝐿𝑛−1(𝑥)，n≥1所以定义函数function[out]=L(n,x)ifn==0out=1;elseifn==1out=x;elseout=(2*n+1)/(n+1)*x*L(n-1,x)-n/(n+1)*L(n-2,x);endend3.9用L(n,x)取代原程序中的𝑥𝑛求出最小二乘拟合函数的系数，其中第一行为三阶最小二乘拟合函数的系数，第二行为五阶最小二乘拟合函数的系数，等等每一行从左到右分别为𝑎0，𝑎1，⋯，𝑎𝑙。5把系数代入下式，即可得到各阶最小二乘拟合函数。y=∑𝑎𝑘𝐿𝑘(𝑥)𝑙𝑘=03.10cond(A)的取值如下图所示，分别是3,5,7,9,11,13,15阶行列式对应得A的条件数：作出画出ln(𝑐𝑜𝑛𝑑(𝐴))−𝑙的曲线：可以看出以勒让德多项式为基函数得到的法方程组的系数矩阵的条件数增长，相对于多项式拟合的法方程组的系数矩阵的条件数增长要缓慢得多。所以可以说随着阶数增长，以勒让德多项式为基函数得到的法方程组的病态，相对于多项式拟合的法方程组的病态，不算严重。3.11计算出不同阶最小二函数给出的最小偏差σ(𝑙)。σ(𝑙)=∑[y(𝑥𝑖)−𝑦𝑖]219𝑖=0，l=3,5,7,9σ(3)=0.493287976114723，σ(5)=0.493844031116877σ(7)=0.493805766121517，σ(9)=0.4938054984846936分析偏差，可以看出虽然以勒让德多项式为基函数得到的法方程组的系数矩阵的条件数表现更好，但是他的偏差却要大得多。