最小二乘法及matlab程序

最小二乘法及matlab程序最小二乘法简介：最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。最小二乘法的矩阵形式：Axb若未知量的个数大于方程的个数，则方程无解，但在数值计算领域，我们通常是计算min||||Axb，解出其中的x。比较直观的做法是求解TTAAxAb，但通常比较低效。其中一种常见的解法是对A进行QR分解（A=QR），其中Q是nk正交矩阵（OrthonormalMatrix），R是nk上三角矩阵（UpperTriangularMatrix），则有：1minminminAxbQRxbRxQb。Matlab命令：一次函数线性拟合使用polyfit（x,y,1）；多项式函数线性拟合使用polyfit（x,y,n），n为次数；例如：x=[0.5,1.0,1.5,2.0,2.5,3.0];y=[1.75,2.45,3.81,4.80,7.00,8.60];p=polyfit(x,y,2)x1=0.5:0.5:3.0;y1=polyval(p,x1);plot(x,y,'*r',x1,y1,'-b')计算结果为：p=0.56140.82871.1560即所得多项式为y=0.5614x^2+0.8287x+1.15560然后可以使用polyval在t处预测：y_hat=polyval(p,t)非线性函数使用：lsqcurvefit、nlinfit格式:lsqcurvefit(f,a,x,y)、nlinfit(x,y,f,a)f:符号函数句柄,如果是以m文件的形式调用的时候,别忘记加@.这里需要注意,f函数的返回值是和y匹对的,即拟合参数的标准是(f-y)^2取最小值,具体看下面的例子a:最开始预估的值(预拟合的未知参数的估计值)。如上面的问题如果我们预估A为1,B为2,则a=[12]x:我们已经获知的x的值y:我们已经获知的x对应的y的值例子1:问题:对于函数y=a*sin(x)*exp(x)-b/log(x)我们现在已经有多组(x,y)的数据,我们要求最佳的a,b值%针对上面的问题,我们可以来演示下如何使用这个函数以及看下其效果x=2:10;y=8*sin(x).*exp(x)-12./log(x);%上面假如是我们事先获得的值a=[12];f=@(a,x)a(1)*sin(x).*exp(x)-a(2)./log(x);%第一种方法使用lsqcurvefitlsqcurvefit(f,a,x,y)ans=7.99999999999998711.999999999988997%和我们预期的值8和12结合得非常好%第二种方法使用nlinfitnlinfit(x,y,f,a)ans=8.00000000000000011.999999999999998%**********************************%另一种方法,假如我们写了一个如下的m文件functionf=test(a,x)f=a(1)*sin(x).*exp(x)-a(2)./log(x);end%则在上面lsqcurvefit函数调用如下,不要忘记那个@lsqcurvefit(@test,a,x,y)例子2:(多元的情况,注意看格式)问题:我们已知z=a*(exp(y)+1)-sin(x)*b且有多组(x,y,z)的值,现在求最佳系数a,bx=2:10;y=10*sin(x)./log(x);z=4.5*(exp(y)+1)-sin(x)*13.8;f=@(a,x)a(1)*(exp(x(2,:))+1)-sin(x(1,:))*a(2);%第一种方法使用lsqcurvefitlsqcurvefit(f,[12],[x;y],z)%注意这里面的[x;y],这里的[12]表示我们设置f函数里的初始值a(1)=1,,a(2)=2ans=4.49999999999999913.800000000000024%第二种方法使用nlinfitnlinfit([x;y],z,f,[12])ans=4.50000000000000013.799999999999956