数值分析向量,矩阵范数,矩阵的条件数

§8向量,矩阵范数，矩阵的条件数一、向量、矩阵范数为了讨论线性方程组近似解的误差估计与研究解方程组迭代法的收敛性，需要在)(nnnRR或中引进向量序列(或矩阵序列)极限概念。为此，这就需要对量空间nR(或nnR矩阵空间)元素的“大小”引进某种度量即向量范数(或矩阵范数)即距离的概念。(一)向量范数：向量范数是3R中向量长度概念的推广。定义8(1)},{1为复数innxxxxxC称为n维复向量空间。},)({为复数ijnnijnnaaAAC称为nn复矩阵空间。(2)设nnnCACx,,称TnHxxxx),,(1为x的共轭转置，THAA称为A共轭转置矩阵。在许多应用中，对向量的范数(对向量的“大小”的度量)都要求满足正定条件，齐次条件和三角不等式，下面给出向量范数的抽象定义。定义9(向量范数)关于向量nRx(或nCx)的某个实值非负函数xxN)(，如果满足下述条件(1)正定性00,0xxx(2)齐次性xax其中R(或C)(3)三角不等式)(,,nnCRyxyxyx或，称xxN)(是nR上(或nC)一个向量范数(或为模)。由三角不等式可推出不等式(4)yxyx下面给出矩阵计算中一些常用向量范数。定义10设)(),,(1nnTnCxRxxx或(1)向量的“”范数inixxxN1max)((2)向量的“1”范数niixxxN111)((3)向量的“2”范数2/1122/122)(),()(niixxxxxN(4)向量的能量范数设nnRA为对称正定阵2/1),()(xAxxxNRxAAn称为向量的能量范数。定理19设nRx(或nCx)，则)(),(),(12xNxNxN是nR上(或nC)的向量范数。证明只验证三角不等式：对任意nRyx,，则222yxyx利用哥西不等式：22),(yxyx，则有),(22yxyxyx),(),(2),(yyyxxx2222222yyxx222))(yx定理20(范数的等价性)对任何nRyx,则(1)xnxx2(2)212xnxx(3)xnxx1证只证(1)。记jininxxxxxx11max,于是有(a)niijxxxx122222(b)nijjniixnxnxxx12221222(二)向量序列的极限定义11(向量序列的极限)设有向量序列}{)(kx及向量x且记TnTknkkxxxxxx),,(,),,(1)()(1)(如果2n个数列收敛，即),,1(lim)(nixxikik则称}{)(kx收敛于x，记xxkk)(lim，或说向量序列的收敛是)(kx分量收敛到x对应分量。例设有向量序列),,2,1(102102)(nkxkkk显然，有22lim)(kkx定义12(距离)设nRyx,，称非负实数yxyxd),(为yx,之间距离，其中为向量的任何一种意义下范数。定理21设}{)(kx为nR中一向量序列，且nRx，则xxkk)(lim是0)(vkxx(当k)其中v为向量的任一范数。证明只对2,vv证明。显然有),,1(0limlim)()(nixxxxikikkk)(0lim)(1kxxikini当)(0)(kxxk当又由范数的等价性定理有：xxnxxxxkkk)(2)()(于是)(0)(02)()(kxxkxxkk当(三)矩阵的范数一个nn矩阵A可看作2n维向量空间中一个向量，于是由nnR上向量“2”范数，可以引进nnR中矩阵的一种范数。NjiijFaAAF1,2/12)()(称为A的Frobenius范数。定义13(矩阵范数)关于矩阵nnRA的某个非负实值函数AAN)(，如果满足下述条件：(1)正定性：00,0AAA是且(2)齐次性：RAA,(3)三角不等式：BABA则称)(AN是nnR上的一个矩阵范数(或模)。由于在许多应用问题中，矩阵和向量是相联系的，现引进一种矩阵的算子范数。它是由向量范数诱导出来的并且这种矩阵范数和向量范数是相容的，即nnnRARx,不等式xAAx成立。定义14(矩阵的算子范数)设nnnRARx,且设有一种向量范数vx相应的定义一个矩阵的非负函数vvRxxvxAxAANn0max)((最大比值),称)(AN为矩阵A的算子范数。定理22设vx是nR上的向量范数，则vAAN)(是nnR上一个范数且满足相容条件：(1)vvvxAAx(2)),(nnvvvRBABAAB证明由vAAN)(定义,可知有vvvAxAx或),(,nnnvvvRxRAxAAx下面验证三角不等式：vvvBABA由定义vvxRxvxxBABAn)(max0由于vvvBxAxxBA)(vvvvxBxAvvvxBA)(或)0(,)(xRxBAxxBAnvvvv且故vvvBABA定理23(矩阵范数公式)设nnnRARx,，则(1)njijnixaxAxA1110maxmax(称为A的行范数)(2)niijnjxaxAxA111101maxmax(称为A的列范数)(3))(maxmax2202AAxAxATx(称为A的“2”范数)其中)(maxAAT为AAT最大特征值。证明证(1)：记`1),,(Tnxxx,txxini1maxnjnjjiijniniaa1011)1(max0其中于是jnjijninjjijnixaxaAx1111maxmaxnjijitat1max说明，对任何向量0x，则有xAx(a)如果能找到一向量0x且10x使00xAx那末，定理得证。下面来寻求0x使比值等于，记Tnxxxx),,,(210且使10x于是，TnjnjnjjnjjjijjxaxaxaAx),,,,(111100且由(a)式有0Ax由此，应选取0x为：0,10,100jijijaax当当则10x及njnjjijjiaxa1100或0Ax故xAxx0max证(3)：由于AAT为对称半正定矩阵，则AAT特征值为非负，即记AAT特征值为),,1,1(nii，则有021n且有niiu1}{满足),,2,1(,niuAuAiiiT,ijjiuu),(考查比值：nRx且0x，于是niiiuax1),(),(),(),(2222xxxAxAxxAxAxxAxTniininiiiiiiuu1211),(11212niiniii说明，对任何非零向量nRx，则有122xAx另一方面，取1ux则有111111221221),(),(uuuuuAu故)(max2AAAT定理24(矩阵范数等价性)设nnRA，则(1)AnAAn21;(2)AnAAn11定义25(矩阵的谱半径)设nnRA的特征值为),,1(nii，称iniA1max)(为A的谱半径。定理25(特征值界)(1)设nnRA，则AA)(，其中A为满足矩阵，向量相容性条件的矩阵范数。(2)设nnRA为对称矩阵，则)(2AA。证明只证(1)。设为A的任一特征值，于是，存在0x使xAx且AxxxxA即AAx)(或定理26设为矩阵的算子范数，且1B，则BI为非奇异矩阵，且有估计BBI11)(1证明1)反证法。设BI为奇异阵，则0)(xBI有非零解记为0x，即00xBx于是，100xBx由此，有1B，这与假设矛盾。2)由IBIBI1))((即得11)()(BIBIBI从而11)()(BIBIBIBBI11)(1二、矩阵的条件数、病态方程组直接法的误差原因：1．算法及舍入原因2．方程组本身固有的问题要分析方程组的状态并估计算法的误差（原始数据扰动对解的影响）——量度：矩阵的条件数【引例】设方程组220001.111121xx,精确解为02x.a=[11;11.0001];b=[2,2]';a\b对右端项作微小变化(小扰动)：0001.220001.111121xx其中0001.00ba=[11;11.0001];b=[2,2.0001]';a\b显然有,11,11xxx0186.0101213001.020152xx【说明】右端常数项的相对误差4105.020001.0bb而引起解的相对误差5.021xx常数项的微小误差引起解的相对误差较大,扩大了410倍,也就是说,此方程组解对方程组的数据A,b非常敏感,这样的方程组就是病态方程组.设线性方程组为Ax=b…………………（1）其中A∈Rn×n,x,b∈Rn且A非奇异。x*：准确解，δx：解的误差，即xxx…………………（2）δA--A的误差，δb--b的误差。讨论δx与δA，δb的关系(一)b有误差而A无误差情形将带有误差的右端项和带误差的解向量代入方程组，则bbxxA)(…………………（3）由于bAx，而得到bAx1,从而bAx1另一方面，由(1)式取范数，有)0(,1bbAxxAb或可得【定理27】设A是非奇异矩阵，Ax=b≠0,且A（x*+δx）=b+δb则有误差估计式bbAcondxx)(…………………（4）其中AAAcond1)(称为方阵A的条件数。说明：1、解的相对误差是右端项b的相对误差的cond(A)倍2、如果条件数很大，则解的误差将成倍增长。【定义】称条件数很大的矩阵为“病态”矩阵；称病态矩阵对应的方程组为病态方程组。反之，则称A为良态矩阵。(二)A及b都有误差的情形【定理28】设在方程组Ax=b中，A及b都有误差，且11AA，则有bbAAAAAcondAcondxx)(1)(*证：带有误差的方程组为bbxxAA))((…………………（5）由于bAx，因而b*xAAAx)(…………………（6）为从（6）式中解出δx，必须限定（A+δA）-1存在。从而)()(*1xbAAx…………………（7）利用)(1AAEAAA，得到1111)()(AAAEAA…………………（8）又由定理26知，当11AA时AAAAE11111)(…………………（9）对（7）式取范数，并由（8）、（9）式得到*111xAbAAAx………………（10）从而由bAx1*及（10）式，有bbAAAAAcondAcondxx)(1)(*……………（11）【注】仅A或b有误差是（11）式中δb=0或δA=0的特例。(三)常用的条件数及其性质AAAcond1)(1111)(AAAcond)()()(minmax2212AAAAAAAcondTT1.当A=AT时，)()()(minmax2AAAAA