矩阵范数详解

1向量和矩阵的范数的若干难点导引矩阵范数的定义引入矩阵范数的原因与向量范数的理由是相似的，在许多场合需要“测量”矩阵的“大小”，比如矩阵序列的收敛，解线性方程组时的误差分析等，具体的情况在这里不再复述。最容易想到的矩阵范数，是把矩阵mnAC可以视为一个mn维的向量（采用所谓“拉直”的变换），所以，直观上可用mnC上的向量范数来作为mnAC的矩阵范数。比如在1l范数意义下，111||||||mnijijAa12tr()HAA；（1.1）在2l-范数意义下，12211||||||mnFijijAa，（1.2）注意这里为了避免与以后的记号混淆，下标用“F”，这样一个矩阵范数，称为Frobenius范数，或F-范数。可以验证它们都满足向量范数的3个条件。那么是否矩阵范数就这样解决了？因为数学上的任一定义都要与其对象的运算联系起来，矩阵之间有乘法运算，它在定义范数时应予以体现，也即估计AB的“大小”相对于AB与的“大小”关系。定义1设mnAC，对每一个A，如果对应着一个实函数()NA，记为||||A，它满足以下条件：（1）非负性：||||0A；（1a）正定性：||||0mnAOA（2）齐次性：||||||||||,AAC；（3）三角不等式：||A||||||||||||,mnABABBC则称()||||NAA为A的广义矩阵范数。进一步，若对,,mnnlmlCCC上的同类广义矩阵范数||||，有（4）（矩阵相乘的）相容性：||A||||||||||||ABAB，nlBC，则称()||||NAA为A的矩阵范数。我们现在来验证前面（1.1）和（1.2）定义的矩阵范数是否合法？我们这里只考虑（1.2）,把较容易的（1.1）的验证留给同学们，三角不等式的验证。按列分块，记1212(,,,),(,,,)nnAaaaBbbb。222112||)(,),(),(||||||FnnFbababaBA2222222211||||||||||||nnbababa22121222||||||||||||||||nnabab2222122121222122||||||||2||||||||||||||||||||||||nnnnaaababbb对上式中第2个括号内的诸项，应用Cauchy不等式，则有222||||||||2||||||||||||FFFFFABAABB2(||||||||)FFAB（1.3）于是，两边开方，即得三角不等式。再验证矩阵乘法相容性。222111111||||||||mlnmlnFikkjikkiijkijkABabab2221111||||mlnniksjijksab（这一步用了Cauchy不等式）22221111||||||||||||mnnliksjFFiksjabAB（1.4）可见，矩阵相容性满足。这样就完成了对矩阵F-范数的验证。是不是这样直接将向量范数运用到矩阵范数就可以了吗？No!运用l-范数于矩阵范数时便出了问题。如果11||||max||ijimjnAa，那么,这样的矩阵范数在下面一个例子上就行不通。设21122,21122AAA。因此，按上述矩阵∞-范数的定义，||||1,||AA2||||1,||||2AA，于是22||||||||||||||||1AAAAA但这是矛盾的。所以简单地将l-范数运用于矩阵范数，是不可行的。虽然这仅是一个反例，但是数学的定义是不可以有例外的。由此，我们必须认识到，不能随便套用向量范数的形式来构造矩阵范数。为此,我们仅给出矩阵范数的定义是不够的，还需要研究如何构成具体的矩阵范数的方法。当然，你也可以不去考虑构成方法，一个函数一个函数去试，只要满足条件就行。不过这样做的工作量太大，也很盲目。第二，在实际计算时，往往矩阵与向量出现在同一个计算问题中，所以在考虑构造矩阵范数时，应该使它与向量范数相容。比如要考虑Ax的“大小”，Ax是一个向量，但它由A与x相乘而得的，它与A的“大小”和x的“大小”的关系如何？这提出了两类范数相容的概念。定义2对于mnC上的矩阵范数||||M和,mnCC上的同类向量范数||||V，如果成立||||||||||||,,mnnVMVAxAxACxC（1.5）则称矩阵范数||||M与向量范数||||V是相容的。例1．1可以证明12211||||||mnFijijAa12tr()HAA是与向量范数2||||相容。事实上，在（1。2）中，取1nBxC，那么22||||||||||||||||||||||||FFFFAxABABAx一．矩阵算子范数现在给出一种构造矩阵范数的一般方法，它可以使构造出的矩阵范数与向量范数相容，当然，它也满足定义1规定的4个条件。定义3设,mnCC上的同类向量范数为||||V，mnAC，定义在mnC空间上的矩阵A的由向量范数||||V诱导给出的矩阵范数为0||||||||max||||VVxVAxAx（2.1）可以验证，这样定义出的矩阵范数||||VA满足定义1规定的4个条件，同时又满足矩阵范数3与向量范数相容性要求（定义2）。由于有什么样的向量范数||||V，就有什么样的矩阵范数，所以，这样的矩阵范数称为由向量范数诱导出的，简称诱导范数；又因为（2.1）实际上规定了一个函数（或算子），故又称为算子范数。（2.1）给定的范数实际是寻求一个最优化问题的最优值，求目标函数||||||||VVAxx的最大值，约束条件是0x，也就在nC空间中除原点外的点中，找一个n维向量x，使||||||||VVAxx取得最大值。如果直接考虑这样一个优化问题,还是有困难的.可以证明，它可以下列等价方式定义,使问题的处理简单。0||||||||max||||VVxVAxAx||||1||||1||||maxmax||||||||VVVVxxVAxAxx（2.2）事实上,分母上的||||Vx是一个正数(0x),那么根据向量范数的齐次性有000||||1||||1||||1maxmaxmaxmaxmax||||||||||||VVVVVxxxzxVVVVVAxxAxAAzAxxxx上面第3个等号成立是因为向量||||Vxzx为一个单位向量。下面我们从理论上证明这样的矩阵范数||||VA满足定义1规定的4个条件，同时又满足矩阵范数与向量范数相容性要求。定理2。1由（2.1）或（2.2）给定的mnC上的矩阵范数满足矩阵范数定义1的4个条件，且与相应的向量范数相容。证明：首先，矩阵范数与向量范数的相容性是不难证明的，事实上，对||||Vx=1,||||1||||||||||||max||||||||VVVVVVzAxAAzAx,因此,矩阵范数与向量范数的相容性条件（1.5）成立。我们下面来验证（2.1）或（2.2）满足矩阵范数的4个条件。这4个条件中，前2个也容易验证，因此这里只来考察第3,4个条件。三角不等式的验证:对于任一mnBC||||1||||1||||1||||max||()||max||||max||||||||xxxABABxAxBxAB||||1||||1max||||max||||||||||||xxAxBxAB矩阵相乘相容性的验证:由（1.5），不难有||||||||||||||||||||||||VVVVVVABxABxABx当0x时，||||||||||||||||VVVVABxABx所以0||||||||max||||||||||||VVVVxVABxABABx至此，证实了用算子范数确能给出满足矩阵范数定义和矩阵范数与向量范数的相容性的矩阵范数。推论1对于nnC上的任一种向量诱导范数，都有||||1||||max||||1xIIx（2。3）但是要注意的是，对一般的矩阵范数，对任一向量nxC，有4||||||||||||||||xIxIx故有||||1I。比如，||||FA不是诱导矩阵范数，所以||||1FI。三．几个常用的诱导矩阵范数上面的论述表明，诱导矩阵范数与向量范数密切相关，有何种向量范数，就有什么样的诱导矩阵范数。下面就来具体地构造几个常用的诱导矩阵范数。设mnAC。例3．1设mnAC，由向量1l-范数诱导而来的最大列和诱导矩阵范数111||||max||mijjniAa（3.1）证明：按列分块，记12(,,,)nAaaa，则由（3.1）和向量1l-范数的定义可知111||||max||||jjnAa设12(,,,)nnnxxxxC，且有1||||1x1||||Ax111111||||||||mnmnnmijjijjjijijijjiaxaxxa1max||||max||nijjijjjjaxa因此,111||||1||||max||||xAAx1max||mijjia(+)另一方面,选取k,使得11||max||mmikijjiiaa令0x为第k的单位向量(0,0,1,0,,0)Tke,那么012(,,,)TkkkmkAxaaaa11101||||111||||max||||||||||max||mmikijxjiiAAxAxaa(++)综合(+)与(++)可知,由向量1l-范数诱导出的矩阵范数既是1||||A的上界,又是其下界,因此必有(3.1).例3.2设mnAC，矩阵谱范数由2l-范数诱导得出的矩阵范数，定义为2max1||||max{|}()HHAAAAA是的特征值(3.2)其中1为A的最大奇异值,当nnAR时,2max||||()TAAA(3.3)证明:首先由线性代数,HAA是半正定矩阵,事实上,对任一nxC,有22(,)()()||||0HHHHxAAxxAAxAxAxAx因此,HAA的特征值都为非负实数,记为120n,而且HAA具有n个相互正交的,2l-范数等于1(即标准化了的)特征向量(1)(2)(),,,nxxx,它们分别对应于特征值120n。故这组特征向量构成了一组标准正交基，用它们可表示任一个范数2||||1x的向量x：5()1niiixx而且，由2||||1x，可得到211nii。这样，()()()111()nnnHHiHiiiiiiiiiAAxAAxAAxx。由此2()()211||||(,),nnHiiiiiiiAxxAAxxx22221122111||||||nnnii，也就是21||||Ax由x的任意性和算子范数的定义2221||||1||||max||||xAAx（*）另一方面，由2||||1x，并且取1对应的特征向量(1)x，考虑(1)2(1)(1)(1)(1)(1)(1)(1)2211121||||(,)(,)(,)||||HAxxAAxxxxxx所以2(1)2221||||1||||max||||||||xAAxAx（**）综合（*）和（**），由2l-范数诱导得出的矩阵范数应为21max1||||max{|}()HHAAAAA是的特征值。例3．3设mnAC，l-范数诱导得出的矩阵范数11||||max||nij