第三章向量范数与矩阵范数

1第三章向量范数与矩阵范数2内容提要范数的引入向量范数的类型、定义与性质矩阵范数的类型、定义与性质方阵的谱半径范数及其应用3本讲内容定义、常见向量范数、性质向量范数定义、常见矩阵范数、性质矩阵范数矩阵条件数原因范数的引入4向量范数与矩阵范数引入为了研究线性方程组近似解的误差估计和迭代法的收敛性，我们需要对Rn中向量或Rn2中矩阵的“大小”引进某种度量——范数。5向量范数对于实数和复数，由于定义了它们的绝对值或模，这样我们就可以用这个度量来表示它们的大小（几何上就是长度），进而可以考察两个实数或复数的距离。对于维线性空间，定义了内积以后，向量就有了长度（大小）、角度、距离等度量概念，这显然是3维现实空间中相应概念的推广。利用公理化的方法，可以进一步把向量长度的概念推广到范数。n6向量范数：向量的长度或模(2)||||||||||;()xxR3||||||||||||xyxy（）。(1)，当且仅当时，等号成立。x||||0x例1复数的长度或模指的是量(,)xabaibj==+22||||xab显然复向量的模具有下列三条性质：||||xx(2)||||||||||;()xxR3||||||||||||xyxy（）。(1)，当且仅当时，等号成立。x||||0x、()nxy?R22212||||(,)nxxxxxx显然向量的模也具有下列三条性质：||||xx例2维欧氏空间中向量的长度或模定义为xn向量范数：向量的长度或模8向量范数定义：设函数f:RnR，若f满足(1)f(x)0，xRn,等号当且仅当x=0时成立（正定性）(2)f(x)=||·f(x)，xRn,R（齐次性）(3)f(x+y)f(x)+f(y)（三角不等式）则称f为Rn上的（向量）范数，通常记为||·||向量范数定义如果是数域上的线性空间，对中的任意向量，都有一个非负实数与之对应，并且具有下列三个条件（正定性、正齐性和三角不等式）：VFxVÎV||||x9向量范数(2)()||||||||||;()xxF正齐性3()||||||||||||xyxyxyV（），角不、三等式(1)()||||0;||||0xxx正定性则称是向量的向量范数，称定义了范数的线性空间为赋范线性空间。||||xxV拓扑空间线性空间Hausdorff空间赋范空间距离空间(度量空间)拓扑线性空间完备距离线性空间距离线性空间内积空间Hilbert空间Banach空间欧氏空间和nRnC各类空间的层次关系11常见向量范数Rn空间上常见的向量范数1-范数：1211=||||||ninixxxxx1222221221ninixxxxx2-范数：1maxiinxx-范数（有时也称最大范数）：11nppipixxp-范数：例3设是内积空间，则由V||||,,xVxxx??定义的是上的向量范数，称为由内积导出的范数。这说明范数未必都可由内积导出。例如后面介绍的和。||||V,gg||||1||||向量范数例4在赋范线性空间中，定义任意两向量之间的距离为V,,(,)||||dxyxyxyV??则称此距离为由范数导出的距离。此时按此式定义了距离的满足度量空间的距离三公理（对称性、三角不等式和非负性），所以赋范线性空间按由范数导出的距离构成一个特殊的度量空间。V(,)dgg||||向量范数例5对任意，由12(,,,)TnnxxxxF222122||||||||||nxxxx+º++L定义的是上的向量范数，称为2-范数或范数，也称为Euclid范数。2||||nF2l常见向量范数：2-范数例6对任意，由12(,,,)TnnxxxxF1/1,1||||||pnppiixxp=骣琪º琪琪琪桫³å定义的是上的向量范数，称为p-范数或范数。||||pnFpl常见向量范数：p-范数例7对任意，由12(,,,)TnnxxxxF121||||||||||nxxxx++º+L定义的是上的向量范数，称为1-范数或范数或和范数，也被风趣地称为Manhattan范数。1||||nF1l特别地，p=1时，有常见向量范数：1-范数常见向量范数：举例1x2xxT4,2,1x例：求向量的0，１，2和∞-范数。解：;742121421222。44,2,1max30x遗憾的是，当时，由01p1/21||||||pppiixx=骣琪º琪琪琪桫å定义的不是上的向量范数。||||pnF111222||||||||||||因为时，取，则122,np(1,0),(0,1)TT111222||||||||1,||||4常见向量范数：特殊点例8对任意，由12(,,,)TnnxxxxF||||max||iixx¥º定义的是上的向量范数，称为-范数或范数或极大范数。||||nFl在广义实数范围内，P能否取到正无穷大呢？具体而言，如何计算这种范数呢？lim||||||||ppxx??¥º也就是常见向量范数：极大范数证明：验证是向量范数显然很容易。下证。||||max||iixxlim||||max||ppiixx令，则有||max||iijxx1/1||||(||||||)||pppjipixxxx1/1/|||()|||pppjnxnx由极限的两边夹法则，并注意到，即得欲证结论。1/lim1ppn常见向量范数：极大范数这些范数在几何上如何理解呢？例9对任意，对应于四种范数的闭单位圆的图形分别为212(,)TxxxC||||1x£1,2,,p例10对任意，由()[,]ftCab1/||()|||(,)1|pbppaftftdtp骣琪º琪琪桫³ò定义的是上的向量范数，称为范数。||||p[,]CabpL特别地，范数、范数和范数分别为1L2LL1||()|||()|bpaftftdtºò22||()|||()|baftftdtºò||()||max|()|atbftft¥＃=非常见向量范数定义的是上的向量范数，称为加权范数或椭圆范数。||||AnC例11若矩阵为Hermite正定矩阵，则由||,||HAnxxAxxCº?nnAC当时，；当时由对称正定知，即。Ax||0||Ax=xθ¹0HxAx||0||Ax对于任意，有kC()()||||||||||||TAATxkkxAkxxkxkxA===?非常见向量范数：加权范数由于为Hermite正定矩阵，故存在酉矩阵，使得UA从而有2||)|||(|||ABxxyy++=12Λ(,,,)TnUAUdiagλλλ==L这里的特征值都为正数。(1,2,,)iλin=LAΛΛΛTTTAUBUUUB==?º此时2|||||||()|TTTATxAxxBBxBBxxxxBnyC因此对任意，22||||||||||||||||AAxBByyx?++2()(|||||)|||HAWxWxWxx==一般地，由于是Hermite正定矩阵，从而有可逆矩阵（未必是酉矩阵），使得，因此WAHAWW=如果，此时，这就是加权范数或椭圆范数名称的由来。21/21||||(||)nAiiiwxx==å1(,,)nWdiagww=L这从几何上可以理解成求可逆变换的像的“长度”。这说明只要运算成立即可，因此对矩阵的要求可放宽为列满秩矩阵。W2||||WxWWx为李雅普诺夫（Lyapunov）函数，这里是正定对称矩阵。大家已经知道，此函数是讨论线性和非线性系统稳定性的重要工具。P在现代控制理论中，称二次型函数2()||||PHVxxPxx?非常见向量范数：加权范数例12（模式识别中的模式分类问题）2||||((,))()TxyxDxyyxy?=--模式分类的问题指的是根据已知类型属性的观测样本的模式向量，判断未知类型属性的模式向量归属于哪一类模式。其基本思想是根据与模式样本向量的相似度大小作出判断。1,,MssLxisx最简单的方法是用两向量之间的距离来表示相似度，距离越小，相似度越大。最典型的是Euclidean距离1111||tan(,)(,;max||;||)(;||;,)(,)njjjjjjnjjjnmmjjjManhatDxyChebyshevDxyMinkowskiDxyChebyshevDxyxyxyxyxy===ÄÄ???骣琪?琪琪çÄ桫Ä÷ååå距离距离距离距离其他距离测度还包括以及与椭圆范数类似的Mahalanobis距离：12()Σ(,)(),TTdyyxyxx-?-这里是从正态母体中抽取的两个样本。(,Σ)Nμ,xy30范数性质范数的性质(1)连续性定理：设f是Rn上的任一向量范数，则f关于x的每个分量连续。(2)等价性定理：设||·||s和||·||t是Rn上的任意两个范数，则存在常数c1和c2，使得对任意的xRn有12stscxxcx31定理：设||·||是Rn上的任意一个向量范数，则范数性质(3)Cauchy-Schwarz不等式(4)向量序列的收敛性()limkkxx22(,)xyxy()lim0kkxx定理：证明：略定义：设是Rn中的一个向量序列，其中如果，则称收敛到，记为()kx()()()()12,,,Tkkkknxxxx()limkiikxx()kxx()limkkxx22||||||||Uxx=定理Euclid范数是酉不变的，即对任意酉矩阵以及任意，均有nxCÎnnUC´Î这个定理的结论是显然的，因为酉变换保持向量的内积不变，自然也保持了Euclid意义下的几何结构（长度、角度或范数等）不变。范数性质12||||||||||||βαβCxxCx＃注意这个结论对无限维未必成立。另外，根据等价性，处理向量问题（例如向量序列的敛散性）时，我们可以基于一种范数来建立理论，而使用另一种范数来进行计算。定理有限维线性空间上的不同范数是等价的，即对上定义的任意两种范数，必存在两个任意正常数，使得V12,CC||||,||||αβggV范数性质向量是特殊的矩阵，矩阵可以看成一个维向量，因此自然想到将向量范数推广到矩阵范数。mnmn´矩阵范数35矩阵范数定义：设函数f:RnnR，若f满足(1)f(A)0，ARnn,且f(A)=0A=0（正定性）(2)f(A)=||·f(A)，ARn,R（齐次性）(3)f(A+B)f(A)+f(B)（三角不等式）(4)f(AB)f(A)f(B)（相容性）则称f为Rnn上的（矩阵）范数，通常记为||·||矩阵范数36矩阵范数定义对中的任意矩阵，都有一个非负实数与之对应，并且具有下列三个条件（正定性、正齐性和三角不等式）：mnF´A||||A则称是矩阵的（广义）矩阵范数。||||AA(2)()||||||||||;()AAF正齐性(1)()||||0;||||0AAOA正定性3()||||||||||||mnABABABF三角不等式（），、37常见矩阵范数常见的矩阵范数(1)F-范数(Frobenious范数)12211nnijFijAa(2)算子范数(从属范数、诱导范数)其中||·||是Rn上的任意一个范数10supmaxnxxRxAxAAxx矩阵不仅仅是向量，它还可以看成变换或算子。实际中，从算子或变换的角度来定义范数更加有用。定义5对中的任意矩阵，用一个非负实数表示对于任意向量，可以“拉伸”向量的最大倍数，即使得不等式成立的最小的数。称为范数和诱导出的矩阵范数或算子范数。mnF´A||||AnxFÎAx||||||||CxAxC||||A||||||||算子范数由矩阵范数的正齐性可知的作用是由它对单位向量的作用所决定，因此可以等价地用单位向