奇异值分解及应用分析

定理：设,0rCAnmr则存在,,nnnnmmCTCS使得000rISAT右式称为矩阵A的等价标准型酉等价：设,,nmCBA若存在m阶酉矩阵U和n阶酉矩阵V，使得,BAVUH则称A与B酉等价。矩阵的奇异值分解就是矩阵在酉等价下的一种标准型。第一节奇异值分解引理1证明设是AHA的特征值，x是相应的特征向量，则AHAx=x由于AHA为Hermite矩阵，故是实数。又。的特征值均为非负实数与设HHnmAAAACA,0,0)()(),(0xxxxAxAxAxAxHHH同理可证AAH的特征值也是非负实数。证明设x是方程组AHAx=0的非0解，引理2)()()(,ArankAArankAArankCAHHnmr则设mCAx0)(),(AxAxAxAxHH故则由同解。与线性方程组因此00,AxAAxH得;0Ax的解；的解也是反之，00AxAAxH)()()(HHAArankAArankArank)()(AArankArankH得替换用,AAH对于Hermite矩阵AHA，AAH，设AHA，AAH有r个非0特征值，分别记为00121121nrrmrrriii,,2,1,则,nmrCA设即：AHA与AAH非0特征值相同，并且非零特征值的个数为)(Arank奇异值的定义简称奇异值的正奇异值，为矩阵称Ariii,,,1,0,121mrrHnmrAACA的特征值为且设说明：A的正奇异值个数等于，并且A与AH有相同的奇异值。)(Arank则酉等价与设证明,,,BACBAnmr,)(BVBVUBVUBVAAHHHH）（有相同的奇异值。与故征值，是酉相似的，有相同特与所以BABBAAHH定理酉等价的矩阵有相同的奇异值由UBVACVCUnnmm使存在酉矩阵,,奇异值分解定理设A是秩为(0)rr的mn则存在阶酉矩阵矩阵,mU与阶酉矩阵,V使得HOUAVSOO其中12diag(,,,)r(1,2,,)ir10r为矩阵A的全部奇异值.n①证明设矩阵的特征值为HAA1210rrn则存在n阶酉矩阵，使得V12HH()nOVAAVOO将分块为V12()VVV其中，分别是的前r列与后列.1V2VVnr②并改写②式为2HOAAVVOO则有H2T112，AAVVAAVO由③的第一式可得③HH21H11111()()rI，或者VAAVAVAV由③的第二式可得H222()()或者AVAVOAVO令，则，即的r个列是两两正交的单位向量.记111UAV11HrIUU1U112(,,,)rUuuu因此可将扩充成标准正交基，记增添的向量为，并构造矩阵则是m阶正交矩阵,且有于是可得12,,,ruuu1,,rmuu21(,,)rmUuu12121(,)(,,,,,,)rrmUUUuuuuuH1121HrI，UUUUOHHH1121H2()()，，OUUAVUAVAVUOOOUHHHH111222rrrOAUVuvuvuvOO称上式为矩阵A的奇异值分解.推论在矩阵A的奇异值分解A=UDVH中，U的列向量为AAH的特征向量，V的列向量为AHA的特征向量.HHHHUDVUDVAA))((证明)0,,0,,,,()(212rHUdiagUDUAAHHHUUDVDUUDV2），，，（记nuuuU21niuuAAiiiH,,2,1,)(则1]求矩阵AHA的酉相似对角矩阵及酉相似矩阵V;000)(2VAAVHH,,),,()(2121rnnrnCVCVVVVrmCAVU1115]构造奇异值分解4]扩充U1为酉矩阵U=(U1,U2)3]令2]记奇异值分解方法1—利用矩阵AHA求解HVUA000例1、求矩阵000110101A的奇异值分解可求得的特征值为211110101AAHAAH,0,1,3321对应的特征向量依次为,2,1,11Tx,0,1,12Tx,1,1,13Tx于是可得：,2rankA,1003令,,21VVV其中3221131,21,61xVxxV计算：111AVU0021212121构造：TU1,0,02则1000212102121,21UUUA的奇异值分解为TVUA000010003奇异值分解方法2--利用矩阵AAH求解1]先求矩阵AAH的酉相似对角矩阵及酉相似矩阵U;000)(2UAAUHH,,),,()(2121rmmrmCVCUUUUrnHCUAV1114]扩充V1为酉矩阵V=(V1,V2)5]构造奇异值分解2]记3]令HVUA000例求矩阵A的奇异值分解000021A利用矩阵AAH求解0,5,5,5,0000000053211的特征值HHAAAA;100,010,001321xxx对应的特征向量分别为）（）（取32211321,,,,,xxUxUxxxU,510010020015251111UAVH令515252512151522),(,VVVV则取51525251000005100010001HUAVA因此第二节奇异值分解的性质与应用1.奇异值分解可以降维A表示个维向量，可以通过奇异值分解表示成个维向量.若A的秩远远小于和,则通过奇异值分解可以降低A的维数.可以计算出，当时，可以达到降维的目的，同时可以降低计算机对存贮器的要求.1mnrmnnmmnrmnr2.奇异值对矩阵的扰动不敏感特征值对矩阵的扰动敏感.在数学上可以证明，奇异值的变化不会超过相应矩阵的变化，即对任何的相同阶数的实矩阵A、B的按从大到小排列的奇异值和有ii2iiAB3.奇异值的比例不变性,即的奇异值是A的奇异值的倍.A4.奇异值的旋转不变性.即若P是正交阵，PA的奇异值与A的奇异值相同.奇异值的比例和旋转不变性特征在数字图象的旋转、镜像、平移、放大、缩小等几何变化方面有很好的应用.5.容易得到矩阵A的秩为的一个最佳逼近矩阵.krkA是矩阵的加权和，其中权系数按递减排列：TTT111222rrrAuvuvuv120r假设推荐系统中有用户集合有6个用户，即U={u1,u2,u3,u4,u5,u6}，项目（物品）集合有7个项目，即V={v1,v2,v3,v4,v5,v6,v7}，用户对项目的评分结合为R，用户对项目的评分范围是[0,5]，如图所示。推荐系统推荐系统的目标就是预测出符号“？”对应位置的分值。推荐系统基于这样一个假设：用户对项目的打分越高，表明用户越喜欢。因此，预测出用户对未评分项目的评分后，根据分值大小排序，把分值高的项目推荐给用户。矩阵分解目标就是把用户-项目评分矩阵R分解成用户因子矩阵和项目因子矩阵乘的形式，即R=UV，这里R是n×m，n=6，m=7，U是n×k，V是k×m，如图所示。