矩阵分解在优化方法中的应用

矩阵论小论文2020/11/101矩阵分解以及矩阵范数在数值计算中的应用张先垒（自动化与电气工程学院控制科学与工程2012210186）【摘要】矩阵的分解是将一个矩阵分解为较为简单的或具有某种特性的若干矩阵的和或者乘积，这是矩阵理论及其应用中比较常见的方法。由于矩阵的这些特殊的分解形式，一方面反映了矩阵的某些数值特性，如矩阵的秩、特征值、奇异值等；另一方面矩阵的分解方法与过程往往为某些有效的数值计算方法和理论分析提供了重要的依据，它是应用于解最优化问题、特征值问题、最小二乘方问题的主要数学工具。关键词：矩阵分解对角化逆矩阵范数条件数1.引言矩阵分解在工程中的应用主要是在解线性方程组中,而这主要就是关系到储存和计算时间的问题上面,如何实现最小的储存和最少的计算时间是在工程计算中的头等问题。在这方年就牵涉到很多对矩阵进行怎样的分解，这篇文章介绍了基本的关于三角分解相关的内容以及关于界的稳定性的考虑。2.矩阵的三角分解求解线性方程组数值求解线性方程组的方法中有一个主要是直接法，假设计算中没有舍入误差，经过有限次算术运算能够给出问题的精确解的数值方法。其中高斯消去法就是利用矩阵的分解实现的。矩阵论一种有效而且应用广泛的分解法就是三角分解法，将一个矩阵分解为一个酉矩阵（或正交矩阵）与一个三角矩阵的乘积或者三角矩阵与三角矩阵的乘积。（见课本P93例4.3）考虑一般的线性方程组，设其中的系数矩阵A是可逆的，1111nmmnaaAaa（1-1）设矩阵A的第一列中至少有一个是非零元素（否则A就是奇异矩阵）不妨设为1ia若一般的记初等矩阵[1]如1-2式及矩阵论课本上的Givens矩阵。矩阵论小论文2020/11/102101(,)101iPijjij（1-2）根据矩阵理论的知识我们知道矩阵(,)Pij左乘矩阵A，作用就是对换A的第i和第j行，右乘A的作用是对换A第i和第j列。因此通过取11(1,)PPi，则矩阵111()ijAPAa中的1110a。用第一行与其他行的线性组合可以将1A第一列对角线以下部分全部变为0。这一过程写成矩阵形式即11111BEPAEA（1-3）其中1211113111111/1/1/1nasEasas（1-4）这里1111sa，注意到111111123112223213233323000nnnnnnnaaaabbbBbbbbbb（1-5）并且该矩阵仍然是可逆矩阵。所以22232,,,nbbb中至少有一个不为0，设20ib。同理取22(2,)PPi，令221APB如此逐步消元可得到矩阵论小论文2020/11/103111111123112222223211111000nnkkkkkkkknkknknnaaaaaaaBEPEPbbbb（1-6）若再假设0kikb，取(,)kkPPki对1kB换行，即1kkkAPB可得1111kkkkAPEPEPA该矩阵的形状为1111111231122222232000nnkkkkkknkknknnaaaaaaaAaaaa（1-7）在（1-6）中(,)kkPPki，这里kik，如果记kkkksa则1,2.,11/1/1/1kkkkkkkkkknkkEasasas（1-8）很显然对任意的看，都有det()1kE，det()1kP所以他们都是非奇异的矩阵，而且他们的逆矩阵分别是1kkPP（1-9）1,2.,11/1/1/1kkkkkkkkkknkkEasasas（1-10）经过1n步消元法的得到矩阵矩阵论小论文2020/11/10411111nnnBEPEPA（1-11）是一个上三角矩阵。如果记1111nnMEPEP（1-12）则显然线性方程组[1]1nBxMAxMb（1-13）与原方程组同解的。通过以上变换实质上就是矩阵的分解假设消去过程中不实施矩阵行的交换，这时121nPPPI（1-14）由（1-11）经过消去过程后，矩阵1nB就是一个上三角矩阵记1nUB则111121nAEEEU（1-15）而由（1-10）可知每个1kE都是一个下三角矩阵。容易验证111121nLEEE（1-16）是一个下三角矩阵，如果记jijjijjjala则可验证（1-16）的矩阵为2131321231111nnnlLlllll（1-17）最后得到ALU（1-18）其中L是一个下三角矩阵，U是一个上三角矩阵这样线性方程组就等价于bAxLUx依次求解方程组LybUxy（1-19）这样就可以得到原方程组的解。（见课本P93例4.3）2.线性方程组的解的稳定性判定线性方程组解的稳定性。对于线性方程组[2]Axb，,,nnnARxbR（1-20）矩阵论小论文2020/11/105如果解x关于问题（即矩阵A和向量b）的微小变化（即舍入误差）不敏感，则（1-5）就是一个“好”问题，反之就是“坏”的或病态的问题。而对求解上述方程组的一个算法，如果关于问题的“微小”变化（即误差的传播在一个可以接受的范围内），则算法成为稳定的算法（即好的），反之就是一个不稳定的算法。有了范数的工具，就可以讨论线性方程组的“好坏”以及求解线性方程组的优劣问题。定义1设A是可逆矩阵，称1()pppKAAA是矩阵A相对矩阵范数.p的条件数。考虑到()Auubb（1-21）即由于右端的扰动引起解的变化，比较它与原有问题Aub（1-22）解的差异。由（1-6）和（1-7）两式相减可以得到1uAb（1-23）记.为nR上的向量范数及与它相容的矩阵范数，由（1-7）和（1-8）可得1uAb（1-24）bAu（1-25）综合上述两式，有111AbAbubAAbuubA（1-26）显然可以知道右端的扰动可能引起解扰动的上界。显然1AA越小右端的变化就越小。对于第二种情况()()AAuub（1-27）1()uAAuu（1-28）故有1()uAAuu（1-29）这也就是说1()uAAAuuA（1-30）事实上进一步分析可以知道矩阵论小论文2020/11/1061(1())()uAAAAuuA（1-31）可见由于问题扰动引起的解得扰动的是同一个因子。故称1AA为条件数。记为cond（A）当条件大就是病态矩阵，反之就是良态的。因此了解条件数是必要的。他可以帮助判断所得的数值解的可信度与合理性。4.结束语矩阵理论这门课程在工程中的应用是多方面的，在这里只选取了在求解线性方程组的的应用进行了简要的介绍。矩阵计算问题看似简单，但要获得好的数值结果并不容易。上面提到的快速算法，计算时间仍会很长。为了减少迭代步数，就必须改善阻抗矩阵的条件数，于是有些学者将预条件技术进来。常用的预条件技术有不完全LU预条件，稀疏近似逆预条件以及基于物理特性的预条件等。预条件技术能或多或少减少迭代步数，但对于大目标来说，CPU时间依旧很大。5.参考文献【1】白峰杉.数值计算分析引论[M].高等教育出版社;【2】黄廷祝,成孝予.线性代数与空间解析几何[M].高等教育出版社;【2】黄廷祝,钟守铭,李正良.矩阵理论[M]高等教育出版社;【3】蒋尔雄.矩阵计算[M].高等教育出版社.