MIT线性代数导论笔记

1第一课时：方程组的几何解释一、线性方程组的两种理解方式：行图像和列图像对于方程组：我们可以表示成矩阵形式：系数矩阵A，未知数向量x，右侧向量为b，则可写成Ax=b1）行图像的理解方式：试图将每一个完整方程所表示的图像表示出来。交点即方程的解为（1,2）。2）列图像的理解方式：关注矩阵的列所表示的向量，把两个方程组放在一起考虑：这样做的目的是找到两个列向量的正确的线性组合为右侧向量，现在需要求x,y这两个数值，来制造向量(0,3)，其几何形式，图像如下选取所有的x和y，即所有的线性组合即为整个坐标平面。可以求出右侧任意的b向量。2考虑扩展至三维空间，在行图像中，一个含有3个未知数的方程组在三维空间中确定一个平面，两个方程组确定一条直线，三个方程组确定一个点，这个点就是方程组的解，当然前提是这三个方程组所确定的平面两两不平行。在列图像中，可类似二维中作出三个列向量的几何图像并求得线性组合。扩展至n维，可以此类推。二、方程组解的情况对于上面3维空间的例子，保证左侧矩阵不变，然后考虑所有右侧向量，任意b，是否每个b都有对应解？换种说法：列的线性组合是否能覆盖整个三维空间？非奇异矩阵，可逆矩阵可以做到。如果是奇异矩阵，即不可逆矩阵，在行图像中看即至少有两个方程组所表示的平面是平行的，在列图像中看即至少有两个列向量是指向同一方向的（即不相互独立，相当于同一个向量），此时，只有b处在这个向量和另一个非共线向量所表示的平面内时，方程组才有解。三、矩阵与向量相乘的方法1）将矩阵A与向量x的相乘，看着A各列的线性组合，这是极力推荐的。矩阵乘以右侧列向量可看成矩阵各列向量的线性组合，结果为列向量左侧行向量乘以矩阵可看成矩阵各行向量的线性组合，结果为行向量2）原始点乘方式。3第二课时：矩阵消元本课时的目标是用矩阵变换描述消元法。核心概念是矩阵变换。一、消元法消元法：将主对角线上的主元固定（0不能做主元），把主元下面的元素消为0。过程：先完成左侧矩阵的消元（变成上三角矩阵），再回代运算右侧向量，最后即可求出解完成整个消元过程。（matlab也是先计算左侧矩阵，再回头计算右侧向量的）左侧矩阵的消元过程：U矩阵是A矩阵的最终消元结果右侧向量回代过程：A中加入b列向量变成增广矩阵，增广就是增加的意思，增加了新列，左侧矩阵消元时，右侧向量也会跟着变化。c向量是b向量的最终结果求解：将U和c代入原式子可得解消元法失效的情况（指不能得到三个主元）：当主元上为0时，就通过交换行将主元位置变为非0，当通过交换行还不能解决0主元的时候，消元法就失效了。（不能解决0主元的矩阵是不可逆矩阵）二、引入矩阵描述这些（消元步骤的）变化（消元矩阵），用矩阵语言描述整个消元过程。4回忆下我们应该怎样看待矩阵乘法：矩阵乘以列向量是矩阵列的线性组合，结果为列向量；行向量乘以矩阵式矩阵行的线性组合，结果为行向量。下面用消元矩阵来对矩阵进行消元，注意变换过程我们应该始终用线性组合的方式进行思考。同时注意到：单位矩阵是一个不会对任何矩阵有任何变换作用的矩阵。第一步消元：我们要对中间的矩阵进行消元，得到右侧矩阵，第一步为row2=row2-3*row1。依次考虑左侧矩阵的行，第一行与中间矩阵的各个行向量进行线性组合，右侧矩阵的第一个行向量就是这个线性组合的结果，可观察容易得出左侧消元矩阵第一行为（100）。其实只需要由变换（row2=row2-3*row1）可得，消元矩阵中只有第二行有不同于单位矩阵的数值，即（-310）。第二步消元：以上每一步消元都使用到一个初等矩阵进行变换，我们将这些初等矩阵变换步骤综合起来（为什么综合起来？原因之一是更节省空间），即有什么矩阵可以一次性完成E32和E21的消元任务呢？可以用结合律将E32和E21乘起来得到，但我们不这样做。更好的方法：不是关于A怎么变换成U，而是U如何变成A，逆变换。下一课时将详细讲解。逆矩阵，右侧消元矩阵表示的变换是row2减去3倍row1，将右侧向量从（2122）变成（262）。现在需要将（262）通过找到某矩阵取消这次消元，减去多少就加回来多少，变回（2122），即该矩阵乘以初等矩阵得到单位矩阵。即：原矩阵是A，E1A=B，E2E1A=E2B，A=E2B（E2会将B变回A），IA=E2B，E2E1=I，E2与E1互为逆矩阵。5置换（permutation）矩阵：即交换行或交换列的变换矩阵行交换：列交换：6第三课时：乘法与逆矩阵本课时先讲解矩阵乘法运算，然后是逆矩阵一、矩阵乘法：5种方法Am×nBn×p=Cm×p，A列必须等于B的行数1）常规方法，行列点乘法：C=AB，C中的第i行j列结果来自A的第i行向量与B的第j列向量的点乘。整行整列的进行。2）列方法，整列考虑，列的线性组合方式：B的一个列向量乘以A（矩阵A各列向量的线性组合）得到C的对应列向量，此过程其余列向量暂不参与计算。3）行方法，整行考虑，行的线性组合方式：A的一个行向量乘以B（矩阵B各行向量的线性组合）得到C的对应行向量，此过程其余行向量暂不参与计算。4）列×行法：AB等于A各列与B各行乘积之和：A中列乘以B中行，如A第一列乘以B第一行得一个矩阵（这样的矩阵很特殊，行向量和列向量都是单个向量的线性组合，第四讲会讲到有关行空间，列空间的概念），最后将得到的各矩阵相加。我们就看一列和一行相乘的例子：特殊之处：右侧矩阵的行空间是一条直线，即行所有可能的线性组合都在一条直线上；同理其列空间也是直线。所以这实际上是一个很小的矩阵。5）分块乘法：将矩阵A，B分成能够相互匹配的块，然后对应进行分块行点乘分块列。二、矩阵的逆对于可逆方阵，左逆矩阵等于右逆矩阵。7什么样的矩阵可逆或者说是非奇异的？我们可以讨论奇异矩阵，不可逆的情况。1）行列式为02）列图像思考，假设A可逆，那A乘以他的逆矩阵得单位矩阵，A矩阵乘以其逆矩阵的第一列得单位矩阵的第一列（10），因为其列的线性组合始终在（12）这条直线上，所以不可能得到（10）向量。3）如果存在非0向量X，使的AX=0，即X对A的列向量的线性组合可以得到0向量（有一列在线性组合中不起作用），那么A是不可逆的。证明：假设存在可逆矩阵A-1，那么有A-1AX=0，得IX=0，得X=0，与X是非0向量相违背。结论：不可逆矩阵，奇异矩阵，其列能通过线性组合得到0向量。如何求逆？1）利用列的线性组合思想，矩阵A乘以该求的逆矩阵得到单位矩阵，这样，求逆和求方程组是一个意思2）将两个方程组放在一起考虑，如下，可理解为系数矩阵不变，分别求两个方程组的解，即可求得矩阵的逆。我们把下面两个放在一起考虑，形成增广矩阵，使得消元变换对两个方程组的作用是一样的。将增广矩阵的左侧变换消元为单位矩阵，右侧就变成其逆矩阵了。这是高斯-若尔当思想消元。为什么增广矩阵的右侧变成的是矩阵A的逆，以下变换给予证明：E为一次性的消元矩阵，EA=I，那么E=A-1了8A和B都存在逆，那么AB的逆是多少？是B的逆乘以A的逆得到的矩阵。为什么相乘的顺序要反过来？因为逆即是逆操作。可逆矩阵转置的逆是什么？A乘以A的逆等于单位矩阵，两侧同时转置，右侧单位矩阵转置仍然得单位矩阵，左侧分别转置两个矩阵，然后以相反顺序相乘，因此A的逆的转置乘以A的转置得到单位阵。A转置的逆即是A的逆的转置。因此，要求A转置的逆，只需要先求A的逆，然后求该逆的转置即可。转置和逆两种乘法运算，对于单个矩阵而已，其顺序可以颠倒。9第四课时：A的LU分解一、A=LA分解消元的目的，只是为了更好正确的认识矩阵的概念，A=LU是最基础的矩阵分解。L是下三角矩阵，U是上三角矩阵。A通过消元最终得到U，L即A与U之间的联系。先看A矩阵通过初等矩阵消元得到U：这里要求的是A=LU，L和消元矩阵E是什么联系呢？L与E互为逆矩阵。消元矩阵的逆是比较容易求的有时我们将U中的主元提取出来，其余的位置设为0，即diagonal对角阵D，可分解得到LDU，两边各一个三角矩阵，中间一个对角阵。假设在三维矩阵中，消元步骤中不需要任何行交换，L是各消元矩阵的逆的反向乘积。10为什么要用逆的形式？即上图中为什么下面的逆的形式的等式要比上面的等式要好？举下面的例子，两个消元矩阵E21（行2减去2倍行1）和E32（行3减去5倍的新行2）相乘得新的右侧消元矩阵，那么，从右侧结果显示，元素10是我们不喜欢的（但它确实是运算结果），E21（行2减去2倍行1）和E32（行3减去5倍的新行2）这种顺序，行1（元素10）怎么就影响到了行3呢？这是因为，第一步中有2倍行1从行2中减去了，然后在第二步中又乘5倍从行3中减去，因此总共在行3中加上了10倍行1。因此，这种形式不是我们喜欢的，但逆的乘积则不是这样的。对于“第一步中有2倍行1从行2中减去了，然后在第二步中又乘5倍从行3中减去，因此总共在行3中加上了10倍行1”，我举个例子解释一下：120341505该矩阵通过以上所描述的进行变换，第一步第二行有：3-2*14-2*21-2*0最终第二步第三行有：5-5*（3-2*1）0-5*（4-2*2）5-5*（1-2*0）即：5-5*（3-2*1）0-5*（4-2*2）5-5*（1-2*0）=5-5*3+10*10-5*4+10*25-5*1+10*0由这个结果不难看出“总共在行3中加上了10倍行1”的结论了。现在我们反向计算，顺序倒过来求逆的积。L中矩阵相乘的顺序非常好，2和5不会冲突，不会得到10。即要求出L，不需要任何运算，只需要把所有消元乘数都写进来，就能得到L。11总结下：A=LU，如果不存在行互换，消元乘数，即消元步骤中的需要乘以并减去的那个倍数，消元乘数可以直接写入L中。即只要步骤正确，可以在得到LU过程中把A抛开。例如，当你完成A第二行的消元时，为了得到LU，你只需要记住U中新的第二行是什么，同时消元所用的乘数也需要记住，至于A是什么不需要管。二、消元耗费次数消元共耗费了多少次？A变成U把消元中的一次加和乘操作看为“一次”操作。100*100的矩阵，第一主元的消元需要接近100*100的操作（第一行不变），第二主元的消元需要接近99*99的操作（第二行不变）。。。。因此n维矩阵的消元一共需要次数接近1/3N3，1/3是考虑到求和式子中数字在逐渐减小，如果不减小的话应该是n*n2，这才是n3。这其中有微积分的知识：从1到n对x2dx进行积分，结果得到1/3n3，微积分其实是考虑连续情况下的“求和”（但线性代数式离散的）。另一个问题：之前是A进行消元得到U，那么加上右侧常数列b，它需要多少次操作？把它放到消元步骤中，然后进行回代，一共需要nsquare次操作，要比A进行变换的次数少得多。因此，经常有矩阵A和几个右侧向量，这时对A进行更多次操作，将其分解乘L和U，来完成消元，之后就可以以较少次数处理右侧向量了。这时方程组运算中最基本的运算问题。三、转置与置换permutations，置换矩阵群若允许行互换，当主元位置为0时，要进行行互换，置换矩阵可以进行行互换。来看看3维下的所有置换矩阵：123维下一共3*2*1=6个置换矩阵，他们形成的矩阵群有一些特点：1）置换矩阵两两相乘结果仍然在该群中2）取其逆，只用将行换回去，结果也在该群中3）个别置换矩阵的逆矩阵就是其置换矩阵本身（比如上面的前4个，其转置等于本身），但对于所有的，总结来说是：置换矩阵的逆是等于其转置。13第五课时：转置-置换-向量空间R本课时讲解转置和置换，然后讲解线性代数的核心概念：向量空间。核心思想是，通过某些向量构成一个向量组成的空间。这些向量属于R^n，构成的子空间也在R^n中。一、置换矩阵Permutation置换矩阵：可进行交换的矩阵，是行重新排列了的单位矩阵。注意点：1）单位矩阵是最基本的置换矩阵。2）n揭一共有n!个置换矩阵。3）所有置换矩阵都可逆，而且逆与其转置相等。一个置换矩阵乘以其转置等于单位矩阵。在进行矩阵分解时A=LU，我们假设了没有行互换，现在我们取消这个假设，Matlab会检查每个主元位置上是否为0，甚至对很小的接近于0的数也进行行交换（因为这些数值运算上很难处