【数学基础】 线性代数以及符号编总

1基本概念和符号
线性代数可以对一组线性方程进行简洁地表示和运算 。例如,对于这个方程组:
这里有两个方程和两个变量,如果你学过高中代数的话,你肯定知道,可以为x1 和x2找到一组唯一的解 (除非方程可以进一步简化,例如,如果第二个方程只是第一个方程的倍数形式 。但是显然上面的例子不可简化,是有唯一解的) 。在矩阵表达中,我们可以简洁的写作:
其中:
很快我们将会看到,咱们把方程表示成这种形式,在分析线性方程方面有很多优势(包括明显地节省空间) 。
1.1基本符号
以下是我们要使用符号:
2矩阵乘法
矩阵A∈ Rm×n和B∈ Rn×p的乘积为矩阵 :
其中:
【【数学基础】 线性代数以及符号编总】请注意,矩阵A的列数应该与矩阵B的行数相等,这样才存在矩阵的乘积 。有很多种方式可以帮助我们理解矩阵乘法,这里我们将通过一些例子开始学习 。
2.1向量的乘积
给定两个向量x,y ∈ Rn,那么xTy的值,我们称之为向量的内积或点积 。它是一个由下式得到的实数:
可以发现,内积实际上是矩阵乘法的一个特例 。通常情况下xTy = yTx 。
对于向量x ∈ Rm,y ∈ Rn(大小不必相同),xyT∈ Rm×n称为向量的外积 。外积是一个矩阵,其中中的每个元素,都可以由
得到,也就是说,
我们举个例子说明外积有什么用 。令1∈ Rn表示所有元素都是1的n维向量,然后将矩阵A∈ Rm×n的每一列都用列向量x∈ Rm表示 。使用外积,我们可以将A简洁的表示为:
2.2矩阵-向量的乘积
对于一个矩阵A∈ Rm×n和向量x∈ Rn,他们的乘积为向量y=Ax∈ Rm 。理解矩阵向量乘法的方式有很多种,我们一起来逐一看看 。
以行的形式书写A,我们可以将其表示为Ax的形式:
也就是说,y第i行的元素等于A的第i行与x的内积
咱们换个角度,以列的形式表示A,我们可以看到:
换言之,y是A列的线性组合,线性组合的系数就是x的元素 。
上面我们看到的是右乘一个列向量,那左乘一个行向量嘞?对于A ∈ Rm×n,x ∈ Rm,y ∈ Rn,这个式子可以写成yT=xTA。向之前那样,我们有两种方式表达yT,这取决于表达A的方式是行还是列 。第一种情况是把A以列的形式表示:

【数学基础】 线性代数以及符号编总

文章插图
这个式子说明yT第i列的元素等于向量x与A的第i列的内积 。
我们也一样可以把A表示成行的形式,来说明向量-矩阵乘积 。
【数学基础】 线性代数以及符号编总

文章插图
我们可以看到yT是A的行的线性组合,线性组合的系数是x的元素 。
2.3矩阵-矩阵乘积
基于以上知识,我们可以看到如之前所定义的矩阵-矩阵乘法C=AB有四种不同(但是等价)的理解方法 。
首先,我们可以将矩阵-矩阵相乘看作一组向量-向量乘积 。根据其概念,我们最好理解的方式是矩阵C的(i,j)元素是A的i行与B的j列的内积 。符号表达如下:
注意由于A∈ Rm×n,B∈ Rn×p,ai∈ Rnbj∈ Rn,所以内积永远有意义 。对矩阵乘法而言,以A的行和B的列表示是最"自然"的表示方法 。当然,我们也可以以A的列和B的行的形式进行表示 。表达方法是AB外积累加的形式,稍微复杂一点点 。符号表达为:
换一种方式表达,AB的值等于对于所有的i,A的i列与B的i行的外积的和 。因此,对于ai∈ Rm和bi∈ Rp,外积aibiT的维度是m×p,它与C的维度是相同的 。等式可能有点难理解,花点时间想想,我猜你肯定能明白 。
第二种理解方式是,我们也可将向量-向量乘法看做一系列的矩阵-向量乘积 。具体来说,如果我们将B以列的形式表示,我们可以将C的每一列看做A和B列的矩阵-向量乘积 。符号表达为: