线性代数基础

标量,向量,矩阵和张量

标量(scalar):一个标量就是一个单独的数。用斜体表示标量,如 sR.

向量(vector):一个向量是一列数,我们用粗体的小写名称表示向量。比如 x,将向量x 写成方括号包含的纵柱:

x=[x1x2xn]

矩阵(matrix):矩阵是二维数组,我们通常赋予矩阵粗体大写变量名称,比如 A 。如果一个矩阵高度是 m,宽度是 n​,那么说 ARm×n​ 。一个矩阵可以表示如下:

A=[x11x12x21x22]

张量(tensor):某些情况下,我们会讨论不止维坐标的数组。如果一组数组中的元素分布在若干维坐标的规则网络中,就将其称为张量。用 A​ 表示,如张量中坐标为 (i,j,k) ​的元素记作 Ai,j,k ​。
转置(transpose):矩阵的转置是以对角线为轴的镜像,这条从左上角到右下角的对角线称为主对角线(main diagonal)。将矩阵 A 的转置表示为 A 。定义如下:

(A)i,j=Aj,i
A=[x11x12x21x22x31x32]A=[x11x21x31x21x22x32]

向量运算

加法

v=[12]w=[31]v+w=[41]

数乘

v=[31],则2v=[3×21×2]=[62]

矩阵-向量的乘积

矩阵是空间的线性变换,矩阵与向量相乘便是将向量进行线性变换的结果。

Av=[i1j320][12]=[1×1+2×31×2+2×0]=[52]


向量-向量的乘积

向量可以看成一个矩阵,这个矩阵将空间压缩到了一维空间。

wv=|w||v|cosθ=[12][43]=4×1+3×(2)=2
向量v在向量w上的投影乘以向量w的长度

点积

向量的叉积

向量的叉积是一个向量,向量 p 的方向垂直于 wv 的平面,向量 p 的模是 wv 所围成平面的面积(行列式)。

w×v=|w||v|sinθ=p

点积

高维情况

w×v=p

p1=v2w3v3w2p2=v3w1v1w3p3=v1w2v2w1

行列式

矩阵的运算

对向量的线性空间变换

矩阵加减法

对应位置的元素相加相减

矩阵数乘

矩阵转置

把矩阵A的行和列互相交换所产生的矩阵称为A的转置矩阵

矩阵共轭

矩阵共轭转置

矩阵-向量的乘积

矩阵是空间的线性变换,矩阵与向量相乘便是将向量进行线性变换的结果。

Av=[i1j320][12]=[1×1+2×31×2+2×0]=[52]


矩阵-矩阵的乘积

矩阵是一种线性变换,矩阵与矩阵相乘便是将空间进行线性变换之后再次进行线性变换。矩阵与矩阵的乘积是一种对于空间的复合线性变换。变换吸纳从右侧开始一次向左侧进行变换。线性变换的过程如下图所示:

矩阵-矩阵的计算过程如下所示[0210][1210]={1×[01]+1×[20]2×[01]+0×[20]=[2012]
计算过程去下图所示

矩阵-矩阵乘积的性质

  • 结合律即 (AB)C=A(BC)
  • 分配率即 A(B+C)=AB+AC
  • 注意哦,矩阵乘法没有交换律,即 ABBA

矩阵的逆

矩阵ARn×n的逆,写作A1,是一个矩阵,并且是唯一的。是对矩阵A空间操作的逆变换。同时AA1也可以理解为矩阵A除以矩阵A 等于单位矩阵IA1A=I=AA1.

注意不是所有的矩阵都有逆。例如非方阵,是没有逆的。然而,即便对于一些方阵,它仍有可能不存在逆。如果A1存在,我们称矩阵A 是可逆的或非奇异的,如果不存在,则称矩阵A不可逆或奇异。如果一个方阵A有逆A1,它必须满秩

矩阵的秩

矩阵的秩实际上的经过矩阵操作后空间的维数。在矩阵A中,非零子式的最高阶数称为矩阵A的秩,记为或秩。规定零矩阵的秩为零。

求解思路

ABr(A)=r(B)=(B中非零行的行数)

  • 例子
    -
    求矩阵A=[23822122121314]的秩。

解:

A=[23822122121314][13142382212212][131409660664][131403220000]

因此r(A)=2

矩阵的迹

方阵ARn×n的迹,记作tr(A),或可以省略括号表示成trA,是矩阵的对角线元素之和:trA=ni=1Aii

  • 性质
    1. 对于ARn×ntrA=trAT.
    2. 对于ABRn×ntr(A+B)=trA+trB.
    3. 对于ARn×ntRtr(tA)=ttrA.
      1.对于方阵 A,B,CtrABC=trBCA=trCAB,即使有更多的矩阵相乘,这个性质也不变.

正交矩阵

如果xTy=0,则两个向量 xyRn是正交的。对于一个向量xRn,如果 |x|=1 则是 x 归一化的。对于一个方阵URn×n,如果所有列都是彼此正交和归一化的,(列就称为标准正交)则这个方阵是正交的(注意在讨论向量或矩阵时,正交具有不同的含义)。 根据正交和归一化的定义可得:

UTU=I=UUT
一个正交矩阵的逆矩阵的是它转置,正交矩阵必须是方阵