Bagging（套袋法）

bagging的算法过程如下：

1. 从原始样本集中使用Bootstraping方法随机抽取n个训练样本，共进行k轮抽取，得到k个训练集。（k个训练集之间相互独立，元素可以有重复）
2. 对于k个训练集，我们训练k个模型（这k个模型可以根据具体问题而定，比如决策树，knn等）
3. 对于分类问题：由投票表决产生分类结果；对于回归问题：由k个模型预测结果的均值作为最后预测结果。（所有模型的重要性相同）

梯度类方法

梯度类方法是无约束优化中非常常用的方法，其依据的最根本的事实就是梯度的负方向是函数值下降最快的方向。但是常用的 gradient descent 必须要求函数的连续可导，而对于某些连续不可导的问题（如lasso regression），gradient descent 无能为力，这是需要用到subgradient descent和proximal gradient descent.

凸优化也可以解释为目标函数 $f(x)$ 为凸函数而起约束围成的可行域为一个凸集。

凸集

对于集合 $K$ ，$\forall x_1,x_2 \in K$,若 $\alpha x_1 + (1-\alpha)x_2 \in K$,其中$α∈[0,1])$,则 $K$ 为凸集，即集合中任意两点的连线均在凸集中，如在下图所示

零向量

变换后落在原点的向量的集合被称为矩阵的‘零空间’或者‘核’。

• 零向量一定在列空间中
• 对于一个满秩变换来说，唯一能在变换后落在原点的就是零向量自身
• 对于一个非满秩的矩阵来说，它将空间压缩到一个更低的维度上，变换后的已给向量落在零向量上，而“零空间”正是这些向量所构成的空间

对角矩阵

在方阵中，对角线（从左上到右下）上的值称为对角元素。
非对角元素全部为0的矩阵称为对角矩阵。
对角矩阵表示的映射是沿着坐标轴伸缩，其中对角元素就是各坐标轴伸缩的倍率

矩阵的秩

矩阵的秩，为变换后的空间的维数

单位矩阵

方阵中，如果除了对角线（从左上到右下）上的元素为1，其余元素都为0，则该矩阵称为单位矩阵，记为 $I$ 。 $I_{n}$ 表示 $n$ 阶单位矩阵。单位矩阵表示的映射是“什么都不做”的映射。

$$I_{n}=\begin{bmatrix} 1 & 0 & \cdots & 0\\ 0 & 1 & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1 \end{bmatrix}$$

奇异矩阵

行列式为零的矩阵

逆矩阵

$$AA^{-1}=A^{-1}A=I$$

零矩阵

所有元素都为0的矩阵称为零矩阵，记为 $O$ 。零矩阵表示的映射是将所有的点都映射到原点的映射

行列式

线性变换的行列式即线性变换改变面积的比例。

$$det(M_1M_2) = det(M_1)det(M_2)$$

• 检验一个矩阵的行列式是否为0，就能了解这个矩阵所代表的变换是否将空间压缩到更小的维度上
• 在三维空间下，行列式可以简单看作这个平行六面体的体积，行列式为0则意味着整个空间被压缩为零体积的东西，也就是一个平面或者一条直线，或者更极端情况下的一个点

特征分解

如果说一个向量 $v$ 是方阵 $A$ 的特征向量，将一定可以表示成下面的形式：

$$Av=\lambda v$$

$\lambda$ 为特征向量 $v$ 对应的特征值。特征值分解是将一个矩阵分解为如下形式：

$$A=Q\Sigma Q^{-1}$$

其中， $Q$ 是这个矩阵 $A$ 的特征向量组成的矩阵， $\Sigma$ 是一个对角矩阵，每一个对角线元素就是一个特征值，里面的特征值是由大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵变化方向（从主要的变化到次要的变化排列）。也就是说矩阵A的信息可以由其特征值和特征向量表示。

对于矩阵为高维的情况下，那么这个矩阵就是高维空间下的一个线性变换。可以想象，这个变换也同样有很多的变换方向，我们通过特征值分解得到的前N个特征向量，那么就对应了这个矩阵最主要的N个变化方向。我们利用这前N个变化方向，就可以近似这个矩阵（变换）。

总结一下，特征值分解可以得到特征值与特征向量，特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么。不过，特征值分解也有很多的局限，比如说变换的矩阵必须是方阵。

奇异值分解

特征值分解是一个提取矩阵特征很不错的方法，但是它只是对方阵而言的，在现实的世界中，我们看到的大部分矩阵都不是方阵，比如说有N个学生，每个学生有M科成绩，这样形成的一个 $N \ast M $的矩阵就不可能是方阵，我们怎样才能描述这样普通的矩阵呢的重要特征呢？奇异值分解可以用来干这个事情，奇异值分解是一个能适用于任意的矩阵的一种分解的方法：

分解形式：

假设A是一个 $M*N$ 的矩阵，那么得到的U是一个$M\ast M$ 的方阵（称为左奇异向量），$Σ$ 是一个 $M\ast N$ 的矩阵（除了对角线的元素都是0，对角线上的元素称为奇异值），$V^T$ ($V$的转置)是一个 $N\ast N$ 的矩阵（称为右奇异向量）。

LU分解

给定矩阵 $A$，将$A$表示成下三角矩阵L和上三角矩阵U的乘积，称为LU分解

$$\begin{align*} 2x+5y+3z &= -3\\ 4x+8z &= 0\\ x+3y &= 2 \end{align*}\Leftrightarrow \overset{A}{\overbrace{\begin{bmatrix} 2 & 5 & 3\\ 4 & 0 & 8\\ 1 & 3 & 0 \end{bmatrix}}}\overset{\overrightarrow{x}}{\overbrace{\begin{bmatrix} x\\ y\\ z \end{bmatrix}}}=\overset{\overrightarrow{v}}{\overbrace{\begin{bmatrix} -3\\ 0\\ 2 \end{bmatrix}}}$$ $$A\overrightarrow{x}=\overrightarrow{v}$$

可以看做向量 $\overrightarrow{x}$ 经过空间变换后变为向量 $\overrightarrow{v}$ ，矩阵 $A$ 的变换过程有两种情况

1. 空间变换之后，空间没有发生压缩。即$det(A)\neq0$ ，矩阵 $A$ 满秩
2. 空间变换之后，空间发生压缩，即$det(A)=0$ ，矩阵 $A$ 不是满秩

定义

特征向量

矩阵在空间变换过程中，没有发生旋转的向量。因此特征向量可以看过空间变换的旋转轴。

特征值

特征向量在变换中拉伸或压缩比例的因子

二次型矩阵

对于一个方阵$A∈ R^{n×n}$和一个向量$x∈ R^n$，标量$x^TAx$被称作一个二次型。显式地写出来，

$$x^TAx=\sum_{i=1}^{n}x_i(Ax)_i=\sum_{i=1}^{n}x_i\left ( \sum_{j=1}^{n}A_{ij}x_j \right )=\sum_{i=1}^{n}\sum_{j=1}^{n}A_{ij}x_ix_j$$

上式实际为一个二次多项式例如：

$$\left [ x_1 x_2 \right ] \begin{bmatrix} 1 & 3\\ 2 & 4 \end{bmatrix}\begin{bmatrix} x_1\\ x_2 \end{bmatrix}=[x_1,x_2] \begin{bmatrix} x_1+3x_2\\ 2x_1+4x_2 \end{bmatrix}=x_1^2+5x_1x_2+4x_2^2$$

行列式

行列式在数学中，是一个函数，其定义域为det的矩阵A，取值为一个标量，写作$det(A)$或 $| A |$。对于行列式的几何描述如下所示：

1. 行列式求得是矩阵的面积。
2. 行列式等于0时候，说明矩阵的空间操作把空间压缩为低维空间
3. 行列式为负数的时候，说明空间发生了翻转
4. 方阵特征值之积等于行列式值也可以如下这样理解

标量，向量，矩阵和张量

标量（scalar）：一个标量就是一个单独的数。用斜体表示标量，如 $s∈R$.

向量（vector）：一个向量是一列数，我们用粗体的小写名称表示向量。比如 $x$，将向量x 写成方括号包含的纵柱：

$${\bf x}= \begin {bmatrix} x_1\\x_2\\ \vdots \\x_n\\ \end{bmatrix}$$

矩阵（matrix）：矩阵是二维数组，我们通常赋予矩阵粗体大写变量名称，比如 $A$ 。如果一个矩阵高度是 $m$，宽度是 $n$​，那么说 $\bf A\in \bf R ^{m \times n}$​ 。一个矩阵可以表示如下：

$${\bf A}= \begin{bmatrix} x_{11} &x_{12}\\ x_{21} & x_{22}\\ \end{bmatrix}$$

张量（tensor）：某些情况下，我们会讨论不止维坐标的数组。如果一组数组中的元素分布在若干维坐标的规则网络中，就将其称为张量。用 $A$​ 表示，如张量中坐标为 $(i,j,k)$ ​的元素记作 $A_{i,j,k}$ ​。
转置（transpose）：矩阵的转置是以对角线为轴的镜像，这条从左上角到右下角的对角线称为主对角线（main diagonal）。将矩阵 $A$ 的转置表示为 $A^⊤$ 。定义如下：

$$({\bf A^\top})_{i,j}=\bf A_{j,i}$$ $${\bf A} = \begin{bmatrix} x_{11} &x_{12}\\ x_{21} & x_{22}\\ x_{31} & x_{32} \end{bmatrix} \implies {\bf A^\top}= \begin{bmatrix} x_{11} &x_{21}&x_{31} \\ x_{21} & x_{22}& x_{32} \end{bmatrix}$$

定义

设A是数域上的一个n阶方阵，若在相同数域上存在另一个n阶矩阵$A^{-1}$，使得： $AA^{-1}=A^{-1}A=I$。 则我们称$A^{-1}$是A的逆矩阵，而A则被称为可逆矩阵。
注：单位矩阵

$$I_{n}=\begin{bmatrix} 1 & 0 & \cdots & 0\\ 0 & 1 & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1 \end{bmatrix}$$