三、线性代数回顾(Linear Algebra Review)

机器学习

---

3.1 矩阵和向量(Matrices and Vectors)

参考视频: 3 - 1 - Matrices and Vectors (9 min).mkv

如图：这个是 $4×2$ 矩阵，即 $4$ 行 $2$ 列，如 $m$ 为行，$n$ 为列，那么 $m×n$ 即4×2

![此处输入图片的描述][23]

矩阵的维数：即行数×列数

矩阵元素（矩阵项）：

$$A=\left[ \begin{matrix} 1402 & 191 \ 1371 & 821 \ 949 & 1437 \ 147 & 1448 \\end{matrix} \right]$$

$A_{ij}$ 是指第 $i$ 行，第 $j$ 列的元素。

向量是一种特殊的矩阵，讲义中的向量一般都是列向量，如： $y=\left[ \begin{matrix} {460} \ {232} \ {315} \ {178} \\end{matrix} \right]$

为四维列向量（4×1）。

如下图为1索引向量和0索引向量，左图为1索引向量，右图为0索引向量，一般我们用1索引向量。

$y=\left[ \begin{matrix} {{y}{1}} \ {{y}{2}} \ {{y}{3}} \ {{y}{4}} \\end{matrix} \right]$，$y=\left[ \begin{matrix} {{y}{0}} \ {{y}{1}} \ {{y}{2}} \ {{y}{3}} \\end{matrix} \right]$

3.2 加法和标量乘法(Addition and Scalar Multiplication)

参考视频: 3 - 2 - Addition and Scalar Multiplication (7 min).mkv

矩阵的加法：行列数相等的可以加。

例：

![此处输入图片的描述][24]

矩阵的乘法：每个元素都要乘

![此处输入图片的描述][25]

组合算法也类似。

3.3 矩阵向量乘法(Matrix Vector Multiplication)

参考视频: 3 - 3 - Matrix Vector Multiplication (14 min).mkv

矩阵和向量的乘法如图：$m×n$ 的矩阵乘以 $n×1$ 的向量，得到的是 $m×1$ 的向量

![此处输入图片的描述][26]

算法举例：

![此处输入图片的描述][27]

3.4 矩阵乘法(Matrix Matrix Multiplication)

参考视频: 3 - 4 - Matrix Matrix Multiplication (11 min).mkv

矩阵乘法：

$m×n$ 矩阵乘以 $n×0$ 矩阵，变成 $m×0$ 矩阵。

如果这样说不好理解的话就举一个例子来说明一下，比如说现在有两个矩阵 $A$ 和 $B$，那么它们的乘积就可以表示为图中所示的形式。

![此处输入图片的描述][28] ![此处输入图片的描述][29]

3.5 矩阵乘法的性质(Matrix Multiplication Properties)

参考视频: 3 - 5 - Matrix Multiplication Properties (9 min).mkv

矩阵乘法的性质：

矩阵的乘法不满足交换律：

$$A×B≠B×A$$

矩阵的乘法满足结合律。即：

$$A×(B×C)=(A×B)×C$$

单位矩阵：在矩阵的乘法中，有一种矩阵起着特殊的作用，如同数的乘法中的1，我们称这种矩阵为单位矩阵。它是个方阵，一般用 $I$ 或者 $E$ 表示，本讲义都用 $I$ 代表单位矩阵，从左上角到右下角的对角线（称为主对角线）上的元素均为1以外全都为0。如：

$$A{{A}^{-1}} = {{A}^{-1}}A = I$$

对于单位矩阵，我们有

$$AI = IA = A$$

3.6 逆、转置(Inverse and Transpose)

参考视频: 3 - 6 - Inverse and Transpose (11 min).mkv

矩阵的逆：如果矩阵 $A$ 是一个 $m×m$ 矩阵（方阵），如果有逆矩阵，则：

$$A{{A}^{-1}} = {{A}^{-1}}A = I$$

我们一般在OCTAVE或者MATLAB中进行计算矩阵的逆矩阵。

矩阵的转置：设 $A$ 为 $m×n$ 阶矩阵（即 $m$ 行 $n$ 列），第 $i$ 行 $j$ 列的元素是 $a(i,j)$，即：$A=a(i,j)$。定义 $A$ 的转置为这样一个 $n×m$ 阶矩阵 $B$，满足 $B=a(j,i)$，即： $b (i,j)=a(j,i)$（$B$ 的第 $i$ 行第 $j$ 列元素是 $A$ 的第 $j$ 行第 $i$ 列元素），记 ${{A}^{T}}=B$。(有些书记为 $A'=B$）

直观来看，将 $A$ 的所有元素绕着一条从第1行第1列元素出发的右下方45度的射线作镜面反转，即得到 $A$ 的转置。

例：

${{\left| \begin{matrix} a& b \ c& d \ e& f \\end{matrix} \right|}^{T}}=\left|\begin{matrix} a& c & e \ b& d & f \\end{matrix} \right|$

矩阵的转置基本性质:

1. ${{\left( A\pm B \right)}^{T}} = {{A}^{T}}\pm {{B}^{T}}$
2. ${{\left( A\times B \right)}^{T}} = {{B}^{T}}\times {{A}^{T}}$
3. ${{\left( {{A}^{T}} \right)}^{T}} = A$
4. ${{\left( KA \right)}^{T}} = K{{A}^{T}}$

matlab中矩阵转置：直接打一撇，x=y'。