Matrix Differentiation

Matrix 2017.12

---

推荐阅读
[1] https://atmos.washington.edu/~dennis/MatrixCalculus.pdf
[2] https://en.wikipedia.org/wiki/Matrix_calculus#Relation_to_other_derivatives
[3] Matrix Cookbook

1. Notation

• 常规的运算和线性代数中常用的一样。

• 止于实数矩阵的范畴，不讨论复矩阵。 假设矩阵都是普通的矩阵。

• 所有提及的向量，都是指列向量。

• vec operator

  将矩阵向量化，按照列连接起来。

• Kronecker product

  $$\begin{align*} & \mathbf{A} : m \times n \\ & \mathbf{B} : p \times q \end{align*}$$
  $$\begin{align*} A \otimes B = \begin{bmatrix} A_{11}B & A_{12}B & \ldots & A_{1n}B \\ A_{21}B & A_{22}B & \ldots & A_{2n}B \\ \vdots & \vdots & \ddots & \vdots \\ A_{m1}B & A_{m2}B & \ldots & A_{mn}B \\ \end{bmatrix} \end{align*}$$
  $\mathbf{A} \otimes \mathbf{B}$的大小为$mp \times nq$。

• Kronecker delta function

  $$\begin{align*} \delta_{ij} \ is \ Kronecker \ delta \ function \\ \delta_{ij} = \left \{ \begin{array}{1r} 1, i=j \\ 0 , i\ne j \end{array} \right. \end{align*}$$

• 采用wiki里面所说的Numerator layout的形式，e.g. 一个标量对列向量求导最后得到一个行向量。
  矩阵求导，由于水平有限，对于其形式仍有困惑。

2. Basic Formula

矩阵求导遵循的基本规则

$$\begin{align*} \frac{\partial {X}_{kl} }{ \partial {X}_{ij} } = \delta_{ik}\delta_{lj} \end{align*}$$
只有对应的元素对其自身求导有值，其余都为0.

对于向量而言

$$\Big[ \frac{ \partial\mathbf{x} }{\partial y} \Big]_i = \frac{ \partial x_i }{\partial y}, \quad \Big[ \frac{ \partial x }{ \partial\mathbf{y} } \Big]_i = \frac{ \partial x }{\partial y_i}, \quad \Big[ \frac{ \partial \mathbf{x} }{ \partial\mathbf{y} } \Big]_{ij} = \frac{ \partial x_i }{\partial y_i}$$

3. 矩阵求导的一些性质

• 六种基本的形式

  这里主要参考wiki

  • 矩阵对标量求导
  • 行向量对标量求导
  • 列向量对列向量求导
  • 标量对矩阵求导
  • 标量对列向量求导
  • 标量对标量求导

• 矩阵对标量(scalar)求导

  $$\begin{align*} \Big[ \frac{ \partial \mathbf{Y} }{ \partial x } \Big]_{ij}= \frac{ \partial y_{ij}}{\partial x} \end{align*}$$

• 标量对一个列向量求导

  标量对列向量中的元素分别求导。
  标量对矩阵求导相同。

• 列向量对列向量求导
  

  $$\mathbf{y}: m \times 1 \\ \mathbf{x}: n \times 1$$
  $$\begin{align*} \frac{ \partial \mathbf{y} }{ \partial \mathbf{x}} = \begin{bmatrix} \frac{\partial y_1}{\partial x_1} & \frac{\partial y_1} {\partial x_2} & \ldots & \frac{\partial y_1}{\partial x_n} \\ \frac{\partial y_2}{\partial x_1} & \frac{\partial y_2} {\partial x_2} & \ldots & \frac{\partial y_2}{\partial x_n} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial y_m}{\partial x_1} & \frac{\partial y_m} {\partial x_2} & \ldots & \frac{\partial y_m}{\partial x_n} \\ \end{bmatrix} \end{align*}$$
  最后的结果是一个$m \times n$的矩阵，称为$Jacobian \ \ matrix$。
  注意这里保证了分母的形式。
  注意当$\mathbf{y}$或者$\mathbf{x}$为一个scalar时，矩阵维数的变化。会分别变成一个行向量或者列向量。

  • 推论1
    

    $$\begin{align*} \frac{ \partial \mathbf{x} }{ \partial \mathbf{x}} = \mathbf{I} \end{align*}$$

  • 推论2
    

    $$\begin{align*} \frac{ \partial \mathbf{Ax} }{ \partial \mathbf{x}} = \mathbf{A} \end{align*}$$
    可以从分量的角度理解
    $$y_i = \sum\limits_{k=1}^nA_{ik}x_k$$

• 向量积对列向量求导

  本质上是标量对列向量求导，所以最后是列向量的形式。
  

  $$\frac{ \partial \mathbf{u}^T \mathbf{v} }{ \partial \mathbf{x} }$$
  默认都是相关的

  利用分量的方法可以看出是满足分部积分的方式的
  

  $$\begin{align*} \mathbf{u}^T \mathbf{v} &= \sum\limits_i u_i v_i \\ \Big[\frac{ \partial \mathbf{u}^T \mathbf{v} }{ \partial \mathbf{x} } \Big]_j &= \frac{\partial \sum\limits_i u_i v_i }{ \partial x_j} \\ &= \sum\limits_i \Big( \frac{\partial u_i}{\partial x_j}v_i + \frac{\partial v_i}{\partial x_j}u_i\Big) \\ \end{align*}$$
  $$\begin{align*} \frac{ \partial \mathbf{u}^T \mathbf{v} }{ \partial \mathbf{x} } = \mathbf{v}^T \frac{ \partial \mathbf{u}}{ \partial \mathbf{x} } + \mathbf{u}^T \frac{ \partial \mathbf{v} }{ \partial \mathbf{x} } \end{align*}$$
  保证了最后得到的是一个行向量。

  • 推论1

    $\mathbf{A}$与$\mathbf{z}$无关，$\mathbf{y}、\mathbf{x}$与$\mathbf{z}$相关
    

    $$\begin{align*} \frac{\partial \mathbf{y}^T\mathbf{A}\mathbf{x}}{\partial \mathbf{z}} &= \mathbf{x}^T \mathbf{A}^T \frac{\partial \mathbf{y}}{\partial \mathbf{z}} + \mathbf{y}^T \mathbf{A} \frac{\partial \mathbf{x}}{\partial \mathbf{z}} \end{align*}$$

  • 推论2

    $\mathbf{A}$与$\mathbf{x}$无关
    

    $$\begin{align*} \frac{\partial \mathbf{x}^T\mathbf{A}\mathbf{x}}{\partial \mathbf{x}} &= \mathbf{x}^T \mathbf{A}^T + \mathbf{x}^T \mathbf{A} \\ &=\mathbf{x}^T(\mathbf{A}^T + \mathbf{A}) \end{align*}$$
    把$\mathbf{A}\mathbf{x}$当做一个向量。

• Propositions

  • 1
    

    $$\begin{align*} \frac{ \partial \mathbf{u}^T\mathbf{X}\mathbf{v}}{\partial \mathbf{X}} &= \mathbf{u} \mathbf{v}^T \end{align*}$$

  • 2
    

    $$\begin{align*} \frac{ \partial \mathbf{u}^T \mathbf{X}^T \mathbf{v}}{\partial \mathbf{X}} &= \mathbf{v} \mathbf{u}^T \end{align*}$$

  记忆要点：实质上都是scalar-matrix的形式，最后得到的结果要和矩阵的维度一样。

  • 3

    • 3.1
      $$\begin{align*} \frac{ \partial \mathbf{u}^T \mathbf{X}^T \mathbf{X} \mathbf{v}}{\partial \mathbf{X}} &= \mathbf{X}\mathbf{v}\mathbf{u}^T + \mathbf{X}\mathbf{u}\mathbf{v}^T \end{align*}$$
      利用分部积分(不知道矩阵中是否也存在着，能用)，先求$\mathbf{X}^T$对$\mathbf{X}$的积分，再求$\mathbf{X}$对$\mathbf{X}$的积分。
    • 3.2
      $$\begin{align*} \frac{ \partial (\mathbf{Xu-v})^T (\mathbf{Xu-v})}{\partial \mathbf{X}} &= 2( \mathbf{Xu-v}) \mathbf{u}^T \end{align*}$$
      将$3.1$中的两个列向量看做一样的，可以理解$3.2$。
      注意这里是对矩阵求导，对向量求导的形式相同的式子并不通用。

  • 4
    

    $$\begin{align*} \frac{ \partial \mathbf{x}^T \mathbf{a} }{\partial \mathbf{x}} = \frac{ \partial \mathbf{a}^T \mathbf{x} }{\partial \mathbf{x}} = \mathbf{a}^T \end{align*}$$

• 矩阵的迹求导

  矩阵的迹就是矩阵对角线元素的和
  

  $$\begin{align*} Tr(\mathbf{A} ) = \sum\limits_{i}A_{ii} \end{align*}$$
  $\mathbf{A}$是一个方阵。

  First Order

  • 1
    

    $$\begin{align*} \frac{\partial Tr( \mathbf{X} )}{\partial \mathbf{X} } = \mathbf{I} \end{align*}$$
    显而易见。

  • 2

  $$\begin{align*} \frac{\partial Tr( \mathbf{XA} )}{\partial \mathbf{X} } = \mathbf{A}^T \end{align*}$$
  $\mathcal{Proof}.$
  $$\begin{align*} \mathbf{X}: n \times n \\ \mathbf{A}: n \times n \\ [\mathbf{XA} ]_{ii} &= \sum\limits_j^n X_{ij}A_{ji} \\ Tr( \mathbf{XA} )&=\sum\limits_{i}^n \sum\limits_j^n X_{ij}A_{ji} \\ derivation \ respect \ to \ specific \ X_{ij} \ , we \ get \ A_{ji} \\ \frac{\partial Tr( \mathbf{XA} )}{\partial \mathbf{X} } &= \mathbf{A}^T \end{align*}$$
  同理
  $$\begin{align*} \frac{\partial Tr( \mathbf{A}\mathbf{X} )}{\partial \mathbf{X} } = \mathbf{A}^T \end{align*}$$
  $$\begin{align*} \frac{\partial Tr( \mathbf{X}^T\mathbf{A} )}{\partial \mathbf{X} } = \mathbf{A} \end{align*}$$
  $$\begin{align*} \frac{\partial Tr( \mathbf{A}\mathbf{X}^T )}{\partial \mathbf{X} } = \mathbf{A} \end{align*}$$
  • 3
  $$\begin{align*} \frac{\partial Tr( \mathbf{AXB} )}{\partial \mathbf{X} } = \mathbf{A}^T\mathbf{B}^T \end{align*}$$
  $$\begin{align*} \frac{\partial Tr( \mathbf{AX^TB} )}{\partial \mathbf{X} } = \mathbf{B}\mathbf{A} \end{align*}$$

  Second Order

  • 1
    $$\begin{align*} \frac{\partial Tr( \mathbf{X}^2 )}{\partial \mathbf{X} } = 2\mathbf{X}^T \end{align*}$$

  更多式子查书可得。

• 矩阵的逆求导

  • 1
    $x$是一个scalar。
    $\mathbf{X}$是非奇异的。
    $$\begin{align*} \frac{\partial \mathbf{X}^{-1} }{\partial x } = -\mathbf{X}^{-1} \frac{\partial \mathbf{X}}{\partial x }\mathbf{X}^{-1} \end{align*}$$
    $Proof.$
    $$\begin{align*} \mathbf{X}^{-1}\mathbf{X} &= \mathbf{I} \\ \mathbf{X}^{-1}\frac{\partial \mathbf{X}}{\partial x } + \frac{\partial \mathbf{X}^{-1}}{\partial x }\mathbf{X} &= 0 \\ \frac{\partial \mathbf{X}^{-1} }{\partial x } &= -\mathbf{X}^{-1} \frac{\partial \mathbf{X}}{\partial x }\mathbf{X}^{-1} \end{align*}$$
    更多式子查书可得。

4. 联系方式

可以通过邮件 1696144426@qq.com 联系作者。