线性代数

机器学习

• $A_{n*n}$对称方阵
  $A = Q\Sigma Q^T$其中$\Sigma$为对角阵
  $QQ^T=I_n$

• $A_{m*n}$实矩阵 奇异值分解(SUD)
  $A_{m*n}=U_{m*m}D_{m*n}V_{n*n}^T$
  $U^T U=I_m, V^TV=I_n, D$是对角先上有若干个0的矩阵
  $rank(A)=||\sigma||_0 , \sigma=(\sigma_1 ... \sigma_r, 0, ..., 0)^T$

• $||A||_* = ||\sigma||_1$
  $||A||_2$ 谱范数
  $||A||_F=(\sum_{i,j} a_{ij}^2)^{1/2}$
  $||A||_F^2 = Tr(A^TA)$
  $Tr(ABC)=Tr(CAB)=Tr(BCA)$

• Moore-Penrose 伪逆

• $A_{n*n}$可逆: $A^{-1}$
• $A_{m*n}$广义逆, 记为$A^+ \\ s.t. A^+AA^+=A^+ , AA^+A=A$