第六章 正交性 （和最小二乘法 ）

课程学习 线性代数 C.Lay线代 所有文稿

* 主要知识点

• 理解正交性的定义
  理解正交集、正交基、正交投影、正交矩阵等定义以及定理6
  掌握证明集合等式或者包含关系的基本方法

6.1 内积、长度和正交性

$u$和$v$内积定义为

$$[u_1\quad u_2\quad \ldots \quad u_n]\begin {bmatrix}v_1\\v_2\\ \vdots \\v_n\end{bmatrix} =u_1v_1+u_2v_2+\ldots +u_nv_n$$

内积的运算性质

a. $u·v=v·u$
b. $(u+v)·w=u·w+v·w$

$$\lVert v\rVert=\sqrt{v·v}=\sqrt{v_1^2+v_2^2+\ldots +v_n^2} 且 \lVert v\rVert^2=v·v$$

向量$v$的单位化

$u=\dfrac{v}{\lVert v\rVert}$，此时$u$和$v$方向一致

• 向量距离：$\Bbb{R}^n$中向量$u$和$v$之间的距离为

$dist(u,v)=\lVert u-v\rVert$

正交

$$u·v=0$$
（勾股）定理：两个向量正交的充要条件是 $$\lVert u+v\rVert^2=\lVert u\rVert^2+\lVert v\rVert^2$$

正交补

如果向量$z$与$\Bbb{R}^b$的子空间$W$中任意向量都正交，

则称$z$正交与$W$，$z$全体的集合称为$W$的正交补

，并记作$W^{\perp}$（读作$W$的正交补）

$NulA=(RowA)^{\perp},NulA^T=(ColA)^{\perp}$

$\Bbb{R}^2$和$\Bbb{R}^3$中的角度

$u$和$v$是$\Bbb{R}^2$或$\Bbb{R}^3$中的非零向量，则有
$$u·v=\lVert u\rVert\lVert v\rVert\cos\partial$$ 并可由余弦定理 $$\lVert u-v\rVert^2=\lVert u\rVert^2+\lVert v\rVert^2-2\lVert u\rVert\lVert v\rVert\cos\partial$$ 推导出

6.2 正交集

正交集$\{u_1,\ldots ,u_p\}$中，向量两两相交

线性组合的权

$\{u_1,\ldots ,u_p\}$是$\Bbb{R}^n$中子空间$W$的正交基，对$W$中的每个向量$y$，线性组合$y=c_1u_1+\ldots+c_p+u_p$的权可以由以下式子计算 $$c_j=\dfrac{y·u_j}{u_j·u_j}\quad j=1,\ldots ,p$$

$W$的单位正交基为$\{e_1,\ldots ,e_p\}$

• 一个$m×n$矩阵$U$具有单位正交列向量的充要条件是$U^TU=I$（设一个$1×n$矩阵相乘即可以证明），称为正交矩阵且有：
  a. $\lVert Ux\rVert=\lVert x\rVert$
  b. $(Ux)·(Uy)=x·y$
  c. $(Ux)·(Uy)=0$的充要条件是$x·y=0$
  即线性映射$x\mapsto Ux$保持长度和正交性
  d. $U^{-1}=U^T$

6.3 正交投影

$$y=\hat{y}+z$$
$$\hat{y}=proj_Wy=\alpha u=\dfrac{y·u}{u·u}u$$

$z\perp u$，\^{y}称为$y$在$u$上的投影，$z$称为$y$与$u$的正交分量。$y$在$cu$上和在$u$上的投影完全一致，由$u$生成子空间$W$，$\hat{y}$可以用$proj_Wy$表示，称为**$y$在$u$上的正交投影

$y=z_1+z_2$

当$y$表示成$\Bbb{R}^n$空间中的向量$u_1,\ldots,u_n$的线性组合时，其中，$z_1$是其中一些$u_i$的线性组合，$z_2$是其余$u_i$的线性组合

正交分解定理

$\hat{y}$属于$W$，$z$属于$W^{\perp}$，$\{u_1,\ldots,u_n\}$是$W$的任意正交基，那么 $$\hat{y}=\dfrac{y·u_1}{u_1·u_1}u_1+\ldots+\dfrac{y·u_p}{u_p·u_p}u_p$$

最佳逼近定理

$\hat{y}$是$y$在$W$上的正交投影，那么$\hat{y}$是$W$中最接近$y$的点

如果$\{u_1,\ldots,u_n\}$是$W$的任意正交基，那么

$$proj_Wy=（y·u_1)u_1+\ldots +(y·u_p)u_p$$ 如果$U=[u_1\quad u_2\quad \ldots \quad u_p]$，则 $$proj_Wy=UU^Ty$$

学校课程讲到这里就结束了，后面的计划寒假自学 -2019.1.12

停止施工，完成线代学校教材这一学期学过的内容的第一次整理，因为临近期末时间紧急，尚未校对和优化排版。跨时两天，总用时大约八小时，包括 LaTeX学习。 -2019.1.13