四大子空间与投影

线性代数 投影 四大子空间

$四大空间与秩$：

$$Ax=b$$ $\ \ \ \ \ $由矩阵右乘的性质(x在A的右边)可额知,b是矩阵A中各列线性组合的结果，所以可以说所谓的列空间其实是以矩阵A中各列为基,生成(span)的一个子空间. 如果我们把A中的某些列看成是生成列空间的基的话，我们好奇这个生成的列空间的维度究竟是多少？假设矩阵A的规模是$m$x$n$,其主元个数为$k$,则列空间的维度为$k$，
$\ \ \ \ 等式Ax=0的解为零空间,还是原来的假设,则零空间的维度是n-k.$
$$xA=c$$ $\ \ \ \ \ \ \ $至于行空间,由矩阵的左乘性质可知,是以矩阵A中的某些行作为基底，生成的子空间.由行秩等于列秩可知,行空间的维度也是$k$,$xA=0$的解空间对应的就是左零空间.其空间维度是$m-k$。至此,四大基本子空间就介绍完毕了,接下来,讲讲四大子空间它们之间的关系. $Ax=0$,由行空间的定义和零空间的定义可知,A中的各行与x中的各列互相垂直,所以行空间与零空间是互相垂直，左零空间与列空间也是互相垂直,但证明起来需要一点小技巧,可以试试将$xA$=$0$倒置过来,便可以比较便利的完成证明.
$\ \ \ \ \ \ \ $接下来,开始我们的重头戏:投影！
$\ \ \ \ \ \ \ $让我们回顾$Ax=b$，让我们思考一下,对于每一个b来说,$Ax$是否总是有解,当然,我们假设$b$是属于三维空间内,且矩阵$A(3*3)$是可逆的话,当然对于每一个b来说都是有解的.如果$A$是不可逆的呢$?$如果更糟糕的情况是如果$b$是属于四维空间的话,那么很遗憾$x$是不存在的,让我们回顾一下列空间的定义,$Ax$肯定是属于列空间的,所以是不是存在一个$\hat{x}$,其生成的$\hat{b}$使其最接近$b$，首先我们要定义什么才是最接近,最接近的定义就是$b$和$\hat{b}$之间的距离最短,然后我们假设一个误差向量$\vec{e}$,如果$b$和$\hat{b}$是最接近的话，
$$\vec{e}=b-A\hat{x}$$ $且满足\vec{e}\perp\hat{b}(A\hat{x})，$ 这是显然的,由高中的数学知识可知.即误差向量垂直整个平面$A$于是可推出：
$$A^T(b-A\hat{x})=0$$ 化简成$A^TA\hat{x}=A^Tb$，于是$\hat{x}=(A^TA)^{-1}A^Tb$
所以 $$A\hat{x}=A(A^TA)^{-1}A^Tb$$ 设$P$为投影矩阵.
$\ \ \ \ \ \ \ 则Pb=A(A^TA)^{-1}A^Tb.现在，我们要关注的问题是A^TA是否存在它的逆.$首先,我们在回答这个问题之前,需要对矩阵A做一些挑选,即矩阵A中各列是线性独立的.则我们仅考虑$Ax=0$，显然可得$A^TA是可逆的.$