马氏距离与欧氏距离--从多元正态分布引出

统计

---

看了PRML第二章，发现多元正态分布计算距离的时候，使用的是马氏距离，也就是

$$(x-\mu)^T\sum{}^{-1}(x-\mu)$$
$\sum{}^-1$是协方差矩阵。马氏距离是欧氏距离的泛化，欧氏距离是 $$(x-\mu)^T*(x-\mu)$$ 当协方差矩阵为单位矩阵时就是欧氏距离了。

那么，为什么计算马氏距离比欧氏距离科学呢，http://stats.stackexchange.com/questions/62092/bottom-to-top-explanation-of-the-mahalanobis-distance 这篇写的很好，大致意思就是，欧氏距离的计算是在原本的坐标系下，拿二维空间举例子，就是在xy轴下计算，而且也没有缩放。举两种例子说明欧氏距离的不靠谱

• 假设数据分布是一个二维的正椭圆，x轴y轴均值都为0，x轴的方差为1000，y轴的方差为1，考虑两个点(1,0),(0,1)到原点的距离，如果计算的是欧氏距离那么两者相等，但是仔细想一下，因为x轴的方差大，所以(1,0)应该是更接近中心的点，也就是正态分布标准差的(65,97,98)原则。这时候需要对xy轴进行缩放，对应的操作就是在协方差矩阵的对角上加上归一化的操作，使得方差变为1.
• 假设数据分布是一个二维的椭圆，但是不是正的，比如椭圆最长的那条线是45°的，因为矩阵的对角只是对坐标轴的归一化，如果不把椭圆旋转回来，这种归一化是没有意义的，所以矩阵上的其他元素（非对角）派上用场了，如果椭圆不是正的，说明变量之间是有相关性的（x大y也大），$COV(x_i,x_j) \neq 0$，加上协方差非对角元素的意义就是做旋转

综上，马氏距离就是将数据做了旋转，做了方差归一化之后再计算的欧氏距离，科学吧。