[关闭]
@hainingwyx 2017-05-10T07:56:04.000000Z 字数 872 阅读 751

PCA 推导

机器学习


写在之前

时间充裕的话,可以从文末给出的参考链接中观看李正轩博士视频,本文是其讲课资料整理。

基本概念

对于给定0均值的训练样本, PCA的目的就是在空间中,找p(p

可以证明:向量在单位向量的投影坐标为

投影方差为;

其中

为使投影方差最大:

使用Lagrangian求:

找到最大的特征值,对应一个方向下最大的方差;最大的两个特征值,就是两个方向下最大的方差。

单个数据在k个特征向量的投影坐标:


多个数据在k个特征向量的投影坐标:

算法流程

  1. 数据归一化
  2. 求协方差矩阵C
  3. 求协方差矩阵C的前k个最大的特征向量
  4. 计算投影坐标

参考文献

[1]https://www.youtube.com/watch?v=G2NRnh7W4NQ&index=2&list=PLt0SBi1p7xrRKE2us8doqryRou6eDYEOy

添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注