[关闭]
@hainingwyx 2017-05-11T09:14:30.000000Z 字数 2730 阅读 1058

PCA和KPCA的SVM形式

机器学习


PCA的SVM形式

PCA的目标是找到合适投影方向实现方差最大化:

从目标出发还有一种表达:

这种表达没有了之前特种空间基向量要求是单位向量的限制,新的限制体现在只需要尽量小即可。

同样用Lagrangian求解:

求偏导得:

消去,得:

写成矩阵形式:

其中

以上表明最优解时是协方差矩阵的特征值。

下面说明最优解是最大特征值对应的特征向量。

投影向量为:

题外话:
1. 每一个投影向量都是不相关的,因为向量都是正交的。并且特征空间的基是相互正交的。
2. 向量的归一化,将会导出 ,这个和原本的约束非常不一样

KPCA的SVM形式

KPCA的目标是在特征空间找到合适投影方向实现方差最大化:

其中

从目标出发还有一种表达:

这种表达没有了之前对齐要求是单位向量的限制,新的限制体现在只需要尽量小即可。

同样用Lagrangian求解:

求偏导得:

消去,得:

写成矩阵形式:

其中 ,

是可以用kernel function表示的:

其中,

以上表明最优解时是协方差矩阵的特征值。

说明最优解是最大特征值对应的特征向量(略)。

投影向量为:

参考文献

[1] Suykens J A K, Van Gestel T, Vandewalle J, et al. A support vector machine formulation to PCA analysis and its kernel version[J]. IEEE Transactions on neural networks, 2003, 14(2): 447-450.

添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注