[关闭]
@hainingwyx 2017-05-10T07:06:57.000000Z 字数 1791 阅读 866

Kernel Method

机器学习


写在之前

时间充裕的话,可以从文末给出的参考链接中观看李正轩博士视频,本文是其讲课资料整理。

基本概念

实现的映射,即

对于数据分布按照,映射之后有:

数据的分割从椭圆变成了3维的平面。

由此,可以实现低维到高维的映射,并可以线性划分。来看高维度的几何性质:

是核函数,实现了高纬度内积降维到低维,然后掉用Kernel function就可以。仅仅是就可以描述高维空间中的性质,而不需要知道具体是如何映射的。


简单的分类器

训练集

正样本中心点:
负样本中心点:

中心点差向量:
中心点:

判断正类样本:
判断负类样本:

因为还不清楚,所以以上判断还需进一步化简,


并不是一定要求出来,只要知道Kernel Function 就行。Kernel Function 需要满足有限半正定(finitely positive semi-definite)。对于给定的,可以求出计算特征空间的点积;对于给定的,可以找到一个构建特征空间H。


Dual Representation

设特征空间的线性函数为,为了去掉,由(3)需要进一步化简

其中

从这里看,使用将原本的高维向量的内积变成了低维内积,然后做一次kernel function。大大减少了计算量。

参考文献

[1]https://www.youtube.com/watch?v=p4t6O9uRX-U&index=1&list=PLt0SBi1p7xrRKE2us8doqryRou6eDYEOy

添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注