KNN算法总结以及Python实现

机器学习 算法

K-NN

K-NN是最早的机器学习算法，主要思想就是抽象取样样本集中特征最相似（最近邻）的数据的分类标签。

特点：

• 优点： 精度高、对异常值不敏感、无数据输入假定
• 缺点 : 计算复杂度高、空间复杂度高
• 适用数据范围： 数值型和标称型

算法

1. 计算已知类别数据集中的点与当前点的距离
2. 按照距离递增次序排序
3. 选取与当前点距离最小的k个点
4. 确定前k个点所在类别的出现概率，返回前k个点出现频率最高的类别作为当前点的预测分类

归一化

归一化数据：将数据取值范围处理为0~1、-1～1之间。
$new = (value - min)/(max-min)$

Python实现

GIthub：https://github.com/spiritwiki/codes/tree/master/knn
coding.net：https://coding.net/u/spiritwiki/p/codes/git/tree/master/knn