机器学习中的特征缩放（feature scaling）之一

特征缩放(feature scaling)是预处理阶段的关键步骤，但常常被遗忘。虽然存在决策树和随机森林这种是少数不需要特征缩放的机器学习算法，但对于大部分机器学习算法和优化算法来说，如果特征都在同一范围内，会获得更好的结果。比如第二章提到的梯度下降法。

特征缩放的重要性可以通过一个简单的示例解释。假设我们有两个特征，一个特征的取值范围是[1,10],另一个特征的取值范围是[1,100000]。
我们使用Adaline中的平方误差函数，很明显，权重更新时会主要根据第二维度特征，这就使得在权重更新过程中第一个特征的话语权很小。另一个例子是如果kNN算法用欧氏距离作为距离度量，第二维度特征也占据了主要的话语权。

有两种方法能使不同的特征有相同的取值范围：归一化(normalization)和标准化(standardization)。

两种方法还是有必要区分一下的。

归一化指的是将特征范围缩放到[0,1]，是最小-最大缩放(min-max scaling)的特例。

为了得到归一化结果，我们对每一个特征应用最小-最大缩放，计算公式如下：

$$x_{norm}^{(i)} = \frac{x^{(i)} - x_{min}}{x_{max} - x_{min}}$$

** Python函数实现MinMaxScaler：**

def featureScaling(arr):
    vmin = min(arr)
    vmax = max(arr)  
    feat = []
    for _,v in enumerate(arr):
        s = float(float(v-vmin)/float(vmax-vmin))
        feat.append(s)
    return feat
# tests of your feature scaler--line below is input data
data = [115, 140, 175]
print(featureScaling(data))

[0.0, 0.4166666666666667, 1.0]

** Sklearn实现MinMaxScaler：**

from sklearn.preprocessing import MinMaxScaler
import numpy as np
weights = np.array([[0.0],[1.0],[2.0],[3.0],[4.0],[5.0]])
scaler =MinMaxScaler()k
rescaled_weight = scaler.fit_transform(weights)
rescaled_weight

array([[ 0. ], [ 0.2], [ 0.4], [ 0.6], [ 0.8], [ 1. ]])

受特征缩放影响的算法有：
- SVM (支持向量机)
- K-均值聚类

本文先写到这里，下一节写一些标准化(Standardization)的具体实现。

参考资料：

1. sklearn.preprocessing.MinMaxScale
2. Python机器学习
3. MathJax
4. LaTeX数学符号