Logistic回归

机器学习 机器学习实战

假设现在有一些数据点，我们用一条直线对这些点进行拟合，这个拟合过程将是回归。利用Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。

基于 Logistic 回归和 Sigmoid 函数的分类

我们想要的函数应该是,能接受所有的输入然后预测出类别。例如,在两个类的情况下,上
述函数输出0或1。或许你之前接触过具有这种性质的函数,该函数称为海维塞德阶跃函数
(Heaviside step function),或者直接称为单位阶跃函数。然而,海维塞德阶跃函数的问题在于:
该函数在跳跃点上从0瞬间跳跃到1,这个瞬间跳跃过程有时很难处理。幸好,另一个函数也有类
似的性质 1 ,且数学上更易处理,这就是Sigmoid函数 2 。Sigmoid函数具体的计算公式如下

当x为0时,Sigmoid函数值为0.5。随着x的增大,对应的Sigmoid值将逼近于1;而随着x的减小,Sigmoid值将逼近于0
因此,为了实现Logistic回归分类器,我们可以在每个特征上都乘以一个回归系数,然后把
所有的结果值相加,将这个总和代入Sigmoid函数中,进而得到一个范围在0~1之间的数值。任何大于0.5的数据被分入1类,小于0.5即被归入0类。所以,Logistic回归也可以被看成是一种概率估计

基于最优化方法的最佳回归系数确定

Sigmoid函数的输入记为z,由下面公式得出:$z = w_0x_0+w_1x_1+w_2x_2+ \cdots + w_nx_n$
如果采用向量写法，上述公式可以写成: $z = w^Tx$
向量x是分类器的输入数据,向量w也就是我们要找到的最佳参数(系数),从而使得分类器尽可能地精确.我们的目标就是为了得到w

梯度上升法

第一个最优化算法叫做梯度上升法。梯度上升法基于的思想是:要找到某函数的
最大值,最好的方法是沿着该函数的梯度方向探寻。如果梯度记为∇,则函数 f(x,y) 的梯度由下式表示: $w:=w+\alpha\nabla_wf(w)$

# -*- coding: utf-8 -*-
"""
Created on Wed Jun 24 16:53:47 2015
@author: knight
"""
from numpy import *
#load dataset
def loadDataSet():
    dataMat = []; labelMat = []
    fr = open('testSet.txt')
    for line in fr.readlines():
        lineArr = line.strip().split()
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
        labelMat.append(int(lineArr[2]))
    return dataMat, labelMat
#def sigmod function
def sigmod(inX):
    return 1.0/(1+exp(-inX))
#gradAscent function
def gradAscent(dataMatIn, classLabels):
    dataMatrix = mat(dataMatIn)
    labelMat = mat(classLabels).transpose()
    m,n = shape(dataMatrix)
    alpha = 0.001
    maxCycles = 500
    weights = ones((n,1))
    for k in range(maxCycles):
        h = sigmod(dataMatrix*weights)
        error = (labelMat - h)
        weights = weights + alpha*dataMatrix.transpose()*error
    return weights
#画出决策边界
def plotBestFit(weights):
    import matplotlib.pyplot as plt
    # weights = wei.getA()
    dataMat, labelMat = loadDataSet()
    dataArr = array(dataMat)
    n = shape(dataArr)[0]
    xcord1 = []; ycord1 = []
    xcord2 = []; ycord2 = []
    for i in range(n):
        if int(labelMat[i]) == 1:
            xcord1.append(dataArr[i,1]); ycord1.append(dataArr[i,2])
        else:
            xcord2.append(dataArr[i,1]); ycord2.append(dataArr[i,2])
    fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.scatter(xcord1, ycord1, s = 30, c='red', marker='s')
    ax.scatter(xcord2, ycord2, s = 30, c='green')
    x = arange(-3.0, 3.0, 0.1)
    y = (-weights[0]-weights[1]*x)/weights[2]
    ax.plot(x,y)
    plt.xlabel('X1')
    plt.ylabel('X2')
    plt.show()
#随机梯度上升
def stocGradAscent0(dataMatrix, classLabels):
    m,n = shape(dataMatrix)
    alpha = 0.01
    weights = ones(n)
    for i in range(m):
        h = sigmod(sum(dataMatrix[i]*weights))
        error = classLabels[i] - h
        weights = weights + alpha*error*dataMatrix[i]
    return weights
"""
test.py
from numpy import *
import logRegres
dataArr,labelMat = logRegres.loadDataSet()
wei = logRegres.stocGradAscent0(array(dataArr), labelMat)
logRegres.plotBestFit(wei)
"""