[关闭]
@knight 2015-06-24T14:47:28.000000Z 字数 2536 阅读 974

Logistic回归

机器学习 机器学习实战


假设现在有一些数据点,我们用一条直线对这些点进行拟合,这个拟合过程将是回归。利用Logistic回归进行分类的主要思想是:根据现有数据对分类边界线建立回归公式,以此进行分类。

基于 Logistic 回归和 Sigmoid 函数的分类

我们想要的函数应该是,能接受所有的输入然后预测出类别。例如,在两个类的情况下,上
述函数输出0或1。或许你之前接触过具有这种性质的函数,该函数称为海维塞德阶跃函数
(Heaviside step function),或者直接称为单位阶跃函数。然而,海维塞德阶跃函数的问题在于:
该函数在跳跃点上从0瞬间跳跃到1,这个瞬间跳跃过程有时很难处理。幸好,另一个函数也有类
似的性质 1 ,且数学上更易处理,这就是Sigmoid函数 2 。Sigmoid函数具体的计算公式如下

当x为0时,Sigmoid函数值为0.5。随着x的增大,对应的Sigmoid值将逼近于1;而随着x的减小,Sigmoid值将逼近于0
因此,为了实现Logistic回归分类器,我们可以在每个特征上都乘以一个回归系数,然后把
所有的结果值相加,将这个总和代入Sigmoid函数中,进而得到一个范围在0~1之间的数值。任何大于0.5的数据被分入1类,小于0.5即被归入0类。所以,Logistic回归也可以被看成是一种概率估计

基于最优化方法的最佳回归系数确定

Sigmoid函数的输入记为z,由下面公式得出:z=w0x0+w1x1+w2x2++wnxn
如果采用向量写法,上述公式可以写成: z=wTx
向量x是分类器的输入数据,向量w也就是我们要找到的最佳参数(系数),从而使得分类器尽可能地精确.我们的目标就是为了得到w

梯度上升法

第一个最优化算法叫做梯度上升法。梯度上升法基于的思想是:要找到某函数的
最大值,最好的方法是沿着该函数的梯度方向探寻。如果梯度记为∇,则函数 f(x,y) 的梯度由下式表示: w:=w+αwf(w)

  1. # -*- coding: utf-8 -*-
  2. """
  3. Created on Wed Jun 24 16:53:47 2015
  4. @author: knight
  5. """
  6. from numpy import *
  7. #load dataset
  8. def loadDataSet():
  9. dataMat = []; labelMat = []
  10. fr = open('testSet.txt')
  11. for line in fr.readlines():
  12. lineArr = line.strip().split()
  13. dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
  14. labelMat.append(int(lineArr[2]))
  15. return dataMat, labelMat
  16. #def sigmod function
  17. def sigmod(inX):
  18. return 1.0/(1+exp(-inX))
  19. #gradAscent function
  20. def gradAscent(dataMatIn, classLabels):
  21. dataMatrix = mat(dataMatIn)
  22. labelMat = mat(classLabels).transpose()
  23. m,n = shape(dataMatrix)
  24. alpha = 0.001
  25. maxCycles = 500
  26. weights = ones((n,1))
  27. for k in range(maxCycles):
  28. h = sigmod(dataMatrix*weights)
  29. error = (labelMat - h)
  30. weights = weights + alpha*dataMatrix.transpose()*error
  31. return weights
  32. #画出决策边界
  33. def plotBestFit(weights):
  34. import matplotlib.pyplot as plt
  35. # weights = wei.getA()
  36. dataMat, labelMat = loadDataSet()
  37. dataArr = array(dataMat)
  38. n = shape(dataArr)[0]
  39. xcord1 = []; ycord1 = []
  40. xcord2 = []; ycord2 = []
  41. for i in range(n):
  42. if int(labelMat[i]) == 1:
  43. xcord1.append(dataArr[i,1]); ycord1.append(dataArr[i,2])
  44. else:
  45. xcord2.append(dataArr[i,1]); ycord2.append(dataArr[i,2])
  46. fig = plt.figure()
  47. ax = fig.add_subplot(111)
  48. ax.scatter(xcord1, ycord1, s = 30, c='red', marker='s')
  49. ax.scatter(xcord2, ycord2, s = 30, c='green')
  50. x = arange(-3.0, 3.0, 0.1)
  51. y = (-weights[0]-weights[1]*x)/weights[2]
  52. ax.plot(x,y)
  53. plt.xlabel('X1')
  54. plt.ylabel('X2')
  55. plt.show()
  56. #随机梯度上升
  57. def stocGradAscent0(dataMatrix, classLabels):
  58. m,n = shape(dataMatrix)
  59. alpha = 0.01
  60. weights = ones(n)
  61. for i in range(m):
  62. h = sigmod(sum(dataMatrix[i]*weights))
  63. error = classLabels[i] - h
  64. weights = weights + alpha*error*dataMatrix[i]
  65. return weights
  66. """
  67. test.py
  68. from numpy import *
  69. import logRegres
  70. dataArr,labelMat = logRegres.loadDataSet()
  71. wei = logRegres.stocGradAscent0(array(dataArr), labelMat)
  72. logRegres.plotBestFit(wei)
  73. """
添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注