[关闭]
@a335031 2014-10-11T08:21:09.000000Z 字数 1184 阅读 2761

逻辑回归关于经验风险最小化的凸近似体现

机器学习


经验最小化以及逻辑回归的等价问题

经验风险最小化——极小化训练误差(minε^(θ)):

miny(i)(1I(z(i)))+(1y(i))I(z(i))
逻辑回归——极大化似然函数(maxl(θ)):
miny(i)[lng(z(i))]+(1y(i))[ln(1g(z(i)))]
其中,z(i)=θTx(i)I为示性函数、g为逻辑函数。容易看出1I(z(i))lng(z(i))近似,I(z(i))ln(1g(z(i)))近似。

函数图像

逻辑回归1
逻辑回归2

思考

经验风险最小化存在最优解但不一定唯一,而逻辑回归存在唯一解。

逻辑回归由于使用了极大似然估计,所以它不仅关注样本是否被正确分类,还考虑了区分程度。

推导

首先定义一个函数

1{x}={10x=truex=false

经验风险最小化算法:

minε^(θ)min1mi=1m1{I(z(i))y(i)}min1{I(z(i))y(i)}miny(i)(1I(z(i)))+(1y(i))I(z(i))

逻辑回归:
maxl(θ)maxy(i)lng(z(i))+(1y(i))ln(1g(z(i)))miny(i)[lng(z(i))]+(1y(i))[ln(1g(z(i)))]

添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注