[关闭]
@zhuanxu 2018-03-30T08:11:51.000000Z 字数 554 阅读 545

adaboost 原理

机器学习


首先之前我写过一篇关于boosting原理的文章,可以先去查看的,那篇文章对于adaboost的介绍不是很清楚,所以有了本文。

adaboost原理

首先我们需要知道:Boosting是将弱学习器组合成强分类器,其主要公式:

我们的目标是去学习每个分类器以及分类器的权重。

上面的话总结为数学描述如下:

上面关于分类器的权重以及每轮样本分布更新的策略,我们稍后再介绍,先来看下一个例子:







上面的步骤重复计算,最终的分类器即为每个分类器输出的权重和。

上面的步骤中,我们需要去证明两个事情,权重为何如此更新,已经每个分类器的权重为何是这么多。


上面介绍了adaboost其误差估计是0-1的,但是通过缩放可以变为指数误差,然后通过变化指数误差,我们可以得到一个关于wm的递推公式

根据wm的递推公式,我们可以知道误差是跟分类器的权值有关,可以转化为极值问题。

最后通过求导数的方法,求到每个分类器的权值,下面总结下整个算法过程:

通过本文你应该知道了每个样本权值w的更新规则是如何来的,以及每个弱分类器的权重是怎么决定的。

你的鼓励是我继续写下去的动力,期待我们共同进步。
这个时代,每个人都是超级个体!关注我,一起成长!

添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注