@xuchongfeng 2017-12-31T09:48:40.000000Z 字数 357 阅读 103

机器学习基石

机器学习基石 可学习性

对于一个问题，是否可以通过机器学习的算法，获得对于未知数据集的结果。

例子：
一个杯子中有红色的弹珠和绿色的弹珠，如何能获取到红色弹珠的比例？
抽样，抽取 $N$ 个弹珠， $a$ 个红色的， $b$ 个绿色的。则红色的比例为 $\mu = a/N$ 。
那么该抽样是否反映了真实的比例?
设杯子中红色的真实比例为 $\nu$ ,那么 $\mu, \nu$ 满足
Hoeffding's Inequality

$P[|\mu - \nu| > \epsilon] \leq 2 exp(-2{\epsilon}^2N)$

那么对于实际的情况。设 $E_{in}(h)$ 为in-sample error, $E_{out}(h)$ 为out-of-sample error。

$P[|E_{in}(h) - E_{out}(h)| > \epsilon] \leq 2 exp(-2{\epsilon}^2N)$

机器学习基石

内容目录

选择主题