Clatech CS155 - ML & DM

课件 DOING

---

ML主要和算法相关
DM主要是提取知识
两者相关部分很多

垃圾邮件

• 人类
  
  • 人类很容易辨识出来
  • 判断算法不容易写出来
  • 大量的IF判断

• 机器学习方法：建立通用表征，运行通用分类算法

  • 词袋
  • 线性分类

• ML为什么有效

  • 数据中有重复模式，尤其在特征中
  • 算法能够发现对应的模式

• 两类问题

  • 分类
  • 回归
  • 两者相关，分类也是利用的回归

0-1 loss
squared loss
使用梯度下降

测试错误 $L_p(f)=E_{(x,y)->P(x,y)}[L(y,f(x))]$

$$f_S=arg\min_{w,b}\sum_{x_i,y_i\in S}L(y_i,f(x_i|w,b))$$
$$E[L_p(f_S)] = E_S[E_{(x,y)->P(x,y)}[L(y,f_S(x))]]$$
对于平方错误有
$$E[L_p(f_S)] = E_{(x,y)->P(x,y)}[E_S[(f_S(x)-F(x))^2]]+[(F(x)-y)^2]]$$
前面部分称为variance term：方差
后面部分称为bias term：偏差
$$F(x)=E_S[f_s(x)]$$
平均预测

高方差 -- 过拟合

• 模型不稳定
• 随着模型复杂度增加而增加
• 训练数据越多而降低

高偏差 -- 欠拟合

• 就算无方差，模型高错误
• 模型复杂度增加而降低
• 与训练数据集大小无关

模型选择

• CV，交叉验证

过拟合：测试误差 >> 训练误差

2