朴素贝叶斯

机器学习 朴素贝叶斯

---

朴素贝叶斯的学习和分类

属于生成模型

符号定义
输入空间：$X \subseteq R^n$ 为n维向量空间；
输出类标记：$Y = \{c_1, c_2, ... c_k\}$
$P(X,Y)$是$X$和$Y$的联合概率分布
训练数据集

$$T={(x_1,y_1),(x_2,y_2),...(x_N, y_N)}$$
由$P(X,Y)$独立同分布产生

朴素贝叶斯：目标是同过训练数据学习联合概率分布$P(X,Y)$。
通过先验概率分布$P(Y=c_k), k=1,2,...K$
条件概率分布

$$P(X=x|Y=c_k)=P(X^1=x^1,...,X^n=x^n|Y=c_k), k=1,2,...,K$$
则$P(X,Y)=P(X=x|Y=c_k)P(Y=c_k)$

假设$x^j$的取值有$S_j，j=1,2,...n$个,$Y$的可能取值有$K$个，那么参数的个数为$K\prod_{j=1}^{n}S_j$

朴素贝叶斯对条件概率分布作了条件独立性假设，即

$$P(X=x|Y=c_k)=\prod_{j=1}^{n}P(X_j=x_j|Y=c_k)$$

学习到生成规则之后，对于给定的$x$:

$$P(Y=c_k|X=x) = \frac{P(X=x|Y=c_k)P(Y=c_k)}{\sum_{k}P(X=x|Y=c_k)P(Y=c_k)}$$

由此，朴素贝叶斯分类器可表示为

$$y = f(x) = arg\max_{c_k}\frac{P(Y=c_k)P(X=x|Y=c_k)\prod_{j=1}^{n}P(X^j=x^j|Y=c_k)}{\sum_{k}P(Y=c_k)\prod_{j=1}^{n}P(X^j=x^j|Y=c_k)}$$

分母对于任何$c_k$都一样，可得

$$y=arg\max_{c_k}P(Y=c_k)\prod_{j=1}^{n}P(X^j=x^j|Y=c_k)$$

极大似然估计

先验概率

$$P(Y=c_k) = \frac{\sum_{i=1}^{N}I(y_i=c_k)}{N}$$

假设第$j$个特征$x^j$可能取值的集合为$\{a_{j1},a_{j2},...a_{jS_j}\}$, 那么条件概率

$$P(X^j=a_{jl}|Y=c_k) = \frac{\sum_{i=1}^{N}I(x_i^j=a_{jl},y_i=c_k)}{\sum_{i=1}^{N}I(y_i=c_k)}$$

拉普拉斯平滑

$$P(Y=c_k) = \frac{\sum_{i=1}^{N}I(y_i=c_k) + \lambda}{N + K\lambda}$$