date: 2016-03-02
categories: Machine learning
tag: [Probability theory, Bayes theorem, 贝叶斯]
mathjax: true
博客

title: 从模式识别的角度看概率论

前言

也许很多人讲到概率论，特别是“贝叶斯”时就面露难色，那么今天就从模式识别的角度来看看概率论，看看“贝叶斯”是什么。

离散+单变量

首先从最简单的离散单变量开始。首先假设有两个箱子，里面装好大小形状完全一致的小球，球上印着不同的数字，如下图所示：

我们能且仅能通过从箱子中抽取球并观察其号码的方式来判断这个箱子到底是C1箱子还是C2箱子。要判断上图中是哪个箱子很简单，仅需看抽出的号码是几。如果是1则是C1箱；如果是2则为C2箱。

那如果把箱子中的球换成以上这种情况呢？是不是就变得稍微复杂点？

概率论简单回顾

在解释应该如何通过号码球来判断哪个箱子之前，先来回顾一下简单的概率论知识：

• 被观察的对象 A 称为事件，其发生的概率为$P[A]$。
• 样本空间 S 是所有可能事件的集合 。
• 概率论三大公理：
  
  1. $0 \le P[A]$
  2. $P[S] = 1$
  3. 如果 $A \cap B = \varnothing$, 那么 $P[A \cup B] = P[A] + P[B]$
• 条件概率：A在B事件发生的情况下的概率记为$P[A|B]$，其大小为：
  $$P[A|B] = \frac{P[A,B]}{P[B]}$$ 其中$P[A,B]$为事件A和B同时发生的概率，$P[B]$为事件B发生的概率。
  
  观察上图，不难理解，当求给定事件B下A发生的概率时，此时B事件已经发生，所以B事件以外的部分统统忽视。所以此时事件A发生的概率$\frac{P[A,B]}{P[B]}$，即上图中红框面积除以绿框面积。
• 由 $$P[A|B] = \frac{P[A,B]}{P[B]}$$
  不难推出：
  $$P[A,B] = P[A|B] \ast P[B] = P[B|A] \ast P[A]$$
• 全概率定理：如果B1、B2、B3,...,Bn分割样本空间S，那么事件A发生的概率为： $$P[A] = \sum_{i=1}^n P[A|B_i] \ast P[B_i]$$

贝叶斯定理

由上一小结最后三条公式：

$$P[A|B] = \frac{P[A,B]}{P[B]}$$

$$P[A,B] = P[A|B] \ast P[B] = P[B|A] \ast P[A]$$

$$P[A] = \sum_{i=1}^n P[A|B_i] \ast P[B_i]$$

不难推出：

$$P[B|A] = \frac{P[A,B]}{P[A]} = \frac{P[A|B] \ast P[B]}{\sum_{i=1}^n P[A|B_i] \ast P[B_i]}$$

而这就是贝叶斯定理。
其中$P[A]$称为先验概率（prior probability）
$P[A|B]$称为后验概率（posterior probability）

例子

回到上述的例子中，我们假设C1和C2出现的概率均为$0.5$，从图中不难看出：

$$P[1|C1] = 0.8$$ $$P[2|C1] = 0.2$$ $$P[1|C2] = 0.4$$ $$P[2|C2] = 0.6$$
由

$$P[A,B] = P[A|B] \ast P[B] = P[B|A] \ast P[A]$$

可以计算得：

$$P[1,C1] = P[1|C1] \ast P[C1] = 0.8 \ast 0.5 = 0.4$$

$$P[2,C1] = P[2|C1] \ast P[C1] = 0.2 \ast 0.5 = 0.1$$

$$P[1,C2] = P[1|C2] \ast P[C2] = 0.4 \ast 0.5 = 0.2$$

$$P[2,C2] = P[2|C2] \ast P[C2] = 0.6 \ast 0.5 = 0.3$$

由

$$P[A] = \sum_{i=1}^n P[A|B_i] \ast P[B_i]$$
可以计算得：
$$P[1] = P[1|C1] \ast P[C1] + P[1|C2] \ast P[C2] = 0.8 \ast 0.5 + 0.4 \ast 0.5 = 0.6$$

$$P[2] = P[2|C1] \ast P[C1] + P[2|C2] \ast P[C2] = 0.2 \ast 0.5 + 0.6 \ast 0.5 = 0.4$$

最后，根据贝叶斯定理：

$$P[B|A] = \frac{P[A,B]}{P[A]}$$ 可以得到：
$$P[C1|1] = \frac{P[1,C1]}{P[1]} = \frac{0.4}{0.6}= 0.67$$

$$P[C1|2] = \frac{P[2,C1]}{P[2]} = \frac{0.1}{0.4} = 0.25$$

$$P[C2|1] = \frac{P[1,C2]}{P[1]} = \frac{0.2}{0.6} = 0.33$$

$$P[C2|2] = \frac{P[2,C2]}{P[2]} = \frac{0.3}{0.4} = 0.75$$

在这里我们将整个计算过程分为三步：
1. 计算条件概率$P[1, C1]$；
2. 计算全概率$P[1]$；
3. 计算后验概率$P[C1|1]$。

之所以这么做的原因是将难以计算的量转换成容易计算或者能够直观获得的量。在我们的例子中，球在每个箱子中出现的概率（$P[1|C1]$）是直观获得的，球总共出现的概率是容易计算的（$P[1]$）,而箱子在抽取球后的概率（$P[C1|1]$）是相对没有那么容易计算的。

当然我们可以使用以下贝叶斯定理一步到位：

$$P[B|A]= \frac{P[A|B] \ast P[B]}{\sum_{i=1}^n P[A|B_i] \ast P[B_i]}$$

$$P[C1|1] = \frac{P[1|C1] \ast P[C1]}{P[1|C1] \ast P[C1] + P[1|C2] \ast P[C2]} \\ = \frac{0.8 \ast 0.5}{0.8 \ast 0.5 + 0.4 \ast 0.5} = 0.67$$

$$P[C1|2] = \frac{P[2|C1] \ast P[C1]}{P[2|C1] \ast P[C1] + P[2|C2] \ast P[C2]} \\ = \frac{0.2 \ast 0.5}{0.2 \ast 0.5 + 0.6 \ast 0.5} = 0.25$$

$$P[C2|1] = \frac{P[1|C2] \ast P[C2]}{P[1|C1] \ast P[C1] + P[1|C2] \ast P[C2]} \\ = \frac{0.4 \ast 0.5}{0.8 \ast 0.5 + 0.4 \ast 0.5} = 0.33$$

$$P[C2|2] = \frac{P[2|C2] \ast P[C2]}{P[2|C1] \ast P[C1] + P[2|C2] \ast P[C2]} \\ = \frac{0.6 \ast 0.5}{0.2 \ast 0.5 + 0.6 \ast 0.5} = 0.75$$

之所以将$P[A|B]$称作为后验概率的原因是，当事件A和B不是独立事件时，B事件的出现会影响A事件发生的概率。在我们的例子中，C1与C2的先验概率均为$0.5$，当抽到的球为$1$时，由于其在不同箱子中的个数是不同的，所以C1与C2的概率发生了变换，变成$0.67$和$0.33$。也就是说，因为抽到的是1号，而又因为其在C1箱中更多，所以我们更加确定地判断箱子为C1。

再举个例子，相同的箱子以及球的个数，但是箱子出现的概率分别为：

$$P[C1] = 0.9, P[C2] = 0.1$$
那么：
$$P[C2|2] = \frac{P[2|C2] \ast P[C2]}{P[2|C1] \ast P[C1] + P[2|C2] \ast P[C2]} = \frac{0.6 \ast 0.1}{0.2 \ast 0.9 + 0.6 \ast 0.1} = 0.25$$

即在抽到2号球的情况下，判断为C2箱子的概率为$0.25$,也就是说，无论抽到的是几号球，都应该直接判断为C1箱子，原因是因为C1箱子出现的概率大大超过C2箱子。然而，2号球的出现还是稍微提高了判断为C2箱子的可能性，从$0.1$提高到了$0.25$。

而这就是贝叶斯定理的关键是先验概率与后验概率的比较，也就是一个事情的发生概率受另外事件概率的影响多少。