HMM

HMM

---

HMM，Hidden Markov Model
隐马尔科夫模型，或译 “隐马尔可夫模型”

HMM-基本模型与三个基本问题

这次学习会讲了隐马尔科夫链，这是一个特别常见的模型，在自然语言处理中的应用也非常多。

常见的应用比如 分词，词性标注，命名实体识别等序列标注问题 均可使用 HMM.

YONG: 分词，词性标注，命名实体识别 这三个都属于 序列标注问题

下面，我根据自己的理解举例进行讲解一下HMM的基本模型以及三个基本问题，希望对大家理解有帮助~

HMM 的定义 (原书 P.171)

隐马尔可夫模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。

YONG:
生长式学习法：举例理解 状态随机序列 与 观测随机序列

TODO: 马尔可夫链 (Markov chain) 的概念及解释

隐藏的马尔可夫链随机生成的状态的序列，称为状态序列（state sequence);每个状态生成一个观测，而由此产生的观测的随机序列，称为观测序列（observation sequence)。

YONG: 这里的 状态序列 与上一段中 状态随机序列 是同一概念，对不
YONG: 这里的 观测序列 与上一段中 观测随机序列 是同一概念，对不

序列的每一个位置又可以看作是一个时刻。

YONG: 我 昨天 上学 迟到 了 ，老师 批评 了 ____。这里的 "我" 是 $t_0$，"昨天" 看作 $t_1$，这样理解是否可以？
答：可以

下面我们引入一些符号来表示这些定义：

设 $\mathbb{Q}$ 是所有可能的状态的集合，$\mathbb{V}$ 是所有可能的观测的集合。

YONG: 这里的 所有可能的状态 是指 HMM 随机生成的 所有可能的状态 吗
答：是的

$\mathbb{Q} = \{q_1,q_2,...,q_N\}$
$\mathbb{V} = \{v_1,v_2,...,v_M\}$

其中，N 是可能的状态数，M 是可能的观测数。

状态 q 是不可见的，观测 v 是可见的。

YONG: 这里的 $q_1, v_1$ 是向量还是标量？
答：标量

生长式学习法：在继续阅读后续部分之前，应该有这样的疑问 “如何理解 不可见 与 可见？

应用到词性标注中，v代表词语，是可以观察到的。q代表我们要预测的词性（一个词可能对应多个词性）是隐含状态。

应用到分词中，v代表词语，是可以观察的。q代表我们的标签（B,E这些标签，代表一个词语的开始，或者中间等等）

TODO: more info
B,E 这样的更多更完整的标签

应用到命名实体识别中，v代表词语，是可以观察的。q代表我们的标签（标签代表着地点词，时间词这些）

TODO: HMM 应用到这三个问题的示例，如 我昨天上学迟到了，老师批评了____。

上面提到的方法，有兴趣的同学可以再细入查阅相应资料。

I 是长度为 T 的状态序列，O 是对应的观测序列。

$$I = (i_1,i_2,...,i_T) \\ O = (o_1,o_2,...,o_T)$$

我们可以看做是给定了一个词（O）+词性（I）的训练集。

或者一个词(O)+分词标签（I）的训练集....有了训练数据，那么再加上训练算法则很多问题也就可以解决了，问题后面慢慢道来~

我们继续定义 A 为状态转移概率矩阵：

$$\mathbb{A} = [a_{ij}]_{N*N}$$

其中，

$$a_{ij} = P(i_{t+1} = q_j | i_t = q_i) \\ i = 1,2,...,N \\ j = 1,2,...,N$$

是在时刻 t 处于状态 $q_i$ 的条件下在时刻 t+1 转移到状态 $q_j$ 的概率。

B是观测概率矩阵:

$$B = [b_j(k)]_{N \times M}$$

其中，

$$b_j(k) = P(o_t = v_k | i_t = q_j)\\ k = 1,2,...,M\\ j = 1,2,...,M$$

是在时刻t处于状态qj的条件下生成观测vk的概率（也就是所谓的“发射概率”）。

所以我们在其它资料中，常见到的生成概率与发射概率其实是一个概念。