《统计自然语言处理基础》

机器学习 读书笔记

作者：Christopher D. Manning / Hinrich Schutze

1 绪论

以前语言学家探索更加细化的语法规则，试图描述什么是正确的和不正确的语言表达，他们使规则变得日趋正式和严格。
然而对于正确的语言表达，我们无法给出一个精确并且完备的特性，因而无法把它们和错误的语言表达清楚地区分开来。

1.1 理性主义者和经验主义者的方法

理性主义认为大脑具有大量的先验知识来学习语言。
经验主义认为大脑智能不是开始于细化的规则集，而是具有联想、模式识别和概括的一般能力，通过得到感官输入，使孩子学到自然语言的详细结构。

1.2 科学内容

语言学需要回答的一些问题

1）人们说的话是什么？ 2）人们说/问/要求的事物相应于现实世界的是什么？
语言的演变进化（词汇、语法发生变化） --> 语言的非绝对现象
- 词性混合，同一个词语多个词性
- 语言的变化（kind of / sort of）
语言和认知是随机现象

1.3 语言中的歧义问题是自然语言难于处理的原因

歧义问题会导致句法分析结果数量的成倍增加

1.4 第一手资料

• 词汇资源
• 词的记数

Zipf法则

词频与排列位置的关系，$存在常数k使得f\dot r=k$