[关闭]
@buptzym 2016-04-12T09:19:11.000000Z 字数 4095 阅读 619

tn文本分析语言：高级语法

未分类

高级操作

1.脚本表达式

用双引号包含的脚本被称为脚本表达式，目前支持嵌入Python。 脚本表达式只能在顺序表达式中使用。代码可以在三个位置存在:

位置 功能 例子
匹配(match) 在字符串中匹配字符 match(m.mstr)
转写(rewrite) 对匹配完成的串转写 str.lower(m.mstr)
条件(condition) 判断转写条件是否满足

由于tn本身所带的匹配和转写功能一般足够使用，所以脚本在匹配和转写中只是作为补充，而条件是最需要嵌入脚本的。

例1
rule= $(rule0) $(rule1) $(rule2) : $(rewrite1) $(rewrite2) "m.str+'haha'"
rewrite1负责转写rule0，rewrite2转写rule1, 后面的脚本表达式转写rule2：
m代表rule2所匹配的结果。这个结果称为MatchResult(可参考tnpy源代码)，它有如下属性：

  1. ot       #原始输入字符串
  2. m.mstr   #匹配串
  3. m.rstr   #转写串
  4. m.pos    #匹配得到的位置

例2
rule= $(rule0) $(rule1) $(rule2) : "m[0].mstr+m[1].mstr+m[2].mstr";
以上脚本，将三个规则的匹配字符串加起来返回。

转写部分只有一个规则时，该规则需要转写匹配部分里的全部内容，形参为m[0],m[1]...，就像这个例子描述的样子。
但如果转写部分有多个规则，则转写部分的规则数量必须和匹配部分的规则数量一致，一一对应：
rule= $(rule0) $(rule1) $(rule2) : "m.mstr" "m.mstr" "m.mstr";
此时，三个脚本表达式分别承载前面的三个顺序规则。由于对应的只有一个规则，所以m等价于m[0]。

例3
low_to_up_letter = $(low_letter) : "unicode.upper(m.mstr)";
$(low_letter)匹配了小写字母，后面的表达式将前面表达式匹配后的结果转换为大写，并返回。
例4
unit_electric = $(integer_decimal) $(unit_tabl_electric) :: "abs(e(unit_kywd_electric),m[0])<33"
这个例子稍微复杂一些，例如识别30m到底是30米还是30兆字节，就取决于文本附近有没有相应的关键字。
unit_kywd_electric规则定义如下：
unit_kywd_electric = ("速度") | ("网速") | ("电脑") | ("导体")...;#省略一部分
上面的脚本，$(integer_decimal)匹配30, $(unit_tabl_electric)匹配m，
e函数在tnpy内部定义如下（原谅我起这么简单的函数名）：

  1. def e(entityname):
  2.     entity = self.Core.Entities[entityname]
  3.     header = None
  4.     header = entity.MatchItem(ot, 0, header)
  5.     if header is None:
  6.         header = MatchResult(entity, None, -100)
  7.     return header

e函数在原始字符串中匹配unit_kywd_electric实体，之后判断这个实体在字符串的位置和m[0]的位置的绝对值是否小于33, 用来确定这是否是信息计量单位。
上面的表达式有些复杂，还可以简化为
dist('unit_kywd_electric',0)<33

dist是tnpy里内置的一个函数：

  1. def dist(name, i=0):
  2.     header = e(name)
  3.     return abs(header.pos - m[i].pos)

你可以自行定制函数来方便匹配和转写，tnpy会将这些函数嵌入到引擎当中，成为闭包函数，例如：
#%Script% extends
就导入了extends.py库

1. 使用纯Python编写规则

前面提到，之所以为tn定义一套特别的语法，是为了方便能够跨语言实现解析。这种TN语法能够用正则表达式方便的进行词法分析和语法分析，具体细节可参考tnpy源代码。

但是，我们也可以使用纯Python来编写规则，这样有很多好处，可以内嵌其他实体类型，进一步扩展语言的功能。也能借助现成的Python编译器，及时发现未引用的规则。

规则需要先引入实体：

  1. from tnpy import StringEntity as SE, RegexEntity as RE, TableEntity as TE, SequenceEntity as SQE, RepeatEntity as RPE

接下来我们就能够定义不同的规则了：

  1. build = SE('成立于', '建成了');
  2. splitkw0 = RE('^|[,\.。，和\r\n]');
  3. quotekw = TE([RE('校训'), RE('育人精神')]);
  4. quote0 = RE('"([^"]+)"', '$1');
  5. anything = RE('.*');

得益于Python非常fancy的语法，buiid实际上是("成立于":"建成了"), quotekw则是两个正则的或表达式。

下面定义了一个顺序表达式，是不是可读性也很强呢？
quote1 = SQE([quotekw, anything, quote0, anything, splitkw0])
python版本的规则和tn规则也能相互引用，tn规则可以直接引用py规则，而py规则想要引用，则需要
quote_example= SQE([REF('quote')],[rewriterule])
我简直深深地爱上了Python。

  1. 结合NLP和词性
    原始的tnpy，为了保证代码的纯粹性，没有加入这些功能，如果我们希望匹配

**名词**确实是**形容词**
这样的表达，难道要把所有的名词和形容词都列进去吗？这显然是不必要的。tnnlp模块就是解决这个问题的。
tnnlp已经添加入tnpy核心库中了。
使用时也很简单：
from tnnlp import NEREntity as NE,WordEntity as WE;
于是，”地名”建成于”时间”，就能用下面的表达式来解决：

  1. time2 = SQE([NE('nt'), build, 'date_fix'], rewriteOrders=[2, 1, 0]);

rewriteorders=[2,1,0]等价于tn规则里的$3,$2,$1.

其中，NE代表一个实体，nt为地名;类似地，n是名词，ad是形容词。 NLP使用了结巴分词作为分词和词性标注的方法。

3.使用词库（如所有“工作”的名称）

如果我们想匹配“程序员”是伟大的职业这样的表达，那么就需要把程序员或是某种工种的所有表达全部列出来。这个工作量太大了。

同样，描述“好”的形容词也有很多，都列出来也会浪费大量的时间。解决这个问题的办法，就是使用词库。
tnnlp使用了哈工大标注的一份语料库：

  1. Aa01A07= 者 手 匠 客 主 子 家 夫 翁 汉 员 分子 鬼 货 棍 徒
  2. Aa01A08= 每人 各人 每位
  3. Aa01A09= 该人 此人
  4. Aa01B01= 人民 民 国民 公民 平民 黎民 庶 庶民 老百姓 苍生 生灵 生人 布衣 白丁 赤子 氓 群氓 黔首 黎民百姓 庶人 百姓 全民 全员 萌
  5. Aa01B02= 群众 大众 公众 民众 万众 众生 千夫
  6. Aa01B03# 良民 顺民
  7. Aa01B04# 遗民 贱民 流民 游民 顽民 刁民 愚民 不法分子 孑遗
  8. Aa01C01= 众人 人人 人们
  9. Aa01C02= 人丛 人群 人海 人流 人潮
  10. Aa01C03= 大家 大伙儿 大家伙儿 大伙 一班人 众家 各户

890KB的词库，定义了大概几十万个词，并使用树结构来讲词义索引起来，例如，所有A开头的都是和人物有关的，后面的标注进一步做了分类。

因此，你可以使用下面的表达，来描述Ae06节点下的所有词汇：

  1. word= WE('Ae06');
  2. rewrite= RE('.+','$1是一种伟大的职业');
  3. wordme= SQE([word],[rewrite])

一旦遇到Ae06分支下的词，就会自动将其转换为xxx是一种伟大的职业。
这也是写纯Python规则的好处，可以方便地定制类型，扩展核心引擎的功能。

4. 乱序匹配

以提取校训为例，校训一般来说有以下几种表达：

语句1：北京邮电大学的校训是“厚德博学，敬业乐群”。
语句2：“学为人师，行为世范”是北师大启功先生提出的校训。“为学生着想”….

如果用正则提取离校训最近的双引号的内容，可能会出错，因为前后可能还有其他双引号标注的内容，如上面的“为学生着想”。
因此，想抽取校训主要有三个特征：校训关键字，双引号和标点符号。

  1. quote1 = SQE([quotekw, anything, quote0, anything, splitkw0], matchorders=[5, 1, 2, 1, 4]);
  2. quote2 = SQE([splitkw0,anything,quote0, anything, quotekw ], matchorders=[4, 1, 3, 1, 5]);
  3. quote = TE([quote1,quote2])

(其他规则都已经在上面定义过了)

quote规则描述了两种类型quote1和quote2, 对quote1来说，要匹配语句1，匹配按照优先次序5,1,2,1,4，先匹配quotekw,找到了校训两字，再找分隔符，找到了句号。此时就把整个句子夹逼到了
校训是“厚德博学，敬业乐群”，再匹配quote0,把实际的双引号中的校训提取出来。最终两个anything匹配是和null。

对quote2来说，匹配语句2，quotekw匹配了校训,splitkw0匹配了句首,quote0匹配了"学为人师，行为世范",anything匹配了夹逼后剩下的部分。

乱序匹配本质上，是通过定义匹配顺序，人为地通过围栏分割句子，将句子分割成树，然后在子节点上再进行匹配，这就解决了顺序表达式难以解决的问题。

其实，这里依旧有问题没能解决。如果我们想匹配ABC这三个字母的全排列，如CBA,CAB... 总共有6种方法，总不至于手工编写所有的匹配模式吧？这还只是三种，数量更多之后，手工编写就变得不可行了。那如何实现高效匹配呢？此事我依旧没有思路。

添加新批注
在作者公开此批注前，只有你和作者可见。
回复批注