训练parser for custom semantics 自定义语义分析

用这个模型可以训练自定义的语义中的分词关联关系，比如在样例中定义了几个自定义的关系：ROOT, PLACE, QUALITY, ATTRIBUTE, TIME, LOCATION等等。

在example/training中有spaCy提供的几个模型训练样例，直接拷贝一个train_intent_parser.py 到 spaCy 的根目录，然后修改代码中的训练语料，修改为中文训练语料：

TRAIN_DATA = [

??? ("找无线质量好的咖啡厅", {

??????? 'heads': [0, 5, 1, 2, 5,? 0, 333, 333, 333, 333],? # index of? token head

??????? 'deps': ['ROOT',? 'ATTRIBUTE', 'ATTRIBUTE', 'QUALITY', '-', PLACE, '-', '-', '-', '-']

??? })

]

其中，heads和deps的规则如下：

例句：找无线质量好的咖啡厅

首先，spaCy引入了结巴分词，例句首先通过结巴进行分词，分词结果为：找 无线 质量 好 的 咖啡厅。接下来是句子结构，找—咖啡厅 无线—咖啡厅 无线--质量质量--好

heads：输入各分词所依赖的分词的索引号（索引号为：找-0无线-1 质量-2 好-3 的-4 咖啡厅-5）

在这个例句中的核心词是找，那么句中各分词的heads定义为：

找：0（根）

无线：5（咖啡厅）

质量：1（无线）

好：2（质量）

的：5（咖啡厅）

咖啡厅：0（找）

对应的索引号是每个分词按句子结构中对应的分词的序号，核心词对应的是自己。

deps：

找：ROOT

无线：ATTRIBUTE

质量：ATTRIBUTE

好：QUALITY

的：- （没有实际意义的词，结构助词之类的，随意用个符号表述即可）

咖啡厅：PLACE

需要注意的是：在本样例中，spaCy是按照汉字的字数来计算heads和deps中的参数数量的，而进行标注时是以分词为单位标注和计算序号的，所以训练数据中的写法为：

("找无线质量好的咖啡厅",{

??????? 'heads': [0, 5, 1, 2, 5, 0, 333, 333,333, 333],? # index of token head

??????? 'deps': ['ROOT', 'ATTRIBUTE','ATTRIBUTE', 'QUALITY', '-', 'PLACE', '-', '-', '-', '-']

??? })

heads中前6个为有效序号，而句子的实际字数是10个，需要有10个数字，所以后面4个333是随意填充的。

deps同理，前6个是有效标记，后面4个是填充的。

接下来运行

python train_intent_parser.py -m zh_model?-o zh_model

test_text = "找无线质量好的咖啡厅"

输出结果为：

[('找', 'ROOT', '找'), ('无线', 'ATTRIBUTE', '咖啡厅'), ('质量', 'ATTRIBUTE', '无线'), ('好', 'QUALITY', '质量'), ('咖啡厅', 'PLACE', '找')]

在zh_model目录中可以看到生成了parser目录，目录结构如下：

zh_model

└──parser

??? ├──cfg

??? ├──lower_model

? ? ├──moves

? ? ├──tok2vec_model

??? └──upper_model

打开cfg文件查看，可以看到其中的labels已经有了ROOT、ATTRIBUTE、QUALITY、PLACE等等labels。

到此，中文的自定义语义关系parser模型就训练完成了，对于精度提升，需要准备至少几百条标注语料才能达到一定的好结果，准备好语料后重新运行训练代码即可。

文中完整代码可参考 https://github.com/jeusgao/spaCy-new-language-test-Chinese