丁泽源 Chinese Relation Extraction with Multi-Grained Information and External Linguistic Knowledge
新闻来源:IR实验室       发布时间:2019/11/22 0:00:00

一、引言

中文关系抽取是基于字符或基于单词的输入的神经网络进行的,大多数现有方法通常会遭受分词错误和多义性的歧义。 为了解决这个问题,论文提出了一种用于中文关系提取的多粒度格框架(MG格),以利用多粒度语言信息和外部语言知识。 在此框架中,(1)论文将单词级信息合并到字符序列输入中,从而避免了分词错误。 2)还借助外部语言知识对多义词的多种意义进行建模,以减轻多义词的歧义。 在不同领域中的三个真实数据集上的实验表明,本文提出的模型具有一致且显着的优越性和鲁棒性。

二、模型

模型主要分为三个部分,1、输入表示;2、编码器部分、3、分类器部分。如图1所示

图1 MG模型结构

2.1 输入表示

给定包含M个字的句子,对于第i个字,通过查找字向量得到,每个字的向量表示,对于给定实体 u 和 v,对于第i个字,位置向量 计算公式如下

于是第i个字的输入向量为

2.2 编码器

  2.2.1 basic lattice LSTM

对于序列“南京市长江大桥“,每个位置的字粒度以及词粒度输入如下表所示:

当前位置(j)

字粒度

词粒度

1


2

南京

3

南京市

4

市长

5

长江

6


7

大桥、长江大桥

 

下图为Lattice LSTM处理字符序列(当前位置jjj没有对应的词序列,如上表位置1和6所示情况)的LSTM结构。

IMG_256

下图为Lattice LSTM处理词粒度输入的结构

IMG_256

当当前位置j存在词粒度信息时,Lattice LSTM处理字粒度的结构的隐状态会发生变化,不再是字粒度序列的信息,而是来自词粒度的信息。在信息往下传递时,隐状态用学到的词粒度的信息替换掉了来自字粒度的信息。当然,这并不意味着将当前位置之前所有字粒度信息都丢弃了,因为新的隐状态,保留了来自词在序列中开始位置之前的字粒度信息。所以,这里完全不需要考虑遗忘门没有使用的问题。

另外,h的计算仍采用原来的方式计算。原因是当前位置之前的词长度的序列的结果以及隐状态已经确定,无法使用当前位置的词粒度信息。所以,作者提出的Lattice LSTM只能让词粒度信息影响当前位置后面的序列,并不能对当前位置的结果进行直接影响。鉴于此,实际使用中可以考虑双向结构,即类似于Bi-LSTM这样的结构,或者设计一个门结合之前的各位置状态信息更改之前位置的预测结果。

 2.2.2 MG Lattice LSTM

相比于基础Lattice结构,作者提出的模型,在于加入了一词多义的信息,将每个词的多种意思同时输入模型,让模型自己学习。

图 3 MG lattice结构

三、实验结果

作者将对三个手动标记的数据集进行一系列实验。 与其他模型相比,本文提出的模型具有优越性和有效性。 此外,泛化能力是本模型的另一个优势,因为使用了五个语料库来构建三个数据集,它们在主题和写作方式上完全不同。 实验将组织如下:

(1)首先,通过与基于字符和基于单词的模型进行比较,研究模型结合字符级和词级信息的能力。

(2)然后,我们着眼于感觉表征的影响,在三种不同的基于格的模型之间进行实验;

(3)最后,我们在关系提取任务中与其他提出的模型进行了比较。

表1 lattice与基于字符和基于单词的模型进行比较

图 3 三种lattice在ACE-2015数据集上的准确率和召回率曲线

表2 各种关系抽取模型的AUC曲线和F1值

四、结论

作者提出了一种用于中文关系提取的多粒度格架(MG格),以利用多粒度语言信息和外部语言知识。

1、该模型将单词级信息合并到字符序列输入中,从而可以避免分段错误。

2、在外部语言知识的帮助下,对多义词的多种感觉进行建模,以减轻多义性的歧义。

五、参考文献

[1] Daojian Zeng, Kang Liu, Yubo Chen, and Jun Zhao.2015. Distant supervision for relation extraction via piecewise convolutional neural networks. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pages 1753–1762.

[2] Dongxu Zhang and Dong Wang. 2015. Relation classifification via recurrent neural network. arXiv preprint arXiv:1508.01006.

[3] Peng Zhou, Wei Shi, Jun Tian, Zhenyu Qi, Bingchen Li, Hongwei Hao, and Bo Xu. 2016. Attention based bidirectional long short-term memory networks for relation classifification. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers),volume 2, pages 207–212.

[4] Yankai Lin, Shiqi Shen, Zhiyuan Liu, Huanbo Luan, and Maosong Sun. 2016. Neural relation extraction with selective attention over instances. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), volume 1, pages 2124–2133.