岳天驰 An Interactive Multi-Task Learning Network for End-to-End Aspect-Based Sentiment Analysis
新闻来源:IR实验室       发布时间:2019/11/1 0:00:00

1 引言

  面向评价对象的情感分析任务主要包括两个子任务,评价对象抽取以及面向评价对象的情感分类。经典的解决方法是看做流水线任务,先进行评价对象抽取即NER,再对评价对象级情感分类,这种方式没有利用两个任务的共享信息。还有一种联合模型,也就是将情感分类标签与实体标签合并标注,一起做NER 例如可以将表1例子中的fish标注成B-POS,但这种方式很难利用额外信息。

image.png

  本文提出如图1的多任务学习框架,可以使得两个任务同步进行,并利用具有大规模标注数据的文档级相关语料辅助训练。

image.png

2. 方法

如图将AEAS都作为序列标注任务,同时将AE任务中抽取的Opinion结果输出到AS任务中。在AE任务中利用自注意力得到上下文表示,注意力得分包括位置关系,opinion结果的影响。

image.png

 

引入其他两种相关任务,情感分类以及领域分类,模型均为多层CNNAttention

提出信息传递机制增强不同任务的交互。将上一轮的信息传递给当前任务。

消息传递机制,通过多轮迭代加强不同任务的交互,利用上一轮的信息来更新当前轮次共享表示的隐层向量。将每个任务的信息都可以加进来。如下面的公式所示:

image.png

训练方法:首先进行文档级任务预训练,然后文档级任务以及情感任务交互训练,更新各自权重

3. 实验结果以及分析

消融实验分析发现 +Message对模型提升效果最明显,表明了提出的消息传递机制的有效性。只通过参数共享的方式增加文档级任务提升有限。表明特定领域的知识已经被领域词向量获取了,这种方式可能会有冗余。同时结果表名迭代轮数T23的时候效果较好。

image.png

4 结论

通过引入外部相关领域任务数据,以及同步训练多个任务,可以提高模型表示学习能力,特征抽取效果,减少数据不足的影响。。