李楠 Generalizing Biomedical Relation Classification with Neural Adversarial Domain Adaptation
新闻来源:IR实验室       发布时间:2018/5/20 20:30:30


一、引言

本论文来自陆致用老师团队的工作,探索了生物医学关系分类上神经网络领域适应性的问题,该工作已被bioinformatics期刊录用。在生物医学领域,为分类创建大型标注数据集代价通常是非常昂贵的。虽然一些数据集被用来从文本中提取蛋白质和药物的相互作用,但研究者们也对其他的相互作用感兴趣,包括基因疾病和化学蛋白连接。此外,许多生物医学研究人员已经开始探索三元关系。而目前许多数据仍存在没有标注的情况,如果对数据进行重新标注,是十分耗费时间的,针对这种问题,论文提出了基于对抗迁移学习的方法,通过对已标注数据和以训练完成的模型的重用,来完成目标模型的构建。论文将对抗迁移学习应用与关系抽取方面,从而实现对没有标注的数据进行关系抽取。

二、模型介绍

在该工作中,主要包含两个部分,Stage1主要的作用是对源域进行关系抽取,主要采用CNN进行完成,论文中只进行单任务关系抽取,也就是只判断两个实体之间是否存在相互作用的关系。然后将输入句子的词向量和两个实体的位置向量进行拼接,作为CNN的输入,然后通过卷积层和最大池化层,获取特征。公式如下:

论文中在第一部分,也采用了RNN方法,在后续中与CNN形成对比实验,公式如下:

无论是采用CNN还是RNN方法,参数的更新都是采用以下的公式:

Stage2中主要采用对抗网络的方法,具体包含的模块有带有标注的原数据集,以及在第一部分训练完成的Ms(CNN)网络,在这部分主要是生成原数据集的特征。不带有标注的目标数据集和论文中要训练的Mt(CNN)Mt可以对没有标注的目标数据集进行关系抽取。以及判别器三个部分组成。对抗网络中只需要对判别器和生成器(Mt),进行参数更新,主要通过以下两个损失函数进行实现,当对判别器进行参数更新时:

对生成器进行参数更新时:

文中同时采用了两个小技巧,第一个Historical Regularization,该项能减小对抗网络在训练中的动荡,同时在某些情况下能够使对抗网络达到平衡。公式如下:

第二个为Label Smoothing,在方法的主要作用为,当向对抗网络中引入01标签时,将其变换为0.10.9,可以加强对抗网络的抗干扰能力。公式如下:

三、实验结果说明

对于跨语料的训练中,采用文中提出的对抗迁移方法,效果明显要优于其他方法,同时该方法在对抗训练中采用了两个损失函数,效果明显由于通常采用梯度反向层RevGrad方法,这也是本文主要的创新点。同时在文章中采用的两个技巧,在实验阶段分别针对这两种方法进行了对比实验,结果表明是否添加两种方法对训练的结果存在较大的影响。

四、总结

论文中使用了对抗迁移方法对没有标注的数据集进行关系抽取,取得很好的成果,本文的主要的创新点有两点,第一点为在对抗学习中采用了两个损失函数进行参数更新,取代了通常采用的RevGrad方法,第二点为在对抗网络中采用了Historical Regularization以及Label Smoothing两种技巧,增强了对抗网络的抗干扰能力,同时能够减少对抗网络训练过程中的动荡。