王鑫雷 The APVA-TURBO Approach to Question Answering in Knowledge Base
新闻来源:IR实验室       发布时间:2018/10/14 13:41:06
  1. 介绍

    本文发表于COLING2018,主要围绕目前基于知识库的问答方法中的存在的问题展开研究。经过对现有各类问答方法的调查与分析,该文发现目前知识库问答的瓶颈主要体现在关系预测上,即如何准确地预测出问题中的实体与答案实体之间的关联,是需要面临的最大挑战。因此该文在现有问答框架的基础上,加入了负责对预测关系的可靠性进行评价检验的验证机制,用以增强关系预测效果,并提出了一种新的知识库问答框架“APVA”。另外,文中为APVA 设计了一种具有良好理论基础的迭代训练过程,该文称之为涡轮式(turbo)训练

  2. 方法模型

    该文相比以前关系预测常用的APA方法,新提出了一种关系验证模型,包括关系预测的ENC-DEC模型和关系验证的CLS模型,将这两个模型进行联合训练。

    ENC-DEC模型

                                                 

       该模型是一个seq2seq模型,主要作用是为了得到问题中关于实体s的关系预测。在该模型中,分为encoderdecoder两个模块。

    Encoder模块中输入分为两部分。第一部分输入是知识库中实体s的类型和知识库中从s出发的关系路径通过KSE模型的embedding向量,经过GRU网络的输出称为。(这里的KSE模型是一个单独的预先练的模型,通过使用TransH“schema graph”的方法,将知识库中的关系和类型嵌入到欧几里得空间中,这样就可以用识别出的实体类型进行训练,实体类型空间相比于实体空间会更密集紧凑,训练效果更好)另一部分的输入是问题词序列中去掉识别出的实体s的子字符串序列,经过word2vec embedding后输入到Bi-GRU网络中得到,串接起来得到的u即为encoder部分的输出。

    Decoder模块中输入即为encoder模块的输出u,一个事先规定的标签“GO”标志输入的开始,“EOS”标签标志终止。输出即是每个从s出发的关系路径预测分布。

CLS模型

将问题的embedding u和预测出的一系列候选关系r经过MLP网络进行二次验证,这里会随机构造出一些关系的负例加入到训练来提升效果。

 

Turbo Training of ENC-DEC and CLS

ENC-DEC模块损失函数:

CLS模块损失函数:

整体损失函数:

 

    TURBO训练包括以下两个部分:

    

对每个模块分别进行训练,经过若干次迭代后会得到整体的收敛。

  1. 结果

    Webquestions数据集上,本文与当前最好的方法相比F值提高了将近8个百分点。主要有以下三点原因:

        1.KB schema embedding表示实体和关系,分别提升了1-2个百分点

        2.加入关系验证机制,提升了1-2个百分点

        3.引入TURBO训练方法,提升了1-2个百分点

四、总结

APVA-TUBRO 方法可以在问答数据集上取得优异效果,大大提升了目前问答方法的准确性。