李楠 Differentiating Concepts and Instances for Knowledge Graph Embedding
新闻来源:IR实验室       发布时间:2019/3/28 13:12:16

  1、介绍:

知识图谱的表示学习最近几年被广泛研究,表示学习的结果对知识图谱补全和信息抽取都有很大的帮助,传统的表示学习方法没有对概念(concept)和实例(instance)进行区分,而是统一将其看作为实体(entity),而概念显然和实例不是同一个层次的,统一的表示是有欠缺的。更重要的是,之前的方法多数无法解决上下位关系传递性的问题,这是不区分概念和实例表示的弊端。这篇文章提出了一种区分概念与实例的表示学习方法,将上下位关系与普通的关系进行了区分。可以很好的解决上下位关系的传递性问题,并且能够表示概念在空间中的层次与包含关系。

2、方法:

这篇文章将知识图谱中的概念表示为空间中的一个球体,实例作为空间中的点,通过点和球体的空间包含关系和球体之间的包含关系来表示上下位关系,这种关系可以解决上下位关系传递性的问题。文中将知识图谱中的三元组分为三类,InstanceOf triple用于表示实例与概念三元组,存在InstanceOf关系,SubClassOf triple用于表示概念与概念三元组,存在SubClassOf关系,以及实例与实例三元组Relation triple,实例与实例之间存在多种关系。

(1)InstanceOf Triple Representation

对于实例与概念三元组,如果三元组为正三元组,则该实例在空间中所表示的点,应处于概念所表示的球体范围内,所有损失函数为:

其中i为实例,p为球心,m为半径。

(2)SubClassOf Triple Representation

对于概念与概念三元组,将它们表示为球,以及,其中pm分别球心以及半径,若是正三元组,应该包含(如图a所示),同时还包含其余三种情况:

1)如果两个概念在空间表示上处于相离的情况(如图b所示),在这中情况下,需要被优化使被球包含,损失函数为:

2)如果两个概念在空间表示上处于相交的情况(如图c所示),这种情况与上一种情况相似,它的损失函数为:

3)如果球被球包含(如图d所示),则与目标相反,则需要缩小增加,它的损失函数为:

(3)Relational Triple Representation

对于关系三元组,这部分主要借鉴了TransE的方法,它的损失函数为:

3、训练方法:

使用了排序损失,分别应用,代表正负三元组,则不同类别三元组的损失函数为:

1InstanceOf Triple Representation

2SubClassOf Triple Representation

3Relational Triple Representation

4、实验

YAGO39K数据集上进行实验,结果优于其它方法。

文中同时构建了MYAGO39K数据集用于测试上下为关系的传递性,具体的构建方法为,首先随机从YAGO中抽取一些relational triples,作为relational triples集合,将实例与关系分别存储为实例集合和关系集合。然后将YAGO中的InstanceOf triples,构建InstanceOf triples集合,同时构建实例集合、概念集合于关系集合,对于YAGO中的subClassOf triples,如果都属于概念集合,将这个三元组存储subClassOf triples集合,最终三元组集合为relational triples集合、InstanceOf triples集合与subClassOf triples集合的并集,关系集合为上述三种集合中关系集合的并集。下表为InstanceOf triple的分类实验,可以看出文中提出方法在MYAGO39K的结果优于其他方法。

SubClassOf triple分类实验中也优于其它方法。

5、总结

论文中提出了区分概念与实例的知识图谱表示学习训练方法,取得了很好的成果,本文主要的创新点,将知识图谱中的概念表示为空间中的一个球体,实例作为空间中的点,通过点和球体的空间包含关系和球体之间的包含关系来表示上下位关系,这种关系可以解决上下位关系传递性的问题。