在知识库中嵌入学习和推理的实体和关系 _线性

在知识库中嵌入学习和推理的实体和关系
发表于paper at ICLR 2015
【在知识库中嵌入学习和推理的实体和关系】摘要：我们使用神经嵌入方法来考虑KBs中实体和关系的学习表示。我们表明，大多数现有模型，包括NTN 和，可以在统一的学习框架下推广，其中实体是从神经网络学习到的低维向量，关系是双线性和（或）线性映射函数。在此框架下，我们比较了各种嵌入模型对链接预测任务的影响。我们证明了一个简单的双线性公式可以为任务实现新的最先进的结果(在上实现了73.2%的精度，而在54.7%) 。此外，我们引入一种新的方法，利用学习的关系嵌入挖掘逻辑规则，如（a, b） ^（b,c）= （a, c）。我们发现，从双线性目标中学习到的嵌入尤其擅长捕获关系语义，并且关系的组成具有矩阵乘法的特征。更有趣的是，我们证明了在挖掘包含合成推理的Horn规则时，我们的基于嵌入的规则抽取方法成功地优于一种最先进的基于可信度的规则挖掘方法。
每个输入实体对应一个高维向量，一个“one-hot”的索引向量或一个“n-hot”的特征向量。用xe1和xe2分别表示实体e1和e2的输入向量。用W表示第一层投影矩阵。学习到的实体表示ye1和ye2可以写成

文章插图
其中f可以是线性或非线性函数，W是参数矩阵，可以随机初始化或使用预训练的向量进行初始化。现有的嵌入模型大多采用“one-hot”输入向量，但NTN 将每个实体表示为其单词向量的平均值。这可以看作是采用“词袋”向量作为输入，学习一个由词向量组成的投影矩阵。
关系表示法的选择以得分函数的形式表现出来。文献中已有的评分函数大多可以统一为一个基本的线性变换，一个基于它们组合的双线性变换，其中gar和gbr被定义为
Ar和Br是特定于关系的参数。在本文中，我们还考虑了基本的双线性评分函数:

文章插图
它是NTN的一种特殊情况，没有非线性层和线性算子，使用二维矩阵算子Mr∈Rnxn代替张量算子。这种双线性公式已用于其他矩阵分解模型，具有不同形式的正则化。在这里，我们考虑了一种简单的方法，通过限制Mr为对角矩阵来减少关系参数的数量。这导致了与相同数量的关系参数。我们在第4节中的实验表明，这个简单的公式具有与相同的可伸缩特性，并且在链路预测任务上，它比和其他更有表现力的模型具有更好的性能。
通过最小化基于边际的排序目标，可以学习上述所有模型的神经网络参数，从而鼓励积极关系(三元组)的分数高于任何消极关系(三元组)的分数。在数据中通常只观察到正三元组。给定一组正三元组T，我们可以构造一组“负”三元组T ’，方法是破坏关系参数中的任意一个。
链接预测实验结果：