[论文解读] ProjE: Embedding Projection for Knowledge Graph Completion

Baoxu Shi, Tim Weninger|arXiv (Cornell University)|Nov 16, 2016

Advanced Graph Neural Networks参考文献 34被引用 159

一句话总结

ProjE 引入一个自包含的两层神经模型，将候选实体投射到共享目标向量上以对其进行排序，从而用于知识图谱补全，在参数量紧凑且无需大量特征工程的情况下取得了出色的结果。

ABSTRACT

With the large volume of new information created every day, determining the validity of information in a knowledge graph and filling in its missing parts are crucial tasks for many researchers and practitioners. To address this challenge, a number of knowledge graph completion methods have been developed using low-dimensional graph embeddings. Although researchers continue to improve these models using an increasingly complex feature space, we show that simple changes in the architecture of the underlying model can outperform state-of-the-art models without the need for complex feature engineering. In this work, we present a shared variable neural network model called ProjE that fills-in missing information in a knowledge graph by learning joint embeddings of the knowledge graph's entities and edges, and through subtle, but important, changes to the standard loss function. In doing so, ProjE has a parameter size that is smaller than 11 out of 15 existing methods while performing $37\%$ better than the current-best method on standard datasets. We also show, via a new fact checking task, that ProjE is capable of accurately determining the veracity of many declarative statements.

研究动机与目标

• 将知识图谱补全（KGC）作为一个排序问题来驱动，并通过一个简单、 自包含的模型提高准确性。
• 证明通过小的架构改动可在无需复杂特征工程的情况下优于最先进的模型。
• 证明具有对角线组合算子的两层 ProjE 能实现出色的性能和可扩展性。
• 在实体预测和关系预测上评估 ProjE，并在事实核查任务中评估对陈述真实性的判定。

提出的方法

• 用低维嵌入表示实体和关系。
• 使用对角线、可学习的组合算子将实体嵌入和关系嵌入合并，计算一个组合输入向量。
• 将候选实体投射到一个共享目标向量上，以为每个候选实体获得一个排序分数。
• 提供两种损失变体：ProjE_pointwise（二元/多类风格）和 ProjE_listwise（带有 softmax 的联合排序），以及 ProjE_wlistwise（加权列表排序）。
• 在训练过程中使用候选采样（受 Word2Vec 启发的负采样）来处理大型候选集合。
• 使用 Adam 优化器、L1 正则化和 dropout 来提升泛化能力。

实验结果

研究问题

• RQ1 与更大、更加复杂的模型相比，ProjE 是否能以紧凑、自包含的架构提升 KGC 的性能？
• RQ2 在 KGC 中对候选实体进行排序时，pointwise 与 listwise 的训练目标有何差异？
• RQ3 投影到共享目标向量是否能有效捕捉实体-关系-实体的交互以实现实体和关系预测？
• RQ4 通过路径化输入和最小前提条件，ProjE 能否在现实世界的事实核查任务中取得良好表现？

主要发现

• 在 FB15K 上，ProjE 的变体在实体预测和关系预测方面超越了许多现有方法。
• ProjE_wlistwise 和 ProjE_listwise 在大多数指标上通常优于 ProjE_pointwise。
• ProjE 的参数量少于许多竞争模型，同时实现了强准确性。
• 候选采样率低至 25% 也能实现稳健的性能并帮助扩展性。
• 在事实核查任务中，ProjE 在 DBPedia 和 SemMedDB 数据集上获得的 AUC 分数高于若干基线方法。