[论文解读] Revisiting Simple Neural Networks for Learning Representations of Knowledge Graphs

Srinivas Ravishankar, Chandrahas+1 more|arXiv (Cornell University)|Nov 15, 2017

Advanced Graph Neural Networks参考文献 16被引用 7

一句话总结

该论文表明，通过学习一种能适应不同数据特征的灵活打分函数，一种简单的前馈神经网络 ER-MLP 可在多个知识图谱基准数据集上实现接近最先进（SOTA）的性能。尽管结构简单，ER-MLP 在包括具有和不具有逆关系偏差的数据集在内的多种数据集上，表现优于或匹配了 ComplEx 和 HolE 等复杂模型。

ABSTRACT

We address the problem of learning vector representations for entities and relations in Knowledge Graphs (KGs) for Knowledge Base Completion (KBC). This problem has received significant attention in the past few years and multiple methods have been proposed. Most of the existing methods in the literature use a predefined characteristic scoring function for evaluating the correctness of KG triples. These scoring functions distinguish correct triples (high score) from incorrect ones (low score). However, their performance vary across different datasets. In this work, we demonstrate that a simple neural network based score function can consistently achieve near start-of-the-art performance on multiple datasets. We also quantitatively demonstrate biases in standard benchmark datasets, and highlight the need to perform evaluation spanning various datasets.

研究动机与目标

• 评估最先进知识图谱嵌入模型在多种基准数据集上的泛化能力。
• 探究标准基准数据集（如 WN18 和 FB15k）中是否存在并影响逆关系偏差。
• 证明一种基于简单神经网络的打分函数可在无需复杂架构设计的前提下，在多个数据集上实现具有竞争力的性能。
• 倡导在更广泛的数据集上进行评估，以确保模型对不同图结构特征的鲁棒性。
• 重新评估简单神经模型在知识图谱嵌入中的作用，尤其是在其在近期文献中代表性不足但实证结果强劲的背景下。

提出的方法

• 提出 ER-MLP，一种简单的两层前馈神经网络，以实体和关系嵌入作为输入，输出三元组打分。
• 使用基于负采样的损失函数端到端训练模型，以联合优化打分函数和嵌入。
• 引入变体 ER-MLP-2d，其在最终分类器之前对输入嵌入应用二维卷积层，以提升特征提取能力。
• 采用成对排序损失函数优化模型，类似于 TransE，但使用可学习的非线性打分函数而非固定公式。
• 以实体和关系嵌入作为输入特征，不针对特定关系类型或对称性引入架构偏差。
• 在六个数据集（WN18、FB15k、FB15k-237、WN18RR、FB13 和 WN11）上评估性能，以衡量在不同数据偏差下的泛化能力。

实验结果

研究问题

• RQ1 最先进知识图谱嵌入模型在具有不同程度逆关系偏差的不同基准数据集上的性能如何变化？
• RQ2 简单的神经网络打分函数是否能在多种知识图谱数据集上优于或匹配复杂且预定义的打分函数（如 ComplEx、HolE）？
• RQ3 标准基准数据集（如 WN18 和 FB15k）中的逆关系偏差在多大程度上扭曲了对模型泛化能力和鲁棒性的评估？
• RQ4 在简单神经网络架构中，可学习的非线性打分函数是否比固定打分函数展现出更强的对不同图结构的适应能力？
• RQ5 像 ER-MLP 这样极简的神经架构是否能在无需复杂结构的前提下实现具有竞争力的性能，且在当前研究中被低估？

主要发现

• 在 FB15K-237 上，ER-MLP 的 Hits@10 达到 54.0，MRR 达到 0.342，优于 ComplEx（50.7，0.326）和 HolE（47.0，0.298），表明其在具有挑战性且无偏差的数据集上具备强大的泛化能力。
• 在 WN11 上，ER-MLP 的 Hits@10 达到 14.01，MRR 达到 0.071，显著优于 ComplEx（10.9，0.071）和 HolE（10.48，0.059），表明其在低资源、稀疏图上表现更优。
• 在 FB13 上，ER-MLP 的 Hits@10 达到 63.13，MRR 达到 0.479，优于 ComplEx（51.38，0.382）和 HolE（54.87，0.392），表明其在复杂、多关系数据集上持续取得优势。
• 在 WN18 上，ER-MLP 的 MRR 达到 0.895，接近 ComplEx（0.938）和 HolE（0.934），表明其在传统上由线性模型主导的有偏差数据集上也表现出色。
• 该模型在具有和不具有逆关系偏差的数据集上性能均保持稳定，表明其不依赖于特定数据集的特征。
• 结果表明，尽管实证性能强劲且能适应多种图结构，但像 ER-MLP 这类简单神经模型在当前文献中仍被低估。