[论文解读] Neural Methods for Logical Reasoning Over Knowledge Graphs

Alfonso Amayuelas, Shuai Zhang+2 more|arXiv (Cornell University)|Sep 28, 2022

Advanced Graph Neural Networks被引用 10

一句话总结

本文提出了一种基于神经网络的知识图谱逻辑推理框架，支持完整的的一阶逻辑（FOL）查询，包括合取、析取和否定。通过将查询和实体嵌入到共享的单点向量空间中，并利用神经网络实现逻辑运算符，该模型在最先进方法上实现了10%的相对性能提升，在先前的单点嵌入基线方法上实现了30%以上的提升。

ABSTRACT

Reasoning is a fundamental problem for computers and deeply studied in Artificial Intelligence. In this paper, we specifically focus on answering multi-hop logical queries on Knowledge Graphs (KGs). This is a complicated task because, in real-world scenarios, the graphs tend to be large and incomplete. Most previous works have been unable to create models that accept full First-Order Logical (FOL) queries, which include negative queries, and have only been able to process a limited set of query structures. Additionally, most methods present logic operators that can only perform the logical operation they are made for. We introduce a set of models that use Neural Networks to create one-point vector embeddings to answer the queries. The versatility of neural networks allows the framework to handle FOL queries with Conjunction ($\wedge$), Disjunction ($\vee$) and Negation ($ eg$) operators. We demonstrate experimentally the performance of our model through extensive experimentation on well-known benchmarking datasets. Besides having more versatile operators, the models achieve a 10\% relative increase over the best performing state of the art and more than 30\% over the original method based on single-point vector embeddings.

研究动机与目标

• 为了解决现有模型无法处理完整一阶逻辑（FOL）查询，特别是涉及否定的负向查询的局限性。
• 开发一个统一且灵活的逻辑推理框架，支持包括合取（∧）、析取（∨）和否定（¬）在内的复杂查询结构。
• 通过利用基于神经网络的逻辑运算符，提升在大型且不完整的知识图谱上的多跳逻辑推理任务性能。
• 证明神经网络能够有效学习并泛化逻辑运算，优于几何或刚性符号方法。

提出的方法

• 该框架使用神经网络将查询和实体嵌入到共享的单点向量空间中。
• 通过可学习的神经模块实现逻辑运算符（合取、析取、否定），支持在FOL查询上进行端到端训练。
• 在向量空间中使用最近邻搜索，根据查询嵌入与候选实体的相似度对实体进行排序。
• 支持完整的FOL查询，包括存在量词和负向条件，这是早期方法无法处理的。
• 架构包含多种变体，如MLP、MLP-Mixer和基于注意力的模型，以探索不同归纳偏置对推理的影响。
• 通过对比学习进行训练，以优化查询嵌入与正确答案实体之间的距离。

实验结果

研究问题

• RQ1 基于神经网络的框架能否在知识图谱中有效处理完整的**一阶逻辑**（FOL）查询，包括否定？
• RQ2 基于神经运算符的推理系统在多跳逻辑查询上的性能与几何或符号基线相比如何？
• RQ3 可学习的神经运算符在合取、析取和否定等多样化逻辑运算上的泛化能力有多强？
• RQ4 使用单点向量嵌入结合神经逻辑运算符是否能超越现有最先进模型，在不完整知识图谱上的推理性能？
• RQ5 该模型能否泛化到负向查询，如“找出满足A但不满足B的X”，这类查询在以往工作中常被排除？

主要发现

• 所提出的模型在FB15k、FB15k-237和NELL995上的EPFO（存在量词、合取、析取）查询上，相对于最先进方法实现了10%的相对性能提升。
• 与Hamilton等人（2018）提出的原始单点嵌入方法（GQE）相比，性能提升超过30%，证明了神经逻辑运算符的有效性。
• 2向量方法变体在FB15k上的EPFO查询中取得了最高的MRR（45.8），优于基础MLP和基于注意力的变体。
• 在包含否定的完整FOL查询中，模型在FB15k上取得了14.5的MRR，显著优于BetaE（11.8 MRR），证明其处理负向查询的能力。
• 注意力机制和2向量方法相比基础MLP提升了性能，表明架构选择对推理质量有显著影响。
• 该模型成功处理了如2in、3in和pni等负向查询结构，在FB15k上的MRR得分分别为17.2、17.8和15.2，显示出对复杂逻辑形式的鲁棒性。