[论文解读] Neurosymbolic AI for Reasoning over Knowledge Graphs: A Survey

Lauren Nicole DeLong, Ramon Fernández Mir+1 more|arXiv (Cornell University)|Feb 14, 2023

Advanced Graph Neural Networks被引用 6

一句话总结

本综述提出了一种用于知识图谱推理的神经符号AI方法的新分类法，将其分为三类：受逻辑启发的嵌入方法、带有逻辑约束的嵌入方法以及规则学习方法。该综述对现有方法进行了全面比较，包含代码链接，并指出了在可解释性、少样本学习以及知识图谱时空推理方面的主要挑战与未来研究方向。

ABSTRACT

Neurosymbolic AI is an increasingly active area of research that combines symbolic reasoning methods with deep learning to leverage their complementary benefits. As knowledge graphs are becoming a popular way to represent heterogeneous and multi-relational data, methods for reasoning on graph structures have attempted to follow this neurosymbolic paradigm. Traditionally, such approaches have utilized either rule-based inference or generated representative numerical embeddings from which patterns could be extracted. However, several recent studies have attempted to bridge this dichotomy to generate models that facilitate interpretability, maintain competitive performance, and integrate expert knowledge. Therefore, we survey methods that perform neurosymbolic reasoning tasks on knowledge graphs and propose a novel taxonomy by which we can classify them. Specifically, we propose three major categories: (1) logically-informed embedding approaches, (2) embedding approaches with logical constraints, and (3) rule learning approaches. Alongside the taxonomy, we provide a tabular overview of the approaches and links to their source code, if available, for more direct comparison. Finally, we discuss the unique characteristics and limitations of these methods, then propose several prospective directions toward which this field of research could evolve.

研究动机与目标

• 通过综述神经符号AI方法，应对知识图谱（KGs）中对可解释性与知识融合推理日益增长的需求。
• 识别当前知识图谱推理方法的局限性，特别是处理罕见关系类型、长距离依赖关系以及异构信息方面的不足。
• 提出一种基于架构的新型分类法，按符号与神经组件的整合方式对神经符号方法进行分类。
• 提供现有方法的对比概述，包括可用的源代码，以支持可复现性与基准测试。
• 识别新兴的研究方向，如时空推理与少样本学习，为神经符号知识图谱推理的未来发展提供指引。

提出的方法

• 本文提出三级分类法：(1) 受逻辑启发的嵌入方法，即在神经嵌入学习之前或之后应用符号推理；(2) 带有逻辑约束的嵌入方法，在训练过程中强制执行符号规则；(3) 规则学习方法，直接从知识图谱数据中发现逻辑规则。
• 作者基于关键特征分析每一类方法：可解释性、引导式训练、对低频类型处理能力、长距离依赖关系建模能力，以及异构信息聚合能力。
• 提供表格对比，总结各方法的处理方式、模型架构、数据集性能表现以及源代码可用性。
• 该综述将公开可用的代码仓库整合至一个集中化的GitHub页面，以提升可访问性与可复现性。
• 论文使用均 reciprocated rank (MRR) 和 Hits@10 等指标评估方法，尤其关注知识图谱补全（KGC）任务中的表现。
• 讨论了如何通过将领域特定知识（如生物或交通网络约束）编码为逻辑规则或约束，使神经符号模型能够整合这些知识。

实验结果

研究问题

• RQ1 神经符号AI如何在知识图谱推理中有效平衡符号推理的可解释性与深度学习的表征能力？
• RQ2 区分知识图谱中神经符号方法的关键架构模式是什么？它们如何整合符号与神经组件？
• RQ3 神经符号方法在何种方式下可提升对知识图谱中罕见或低频关系类型的性能？
• RQ4 神经符号模型如何适应时空知识图谱（如基因表达或交通流建模）的推理任务？
• RQ5 在少样本学习与动态环境建模方面，神经符号推理在知识图谱中的最有前景的未来研究方向是什么？

主要发现

• 所提出的分类法能有效将神经符号方法划分为三类：受逻辑启发的嵌入、带约束的嵌入与规则学习方法，各类方法在可解释性与泛化能力方面具有独特优势。
• 如 pLogicNet 和 pGAT 等方法通过在知识图谱中增加逻辑推断的三元组，提升罕见关系的训练数据量，从而改善少样本学习性能。
• 采用逻辑约束的嵌入模型（如使用可微逻辑或基于约束的优化）在长距离依赖关系与分布外实体的泛化能力方面表现出更强的鲁棒性与泛化能力。
• 通过整合领域特定规则（如生物网络中的mRNA半衰期约束），可实现对知识图谱中时空动态的更真实建模。
• 综述指出，目前缺乏标准化的基准测试与代码可用性，凸显了建立集中化代码仓库以支持可复现性与跨方法比较的迫切需求。
• 作者总结认为，神经符号方法为构建兼具高性能与可解释性的混合AI系统提供了可行路径，尤其在科学与医学知识图谱应用中具有重要意义。