[论文解读] Neural Graph Reasoning: Complex Logical Query Answering Meets Graph Databases

Hong‐Yu Ren, Mikhail Galkin+3 more|arXiv (Cornell University)|Mar 26, 2023

Graph Theory and Algorithms被引用 7

一句话总结

本文提出了神经图数据库（NGDBs），这是一种新颖的框架，通过整合神经图存储（包含图存储、特征存储和嵌入存储）与神经查询引擎，将神经推理与图数据库统一起来，实现在不完整图上的高效、鲁棒的多跳逻辑查询回答。其主要贡献在于实现了对多样化模态的灵活、归纳式推理以及可扩展的检索，相较于符号系统在恢复缺失链接方面表现更优。

ABSTRACT

Complex logical query answering (CLQA) is a recently emerged task of graph machine learning that goes beyond simple one-hop link prediction and solves a far more complex task of multi-hop logical reasoning over massive, potentially incomplete graphs in a latent space. The task received a significant traction in the community; numerous works expanded the field along theoretical and practical axes to tackle different types of complex queries and graph modalities with efficient systems. In this paper, we provide a holistic survey of CLQA with a detailed taxonomy studying the field from multiple angles, including graph types (modality, reasoning domain, background semantics), modeling aspects (encoder, processor, decoder), supported queries (operators, patterns, projected variables), datasets, evaluation metrics, and applications. Refining the CLQA task, we introduce the concept of Neural Graph Databases (NGDBs). Extending the idea of graph databases (graph DBs), NGDB consists of a Neural Graph Storage and a Neural Graph Engine. Inside Neural Graph Storage, we design a graph store, a feature store, and further embed information in a latent embedding store using an encoder. Given a query, Neural Query Engine learns how to perform query planning and execution in order to efficiently retrieve the correct results by interacting with the Neural Graph Storage. Compared with traditional graph DBs, NGDBs allow for a flexible and unified modeling of features in diverse modalities using the embedding store. Moreover, when the graph is incomplete, they can provide robust retrieval of answers which a normal graph DB cannot recover. Finally, we point out promising directions, unsolved problems and applications of NGDB for future research.

研究动机与目标

• 解决传统图数据库在处理不完整或噪声图上的复杂、多跳逻辑查询时的局限性。
• 将异构数据模态（例如文本、表格、知识图）统一在单一神经推理框架下。
• 实现在未见关系上的归纳式推理以及无需微调的动态图更新。
• 开发一个可扩展的端到端系统，支持表达性强的查询操作符、模式和投影变量。
• 建立NGDBs的系统性评估框架，并识别神经查询规划与持续学习中的开放挑战。

提出的方法

• 提出神经图存储，包含三个组件：图存储、特征存储和使用编码器网络的潜在嵌入存储。
• 设计神经查询引擎，通过与嵌入存储交互来规划和执行查询，利用神经处理器模拟类似SPARQL的操作。
• 采用归纳式编码器以泛化到未见关系，并在不发生灾难性遗忘的情况下支持持续学习。
• 使用三角范数与余范数在潜在空间中建模逻辑操作符（如AND、OR），以实现不确定条件下的鲁棒推理。
• 引入查询规划器，基于处理器类型、查询复杂度和存储配置优化执行序列。
• 采用基于学习相似度度量的近似最近邻（ANN）检索，以支持十亿节点图的可扩展性。

实验结果

研究问题

• RQ1 如何系统性地将神经推理与图数据库架构统一，以支持复杂逻辑查询？
• RQ2 哪些组件是实现在不完整和动态图上归纳式、可扩展且鲁棒推理的关键？
• RQ3 神经查询引擎如何在恢复不完整图中缺失或潜在关系方面优于符号引擎？
• RQ4 设计大规模NGDBs的神经查询规划器与高效检索机制面临哪些关键挑战？
• RQ5 如何将基础模型与NGDBs集成，以提升推理效率与推理能力？

主要发现

• 神经图数据库（NGDBs）在不完整图中成功恢复了缺失的真实边，召回率高于仅检索直接可遍历路径的符号SPARQL引擎。
• 采用归纳式编码器可在无需微调的情况下泛化到未见关系，支持动态和演化的图模式。
• 具备表达性强的处理器网络的神经查询引擎可执行复杂操作符，如属性路径、Kleene星号和否定操作，超越基本合取查询的范围。
• 该框架支持投影变量与元组级输出，支持中间绑定的检索与多属性结果的返回。
• 基于ANN的可扩展检索结合学习到的相似度度量，使在拥有数十亿节点和数万亿条边的图上实现高效推理成为可能。
• 本文识别出持续学习、神经查询规划与评估中的关键挑战，呼吁开发新的基准与指标以评估端到端查询工作负载。