[论文解读] Neural-Symbolic Entangled Framework for Complex Query Answering

Zezhong Xu, Wen Zhang+3 more|arXiv (Cornell University)|Sep 19, 2022

Advanced Graph Neural Networks被引用 5

一句话总结

该论文提出 ENeSy，一种神经符号纠缠框架，通过联合利用知识图嵌入（KGE）与符号推理，提升在不完整知识图上的复杂查询问答性能。通过将神经预测与符号逻辑运算纠缠（不参数化操作符），ENeSy 减少了级联错误，并有效应对知识图不完整问题，在仅使用链接预测进行训练的情况下仍实现了最先进（SOTA）性能。

ABSTRACT

Answering complex queries over knowledge graphs (KG) is an important yet challenging task because of the KG incompleteness issue and cascading errors during reasoning. Recent query embedding (QE) approaches to embed the entities and relations in a KG and the first-order logic (FOL) queries into a low dimensional space, answering queries by dense similarity search. However, previous works mainly concentrate on the target answers, ignoring intermediate entities' usefulness, which is essential for relieving the cascading error problem in logical query answering. In addition, these methods are usually designed with their own geometric or distributional embeddings to handle logical operators like union, intersection, and negation, with the sacrifice of the accuracy of the basic operator - projection, and they could not absorb other embedding methods to their models. In this work, we propose a Neural and Symbolic Entangled framework (ENeSy) for complex query answering, which enables the neural and symbolic reasoning to enhance each other to alleviate the cascading error and KG incompleteness. The projection operator in ENeSy could be any embedding method with the capability of link prediction, and the other FOL operators are handled without parameters. With both neural and symbolic reasoning results contained, ENeSy answers queries in ensembles. ENeSy achieves the SOTA performance on several benchmarks, especially in the setting of the training model only with the link prediction task.

研究动机与目标

• 通过利用除目标答案外的中间实体，解决多跳知识图推理中的级联错误挑战。
• 克服现有查询嵌入方法在处理联合、交集和否定等复杂逻辑操作符时牺牲投影准确性的局限。
• 在无需重新训练或修改架构的情况下，实现对现有 KGE 模型（如 TransE、RotatE）在复杂查询上的泛化能力。
• 无需参数化嵌入即可支持所有一阶逻辑操作符（包括否定），并仅使用链接预测数据进行训练。
• 促进神经与符号推理之间的相互增强，提升对知识图不完整性和推理错误的鲁棒性。

提出的方法

• 将任意 KGE 模型（如 RotatE）作为神经组件，用于生成实体和关系嵌入以进行链接预测。
• 通过在实体集合上执行集合运算，使用符号推理计算逻辑操作（联合、交集、否定），且不为这些操作符学习参数。
• 通过推理时的集成评分方法，将神经与符号结果进行融合，实现两者的纠缠，从而增强两种推理路径。
• 仅使用链接预测监督进行端到端训练，使该框架可在复杂查询标注数据有限的低资源环境中部署。
• 通过符号推理修正因知识图不完整而被 KGE 漏检的实体，同时通过神经预测修正符号推理中的错误预测，实现相互校正。

实验结果

研究问题

• RQ1 符号推理能否通过减少多跳查询中的级联错误来提升神经推理性能？
• RQ2 神经推理能否通过减轻知识图不完整的影响来改善符号推理性能？
• RQ3 神经与符号预测的集成是否能带来优于任一组件单独表现的整体性能提升？
• RQ4 当仅使用链接预测进行训练时，ENeSy 是否能实现最先进性能，而无需复杂查询监督？
• RQ5 神经符号纠缠机制在提升不同查询类型推理鲁棒性方面有多高效？

主要发现

• ENeSy 显著减少了级联错误：在使用符号辅助的情况下，三跳查询的 MRR 相比纯 KGE 模型最高提升 14.0%。
• 仅使用符号推理即可达到接近最先进性能（在 FB15K-237 上 MRR ~0.45），远超朴素遍历方法。
• 在各类查询类型上，神经与符号预测的集成使 MRR 平均提升 15.3%（相比纯神经模型）和 28.6%（相比纯符号模型）。
• ENeSy 在 FB15K-237 和 NELL-995 上实现了最先进性能，即使仅通过链接预测进行训练，也优于使用复杂查询监督训练的基线模型。
• 该模型在多种查询类型上表现稳健，对 2i/3i、2u/up、2in/3in 等复杂模式均实现了 MRR 的一致提升。