[论文解读] SQALER: Scaling Question Answering by Decoupling Multi-Hop and Logical Reasoning

Mattia Atzeni, Jasmina Bogojeska+1 more|arXiv (Cornell University)|Oct 27, 2021

Advanced Graph Neural Networks被引用 4

一句话总结

SQALER 提出了一种基于知识的问答两阶段方法，将多跳推理与逻辑推理解耦，实现了与关系类型数量的线性可扩展性，而非边或节点数量。通过先在合并图上使用关系级别模型生成候选答案，再在局部子图上使用边级别模型进行精炼，SQALER 在 WebQuestionsSP 上实现了最先进性能，且相比先前方法实现了数量级的可扩展性提升，同时实现了对训练分布之外的组合泛化能力。

ABSTRACT

State-of-the-art approaches to reasoning and question answering over knowledge graphs (KGs) usually scale with the number of edges and can only be applied effectively on small instance-dependent subgraphs. In this paper, we address this issue by showing that multi-hop and more complex logical reasoning can be accomplished separately without losing expressive power. Motivated by this insight, we propose an approach to multi-hop reasoning that scales linearly with the number of relation types in the graph, which is usually significantly smaller than the number of edges or nodes. This produces a set of candidate solutions that can be provably refined to recover the solution to the original problem. Our experiments on knowledge-based question answering show that our approach solves the multi-hop MetaQA dataset, achieves a new state-of-the-art on the more challenging WebQuestionsSP, is orders of magnitude more scalable than competitive approaches, and can achieve compositional generalization out of the training distribution.

研究动机与目标

• 为解决在大规模知识图谱（KG）上基于知识的问答（KBQA）中的可扩展性瓶颈问题，现有神经方法在边或节点数量增加时扩展性能差。
• 证明多跳推理与逻辑推理可被分离而不损失表达能力，从而实现高效且可扩展的 KBQA。
• 开发一种与关系类型数量呈线性扩展的方法——通常远小于边或节点的数量——从而实现对包含数百万实体的真实世界 KG 的应用。
• 实现组合泛化，使模型能够通过组合已知推理模式来回答训练中未见过的问题。

提出的方法

• 该方法使用在合并图上运行的关系级别模型 φ，其中相同关系类型的边被合并，使复杂度与关系类型数量成比例，而非边或节点数量。
• 关系级别模型通过从问题中提及的实体出发执行多跳关系链式推理，生成候选答案集 ˜AQ，确保所有真实答案均包含在 ˜AQ 中。
• 随后在以候选答案为中心的子图 G(˜AQ) 上应用边级别模型 ψ，通过逻辑推理对候选答案进行精炼，以恢复精确答案集 AQ。
• 合并图在训练前一次性预计算，仅产生一次线性开销，从而实现关系级别模型的高效训练与推理。
• 边级别模型被限制仅从候选集 ˜AQ 中选择答案，从而保证正确性与效率。
• 该方法在表达能力与计算复杂度方面具有理论基础，表明两阶段流程可保留解决任意 KBQA 问题的能力。

实验结果

研究问题

• RQ1 在 KBQA 中，多跳推理与逻辑推理是否可被解耦而不损失表达能力或性能？
• RQ2 以关系类型数量而非边或节点数量为扩展基准，是否能实现 KBQA 在大规模真实世界知识图谱上的实际应用？
• RQ3 两阶段方法——首先通过关系链式推理生成候选答案，再通过局部逻辑推理进行精炼——是否能优于端到端模型实现更好的泛化能力？
• RQ4 该方法在多大程度上能对训练分布之外的问题实现组合泛化？

主要发现

• SQALER 在具有挑战性的 WebQuestionsSP 数据集上实现了新的最先进性能，优于先前方法。
• 该方法相比竞争方法具有数量级更好的可扩展性，使在包含数百万实体的知识图谱上进行有效推理成为可能。
• 仅关系级别模型在 MetaQA 上已表现出强劲性能，证实通过关系链式推理进行多跳推理足以应对较简单问题。
• 边级别模型对 WebQuestionsSP 上的复杂问题至关重要，仅靠关系序列无法准确识别正确答案。
• 关系合并将路径数量减少了高达两个数量级，显著降低了内存与计算成本。
• 该模型实现了组合泛化，能够正确回答通过新颖方式组合已知推理模式的问题，即使此类组合在训练中未出现过。