[论文解读] Semantic Structure based Query Graph Prediction for Question Answering over Knowledge Graph

Mingchen Li, Jonathan Shihao Ji|arXiv (Cornell University)|Apr 15, 2022

Topic Modeling被引用 6

一句话总结

该论文提出 SSKGQA，一种基于语义结构的框架，用于知识图谱问答中的查询图预测。通过引入 Structure-BERT 模型将问题分类为六种预定义的语义结构，SSKGQA 在排序之前过滤掉噪声候选查询图，再利用基于 BERT 的排序模型对剩余图进行排序，在 MetaQA 和 WebQuestionsSP 基准上实现了最先进性能。

ABSTRACT

Building query graphs from natural language questions is an important step in complex question answering over knowledge graph (Complex KGQA). In general, a question can be correctly answered if its query graph is built correctly and the right answer is then retrieved by issuing the query graph against the KG. Therefore, this paper focuses on query graph generation from natural language questions. Existing approaches for query graph generation ignore the semantic structure of a question, resulting in a large number of noisy query graph candidates that undermine prediction accuracies. In this paper, we define six semantic structures from common questions in KGQA and develop a novel Structure-BERT to predict the semantic structure of a question. By doing so, we can first filter out noisy candidate query graphs, and then rank the remaining candidates with a BERT-based ranking model. Extensive experiments on two popular benchmarks MetaQA and WebQuestionsSP (WSP) demonstrate the effectiveness of our method as compared to state-of-the-arts.

研究动机与目标

• 解决传统枚举方法在复杂 KGQA 中生成的候选查询图噪声过高的问题。
• 通过利用自然语言问题中的语义结构信息，提升查询图预测的准确性。
• 通过在流水线早期过滤结构错误的查询图，减少多跳和约束推理中的错误传播。
• 通过在预训练 BERT 表征之上添加多头注意力层，使用基于 BERT 的模型提升排序性能。
• 开发一种可扩展且准确的 KGQA 问题语义结构分类方法。

提出的方法

• 基于 KGQA 基准中常见的问题拓扑结构（如多跳和基于约束的推理）定义六种语义结构。
• 提出 Structure-BERT，一种基于 BERT 的分类器，通过联合编码问题和主题实体来预测语义结构。
• 利用预测的语义结构过滤掉与预期结构不匹配的候选查询图。
• 应用基于 BERT 的排序模型，并使用三元组损失比较问题与候选查询图表示，实现最终排序。
• 通过额外的多头注意力层增强 BERT 表征，以更好地捕捉输入序列中的语义关系。
• 使用负样本采样和三元组损失训练排序模型，以提升相关问题-查询图对之间的相似性学习能力。

实验结果

研究问题

• RQ1 语义结构预测能否显著减少 KGQA 中候选查询图的噪声？
• RQ2 一种联合编码问题和主题实体的基于 BERT 的模型，在语义结构分类中效果如何？
• RQ3 基于预测的语义结构过滤候选查询图，是否能提升下游排序的准确性？
• RQ4 带有额外注意力层的基于 BERT 的排序模型，是否能超越标准 BERT 和传统模型（如 CNN 和 BiGRU）？
• RQ5 该方法在 MetaQA 和 WebQuestionsSP 等基准中，对多样化问题类型的泛化能力如何？

主要发现

• 在 MetaQA 上，Structure-BERT 对于 1 跳、2 跳和 3 跳问题的分类准确率分别达到 99.24%、99.87% 和 99.73%。
• 在 WebQuestionsSP 基准上，Structure-BERT 达到 86.97% 的准确率，尽管存在类别不平衡和数据稀缺问题，仍表现出强大的泛化能力。
• 带有额外多头注意力层的基于 BERT 的排序模型（BERT*）在 WebQuestionsSP 上达到 71.40% Hits@1，优于标准 BERT 和其他基线模型。
• 所提出的 SSKGQA 框架在 MetaQA 和 WebQuestionsSP 上均实现了最先进性能，超越了七种 SOTA 方法。
• 消融实验表明，额外的注意力层和负样本采样策略显著提升了排序性能。
• 该方法降低了结构错误候选图的影响，表现为即使存在语义相关但结构有误的替代图，正确图的排序性能仍得到提升。