[论文解读] QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering

Michihiro Yasunaga, Hongyu Ren+3 more|arXiv (Cornell University)|Apr 13, 2021

Topic Modeling参考文献 62被引用 49

一句话总结

QA-GNN 通过构建一个带有 QA context 节点的工作图，使用语言模型进行相关性评分，并执行基于注意力的图神经网络推理来回答问题，从而在 QA 情境与知识图谱上实现联合推理。

ABSTRACT

The problem of answering questions using knowledge from pre-trained language models (LMs) and knowledge graphs (KGs) presents two challenges: given a QA context (question and answer choice), methods need to (i) identify relevant knowledge from large KGs, and (ii) perform joint reasoning over the QA context and KG. In this work, we propose a new model, QA-GNN, which addresses the above challenges through two key innovations: (i) relevance scoring, where we use LMs to estimate the importance of KG nodes relative to the given QA context, and (ii) joint reasoning, where we connect the QA context and KG to form a joint graph, and mutually update their representations through graph neural networks. We evaluate our model on QA benchmarks in the commonsense (CommonsenseQA, OpenBookQA) and biomedical (MedQA-USMLE) domains. QA-GNN outperforms existing LM and LM+KG models, and exhibits capabilities to perform interpretable and structured reasoning, e.g., correctly handling negation in questions.

研究动机与目标

• 通过强调具有问答上下文与知识图谱两者的问答问题，指出仅基于语言模型或仅基于知识图谱的方法的局限性。
• 提出一个统一的 LM+KG 模型，通过一个联合图结构在 QA 上下文与 KG 之间进行联合推理。
• 引入 KG 节点相关性评分，以在给定 QA 上下文的条件下剪枝不相关的 KG 节点。
• 在工作图上开发一个基于注意力的 GNN，能够同步更新 QA 上下文与 KG 表征。

提出的方法

• 用预训练语言模型对 QA 上下文进行编码，并检索围绕问题/答案实体的 KG 子图。
• 通过引入一个 QA 上下文节点并将其与主题 KG 实体通过新的关系连接，构建工作图以实现联合推理。
• 通过将 QA 上下文与 KG 实体文本拼接并用 LM 评估似然性来计算 KG 节点相关性分数。
• 在工作图上使用多层图注意力网络，结合节点类型、关系及相关性感知信息进行消息传递与注意力计算以更新表征。
• 通过将 LM 的 QA 上下文嵌入、GNN 派生表示以及对 KG 的聚合表示结合，使用多层感知机（MLP）来预测答案。
• 讨论计算复杂度并为在此推理任务中使用 GNN 提供正当性。

实验结果

研究问题

• RQ1 一个联合的 LM+KG 模型是否能够在需要知识推理的多领域问答中超越 LM-only 与现有 LM+KG 基线？
• RQ2 相关性评分的 KG 子图与联合 QA 上下文–KG 推理是否提升了处理结构化推理任务（如处理否定）的表现？
• RQ3 QA-GNN 如何通过对工作图的注意力实现可解释性并提供推理轨迹？
• RQ4 该方法在常识与生物医学问答领域，配合不同 KG 来源，是否普遍有效？

主要发现

• QA-GNN 在 CommonsenseQA、OpenBookQA 与 MedQA-USMLE 上均优于微调后的语言模型和先前的 LM+KG 模型。
• QA-GNN 在需要结构化推理（如处理否定）的题目上尤有提升，在 CommonsenseQA 的否定案例中相对于 LM 基线有多达 4.6% 的绝对增益。
• 消融实验表明，联合图构建（QA 上下文与 KG 的链接）和 KG 节点相关性评分均对性能提升做出贡献。
• QA-GNN 能够提取推理子图作为解释超越单一路径的痕迹，从而提升可解释性。
• 在 CommonsenseQA 上，QA-GNN 达到 76.54% 的 IHdev 和 73.41% 的 IHtest 准确率，在 IHtest 上较 MHGRN 提升了 2.3 个百分点。
• 在 OpenBookQA 与 MedQA-USMLE 上，QA-GNN 取得具有竞争力的结果，在相同 LM 下与基线相比具有相当或更好的表现。