[论文解读] Variational Reasoning for Question Answering with Knowledge Graph

Yuyu Zhang, Hanjun Dai+3 more|arXiv (Cornell University)|Sep 12, 2017

Topic Modeling被引用 181

一句话总结

本论文提出 VRN，是一个端到端的变分框架，联合学习主题实体识别和对知识图谱的多跳推理，在嘈杂文本和音频输入上实现稳健的问答。

ABSTRACT

Knowledge graph (KG) is known to be helpful for the task of question answering (QA), since it provides well-structured relational information between entities, and allows one to further infer indirect facts. However, it is challenging to build QA systems which can learn to reason over knowledge graphs based on question-answer pairs alone. First, when people ask questions, their expressions are noisy (for example, typos in texts, or variations in pronunciations), which is non-trivial for the QA system to match those mentioned entities to the knowledge graph. Second, many questions require multi-hop logic reasoning over the knowledge graph to retrieve the answers. To address these challenges, we propose a novel and unified deep learning architecture, and an end-to-end variational learning algorithm which can handle noise in questions, and learn multi-hop reasoning simultaneously. Our method achieves state-of-the-art performance on a recent benchmark dataset in the literature. We also derive a series of new benchmark datasets, including questions for multi-hop reasoning, questions paraphrased by neural translation model, and questions in human voice. Our method yields very promising results on all these challenging datasets.

研究动机与目标

• 解决嘈杂问题输入与不确定的主题实体定位。
• 在可端到端训练的模型中实现对大型知识图谱的多跳逻辑推理。
• 从问答对中联合学习主题实体识别与推理嵌入，不需要强标注。
• 提供一个可扩展的架构，能够处理文本与语音输入的知识图谱问答。

提出的方法

• 引入 VRN，一个两模块的概率框架：对 y 的条件分布 P(y|q) 用于主题实体识别，对 a 的条件分布 P(a|y,q) 基于知识图谱的推理以定位答案。
• 通过对知识图谱实体的 softmax 以及一个文本/音频的神经问句编码器 f_ent(q) 来表示主题实体，形式为 P_theta1(y|q) = softmax(W_y^T f_ent(q))。
• 将知识图谱上的推理建模为推理子图的嵌入；通过对问题类型嵌入 f_qt(q) 与图嵌入 g(G_{y→a}) 的 softmax 兼容性来计算 P_theta2(a|y,q)。
• 定义在主题实体的 T 跳内的推理图 G_{y}，以及包含从 y 到 a 的所有路径的最小子图 G_{y→a}；用前向图架构对 G_{y→a} 进行递归嵌入（等式6）。
• 端到端训练，将潜在的 y 通过变分推断处理；目标是在 Q_ψ(y|q,a) 下的变分下界，并使用带方差化简的 REINFORCE（等式7–10）。
• 推理阶段在 P_theta1(y|q) 的前 k 个 y 上进行束搜索，以计算最大化的 a 的 P_theta2(a|y,q)（近似等式(11)）。

实验结果

研究问题

• RQ1 一个端到端模型是否能够在没有强标注的情况下，从问题-答案对中联合学习主题实体识别和对知识图谱的多跳推理？
• RQ2 前向图 KG 嵌入方法是否能实现对大型知识图谱的可扩展且有效的多跳推理？
• RQ3 使用带有 REINFORCE 的端到端变分训练在嘈杂文本或音频输入下能在多大程度上改进实体识别和推理？
• RQ4 所提出的 VRN 在单跳与多跳问题以及文本与音频问答任务上的表现如何？
• RQ5 MetaQA 基准在现实噪声和释义条件下评估基于 KG 的问答是否有效？

主要发现

基线 1 跳	基线 2 跳	基线 3 跳	基线-EU 1 跳	基线-EU 2 跳	基线-EU 3 跳
VRN	97.5	89.9	62.5	82.0	75.6	38.3
Bordes et al. QA	95.7	81.8	28.4	39.5	38.3	26.9
KV-MemNN	95.8	25.1	10.1	35.8	10.3	10.5
Supervised embedding	54.4	29.1	28.9	18.1	23.2	25.3
(表格行)
(表格继续)

• VRN 在 Vanilla（1 跳）、2 跳和 3 跳数据集上达到最新的性能水平。
• 在 Vanilla-EU 情况（实体未标注）下，各方法性能都下降，但 VRN 保持最强，凸显联合训练的好处。
• VRN 在 2 跳和 3 跳问题上显著优于基线，表明具备强大的多跳推理能力。
• 在 NTM-EU 和 Audio-EU 数据集上，VRN 超越基线，音频问答显示出潜力，尽管难度更高。
• 带有变分训练的 REINFORCE 和方差化简提升了实体识别和整体问答性能，特别是在标注的主题实体有限时。
• 一个具有共享计算的前向图嵌入架构能够高效对大量潜在推理路径（G_{y→a}）进行评分。