[论文解读] Question Answering over Knowledge Base with Neural Attention Combining Global Knowledge Information

Yuanzhe Zhang, Kang Liu+5 more|arXiv (Cornell University)|Jun 3, 2016

Topic Modeling参考文献 18被引用 39

一句话总结

本文提出了一种基于神经注意力的知识库问答模型，通过基于候选答案特征动态表示问题，利用全局知识库信息提升表示效果并缓解未登录词问题。通过在 WEBQUESTIONS 数据集上的实验，该方法通过将答案特定注意力机制与全局 KB 结构整合到问题编码中，实现了最先进性能。

ABSTRACT

With the rapid growth of knowledge bases (KBs) on the web, how to take full advantage of them becomes increasingly important. Knowledge base-based question answering (KB-QA) is one of the most promising approaches to access the substantial knowledge. Meantime, as the neural network-based (NN-based) methods develop, NN-based KB-QA has already achieved impressive results. However, previous work did not put emphasis on question representation, and the question is converted into a fixed vector regardless of its candidate answers. This simple representation strategy is unable to express the proper information of the question. Hence, we present a neural attention-based model to represent the questions dynamically according to the different focuses of various candidate answer aspects. In addition, we leverage the global knowledge inside the underlying KB, aiming at integrating the rich KB information into the representation of the answers. And it also alleviates the out of vocabulary (OOV) problem, which helps the attention model to represent the question more precisely. The experimental results on WEBQUESTIONS demonstrate the effectiveness of the proposed approach.

研究动机与目标

• 为解决神经 KB-QA 中固定静态问题表示的局限性，此类表示无法根据不同答案特征进行自适应调整。
• 通过根据候选答案的关注焦点（如实体、类型、上下文）动态调整注意力权重，改进问题表示。
• 将全局知识库信息（超越直接答案路径）融入模型，以丰富答案表示并减少未登录词（OOV）问题。
• 开发一种比以往使用固定卷积神经网络集合处理不同答案类型的模型更具灵活性与表达力的框架。

提出的方法

• 采用注意力机制，基于候选答案的具体特征（如实体、类型、上下文）计算问题中的词级注意力权重。
• 通过学习整个知识库的实体与关系表示，而非仅依赖与答案相关的子图，实现全局知识库结构的整合。
• 应用软注意力机制，根据每个候选答案的关注焦点动态加权问题中的词语，实现上下文感知的问题编码。
• 利用子图信息与全局 KB 统计数据丰富答案表示，提升泛化能力并减少 OOV 影响。
• 采用联合学习框架，通过相似性匹配目标共同优化问题与答案表示。
• 采用类似 Siamese 的网络架构，在共享语义空间中计算问题与候选答案嵌入之间的相似性得分。

实验结果

研究问题

• RQ1 与固定向量表示相比，基于答案的动态、特定注意力是否能改善 KB-QA 中的问题表示？
• RQ2 整合全局知识库结构在多大程度上能增强答案表示并提升模型泛化能力？
• RQ3 使用全局 KB 信息在多大程度上能减轻未登录词（OOV）在问答中的负面影响？
• RQ4 能否设计一种统一的注意力机制，使其能自适应不同答案特征（如实体、类型、上下文），并优于为每类特征分别使用 CNN 的固定架构模型？

主要发现

• 所提模型在 WEBQUESTIONS 基准测试中达到最先进性能，优于现有基于神经网络的 KB-QA 方法。
• 全局 KB 信息的整合显著提升了答案表示质量，并有效减轻了未登录词的负面影响。
• 基于答案特征的动态注意力机制带来了更精确的问题编码，表现为问题词语与相关答案组件之间更好的对齐效果。
• 错误分析显示，17% 的错误源于注意力权重不准确，表明通过更优质的训练数据或注意力机制优化仍有改进空间。
• 涉及时间或逻辑修饰语（如“上次”）的复杂问题具有挑战性，34% 的错误源于对这类短语的误读。
• 训练数据中的标签不准确（3%）也影响了模型性能，表明数据质量是影响模型泛化能力的关键因素。