[论文解读] Multi-Task Learning with Multi-View Attention for Answer Selection and Knowledge Base Question Answering

Yang Deng, Yuexiang Xie+6 more|arXiv (Cornell University)|Dec 6, 2018

Topic Modeling参考文献 27被引用 9

一句话总结

本文提出一种多任务学习框架，通过多视角注意力机制联合优化答案选择与知识库问答（KBQA）。通过整合词级别、知识级别和交叉注意力视角，模型通过交互式学习增强句子表征，在基准数据集上相比单任务基线，显著提升了两个任务的性能。

ABSTRACT

Answer selection and knowledge base question answering (KBQA) are two important tasks of question answering (QA) systems. Existing methods solve these two tasks separately, which requires large number of repetitive work and neglects the rich correlation information between tasks. In this paper, we tackle answer selection and KBQA tasks simultaneously via multi-task learning (MTL), motivated by the following motivations. First, both answer selection and KBQA can be regarded as a ranking problem, with one at text-level while the other at knowledge-level. Second, these two tasks can benefit each other: answer selection can incorporate the external knowledge from knowledge base (KB), while KBQA can be improved by learning contextual information from answer selection. To fulfill the goal of jointly learning these two tasks, we propose a novel multi-task learning scheme that utilizes multi-view attention learned from various perspectives to enable these tasks to interact with each other as well as learn more comprehensive sentence representations. The experiments conducted on several real-world datasets demonstrate the effectiveness of the proposed method, and the performance of answer selection and KBQA is improved. Also, the multi-view attention scheme is proved to be effective in assembling attentive information from different representational perspectives.

研究动机与目标

• 为解决将答案选择与KBQA作为独立任务进行训练所导致的冗余工作与跨任务优势缺失的问题。
• 探索在多任务学习设置下，如何通过多视角注意力增强共享表征与任务特定表征。
• 通过引入知识库（KB）信息来提升答案选择性能，同时借助答案选择中的上下文句子表征来增强KBQA性能。
• 设计一种新颖的多任务学习方案，通过多视角注意力实现任务间的交互，整合词级别、知识级别与语义级别表征。

提出的方法

• 模型采用包含共享层与任务特定层的多任务学习架构，其中共享层从多个视角聚合信息。
• 在五个视角上应用多视角注意力：词级别、知识级别、语义级别、知识-语义级别，以及问题与答案之间的共注意力。
• 答案选择与KBQA的任务特定层生成初始表征，随后通过多视角注意力机制进行优化。
• 多视角注意力机制融合来自不同表征视角的注意力信号，实现跨任务信息迁移与更丰富的句子表征。
• 模型通过加权损失和联合优化答案选择与KBQA的排序损失，以平衡任务目标。
• 知识级别注意力将问题与答案的标记映射到知识库中的实体，而词级别注意力则聚焦于标记级别的交互。

实验结果

研究问题

• RQ1 与单任务训练相比，联合学习答案选择与KBQA是否能显著提升两个任务的性能？
• RQ2 通过涵盖词级别、知识级别与交叉注意力视角的多视角注意力，如何增强表征学习？
• RQ3 答案选择在多大程度上能从KB信息中获益？KBQA是否能通过答案选择提供的上下文句子表征得到改善？
• RQ4 所提出的多视角注意力机制是否能有效整合来自多样化表征视角的信息，从而提升模型泛化能力？

主要发现

• 在基准数据集上，答案选择与KBQA的联合学习显著优于当前最先进的单任务方法，验证了多任务训练的优势。
• 多视角注意力机制通过有效结合词级别、知识级别与交叉注意力视角的信息，提升了模型性能。
• 实验表明，知识级别注意力有助于聚焦于相关KB事实，而词级别注意力则可弥补KB中不完整或缺失的知识。
• 消融实验确认，每个注意力视角均对性能有贡献，其中共注意力与知识-语义视角表现尤为突出。
• 该模型在答案选择与KBQA两个任务上均达到最先进性能，验证了所提出多视角注意力机制的有效性。