[论文解读] Putting Question-Answering Systems into Practice: Transfer Learning for Efficient Domain Customization

Bernhard Kratzwald, Stefan Feuerriegel|arXiv (Cornell University)|Apr 19, 2018

Topic Modeling参考文献 68被引用 4

一句话总结

本文提出了一种迁移学习方法，通过极少的标注数据，高效地为新领域定制问答（QA）系统。通过结合元数据过滤与一种新颖的融合-过采样迁移学习方法，系统在金融和影视行业应用场景中，使用少于400对标注的问答对，将答案准确率从每3.4个问题1个正确答案提升至每2.0个问题1个正确答案，实现了显著的性能提升。

ABSTRACT

Traditional information retrieval (such as that offered by web search engines) impedes users with information overload from extensive result pages and the need to manually locate the desired information therein. Conversely, question-answering systems change how humans interact with information systems: users can now ask specific questions and obtain a tailored answer - both conveniently in natural language. Despite obvious benefits, their use is often limited to an academic context, largely because of expensive domain customizations, which means that the performance in domain-specific applications often fails to meet expectations. This paper proposes cost-efficient remedies: (i) we leverage metadata through a filtering mechanism, which increases the precision of document retrieval, and (ii) we develop a novel fuse-and-oversample approach for transfer learning in order to improve the performance of answer extraction. Here knowledge is inductively transferred from a related, yet different, tasks to the domain-specific application, while accounting for potential differences in the sample sizes across both tasks. The resulting performance is demonstrated with actual use cases from a finance company and the film industry, where fewer than 400 question-answer pairs had to be annotated in order to yield significant performance gains. As a direct implication to management, this presents a promising path to better leveraging of knowledge stored in information systems.

研究动机与目标

• 为解决由于人工定制成本高昂而导致领域特定QA系统成本高且实际采用率低的问题。
• 通过利用迁移学习，减少领域适应过程中对大规模标注数据集的依赖。
• 通过元数据过滤和一种新颖的迁移学习策略，提升低资源领域中的QA性能。
• 在真实企业环境中，证明使用极少人工标注数据微调预训练QA模型的可行性和有效性。

提出的方法

• 利用元数据（如文档类型、来源）在答案抽取前对候选文档进行过滤和排序，提升检索精度。
• 提出一种“融合-过采样”迁移学习方法，将通用领域预训练模型的知识与小规模领域特定数据集的微调相结合。
• 采用多任务学习设置，模型在通用数据和领域特定数据上联合训练，并通过过采样稀有领域类别来缓解类别不平衡问题。
• 使用神经网络架构（DrQA、BiDAF、R-Net），通过共享嵌入层和注意力机制融合问题与上下文表征。
• 采用词级别和字符级别嵌入（使用GloVe）以提升对低频词和未登录词的鲁棒性。
• 使用双向循环网络（LSTM/GRU）和注意力机制，以建模序列依赖关系并聚焦于相关上下文片段。

实验结果

研究问题

• RQ1 元数据过滤能否提升领域特定QA系统中的文档检索精度？
• RQ2 迁移学习在降低领域特定QA系统数据标注负担方面有多有效？
• RQ3 融合-过采样策略能否缓解在小规模、类别不平衡的领域数据集上微调时的性能下降？
• RQ4 在低资源领域中，仅几百个标注的QA对在多大程度上能显著提升答案抽取的准确率？

主要发现

• 在真实应用场景中，所提系统将答案抽取准确率从每3.4个问题1个正确答案提升至每2.0个问题1个正确答案。
• 元数据过滤显著提高了文档检索的精度，减少了无关文档的检索，从而提升了下游答案质量。
• 在金融和影视领域中，即使标注的问答对少于400对，“融合-过采样”迁移学习方法仍实现了显著的性能提升。
• 能够联合建模问题与答案的注意力机制，提升了查询与上下文之间的对齐效果，尤其在复杂或模糊问题上表现更优。
• 字符级别嵌入的使用增强了对罕见词或未登录词的鲁棒性，尤其在领域特定术语中表现突出。
• 该系统在跨领域场景中表现出强泛化能力，表明在极小数据量下进行迁移学习，可在企业知识管理系统中实现高性能。