[论文解读] Supervised and Unsupervised Transfer Learning for Question Answering

Yu-An Chung, Hung-yi Lee+1 more|arXiv (Cornell University)|Nov 14, 2017

Multimodal Machine Learning Applications参考文献 39被引用 11

一句话总结

本论文表明，从MovieQA进行迁移学习可显著提升在两个目标问答数据集——TOEFL听力理解与MCTest——上的性能，无论采用有监督还是无监督微调。QACNN模型取得了最先进结果，在TOEFL上较之前工作提升7%，且即使在无目标标签的情况下，通过迭代自标签的无监督迁移学习仍能获得显著收益。

ABSTRACT

Although transfer learning has been shown to be successful for tasks like object and speech recognition, its applicability to question answering (QA) has yet to be well-studied. In this paper, we conduct extensive experiments to investigate the transferability of knowledge learned from a source QA dataset to a target dataset using two QA models. The performance of both models on a TOEFL listening comprehension test (Tseng et al., 2016) and MCTest (Richardson et al., 2013) is significantly improved via a simple transfer learning technique from MovieQA (Tapaswi et al., 2016). In particular, one of the models achieves the state-of-the-art on all target datasets; for the TOEFL listening comprehension test, it outperforms the previous best model by 7%. Finally, we show that transfer learning is helpful even in unsupervised scenarios when correct answers for target QA dataset examples are not available.

研究动机与目标

• 探究源问答数据集（MovieQA）的知识是否可在无需大量微调的情况下提升目标问答数据集的性能。
• 评估在目标领域标注数据稀缺的低资源设置下，迁移学习的有效性。
• 探索在目标样本正确答案不可用时的无监督迁移学习方法。
• 分析迁移学习如何影响模型在不同问题类型上的注意力机制与推理过程。
• 验证迁移学习是否可泛化至多样化的问答任务与数据集，而不仅限于有监督微调。

提出的方法

• 在MovieQA数据集上预训练两个问答模型——QACNN与MemN2N——以学习通用的问答表示。
• 使用真实标签对预训练模型在目标数据集（TOEFL与MCTest）上进行有监督微调。
• 通过迭代自标签机制实现无监督迁移学习，即在微调过程中由模型为目标数据生成伪标签。
• 在无监督微调过程中更新所有模型参数，包括词嵌入、CNN层与全连接层。
• 可视化训练各轮次的注意力图，分析模型对相关故事内容的关注如何演变。
• 采用两阶段训练流程：先在MovieQA上预训练，随后在无真实标签的情况下对目标数据集进行迭代自标签。

实验结果

研究问题

• RQ1 从MovieQA进行迁移学习是否能显著提升在TOEFL与MCTest等低资源问答数据集上的性能？
• RQ2 当目标数据集无真实答案时，无监督迁移学习的效率如何？
• RQ3 迁移学习是否在各类问题类型上均提升性能，还是仅限于特定问题类别？
• RQ4 在无监督迁移学习过程中，模型的注意力机制如何演变，是否与相关故事内容对齐？
• RQ5 在无监督迁移学习中，迭代自标签能否带来与有监督微调相当的性能提升？

主要发现

• 从MovieQA进行有监督迁移学习显著提升了在TOEFL与MCTest上的性能，其中一种模型在所有目标数据集上均达到最先进水平。
• 在TOEFL听力理解测试中，最佳模型相较之前最先进方法提升了7%，展现出显著的性能增益。
• 即使无法访问真实标签，通过迭代自标签的无监督迁移学习仍使MC500性能提升最高达6%，TOEFL-ASR提升达5%。
• 注意力可视化显示，模型在训练过程中逐渐聚焦于相关故事短语（如“class project”），表明其在无监督条件下实现了有效学习。
• 无监督迁移学习的性能虽持续低于有监督迁移学习，但显著优于从零开始训练。
• 迁移学习的效果并非局限于特定问题类型，各类问题类别在数据集中均观察到性能增益。