[论文解读] The Natural Language Decathlon: Multitask Learning as Question Answering

Bryan McCann, Nitish Shirish Keskar+2 more|arXiv (Cornell University)|Jun 20, 2018

Topic Modeling参考文献 106被引用 339

一句话总结

本文提出 decaNLP，一个十任务多任务基准被重新构建为问答，以及 MQAN，一种具备多指针-生成解码器的单一多任务问答模型，在多个任务中表现出色，并实现迁移和零-shot 能力。

ABSTRACT

Deep learning has improved performance on many natural language processing (NLP) tasks individually. However, general NLP models cannot emerge within a paradigm that focuses on the particularities of a single metric, dataset, and task. We introduce the Natural Language Decathlon (decaNLP), a challenge that spans ten tasks: question answering, machine translation, summarization, natural language inference, sentiment analysis, semantic role labeling, zero-shot relation extraction, goal-oriented dialogue, semantic parsing, and commonsense pronoun resolution. We cast all tasks as question answering over a context. Furthermore, we present a new Multitask Question Answering Network (MQAN) jointly learns all tasks in decaNLP without any task-specific modules or parameters in the multitask setting. MQAN shows improvements in transfer learning for machine translation and named entity recognition, domain adaptation for sentiment analysis and natural language inference, and zero-shot capabilities for text classification. We demonstrate that the MQAN's multi-pointer-generator decoder is key to this success and performance further improves with an anti-curriculum training strategy. Though designed for decaNLP, MQAN also achieves state of the art results on the WikiSQL semantic parsing task in the single-task setting. We also release code for procuring and processing data, training and evaluating models, and reproducing all experiments for decaNLP.

研究动机与目标

• 提出一个统一的多任务基准（decaNLP），通过把十种不同的自然语言处理任务转化为基于上下文的问答来实现。
• 开发 MQAN，一种单一的多任务问答网络，不含专用任务模块，能够联合学习所有 decaNLP 任务。
• 展示从对 decaNLP 的多任务训练中产生的迁移学习、领域自适应和零样本能力。
• 表明反课程训练进一步提升多任务性能，并且 MQAN 在语义解析等单任务任务上达到强劲的表现。

提出的方法

• 将十个自然语言处理任务（问答、翻译、摘要、自然语言推理、情感分析、语义角色标注、关系抽取、对话、语义解析、代词消解）重新表述为带有上下文、问题和答案三元组的问答问题。
• 提出具有双重共同注意力编码器的 MQAN，以及一个能同时对上下文和问题进行关注、并且能够从外部词汇表生成、从上下文复制或从问题复制的多指针-生成解码器。
• 在所有 decaNLP 任务上共同训练 MQAN，并采用反课程策略，分析其零样本和迁移能力。
• 使用映射到 decaScore（每任务 0-100）的任务特定指标进行评估，并在十个任务上进行汇总。
• 提供开源代码和数据处理管道，以实现可重复性和排行榜跟踪。

实验结果

研究问题

• RQ1 在十个不同的以问答形式表达的 NLP 任务上训练的单一模型，是否能够在所有任务上取得与带有任务特定模块的模型相竞争的性能？
• RQ2 在 decaNLP 上的多任务学习是否对新领域、语言或与训练分布相关的任务带来迁移学习的好处？
• RQ3 多指针-生成解码器在需要复制、生成和基于问题的消歧任务中的性能贡献如何？
• RQ4 课程学习与反课程学习策略对 decaNLP 性能与稳定性的影响是什么？

主要发现

• 在 decaNLP 上训练的 MQAN 在多任务和单任务设置中均实现了具有竞争力的性能。
• 多指针-生成解码器使得能够从上下文和问题中有效复制，并从外部词汇生成，这对于输出需求各不相同的任务至关重要。
• 反课程训练在单纯的完全联合训练基础上进一步提升 decaNLP 的性能。
• 在 decaNLP 上预训练的 MQAN 显示出机器翻译和命名实体识别的迁移收益、情感分析和自然语言推理的领域适应，以及文本分类的零样本能力。
• 在单任务设置下，MQAN 在 WikiSQL 语义解析上达到最新的最先进结果。