[论文解读] Sentence Encoders on STILTs: Supplementary Training on Intermediate Labeled-data Tasks

Jason Phang, Thibault Févry+1 more|arXiv (Cornell University)|Nov 2, 2018

Topic Modeling参考文献 29被引用 258

一句话总结

STILTs 在无监督预训练和目标任务微调之间增加一个基于带标签的中间任务的额外训练阶段，在 BERT、GPT 和 ELMo 的 GLUE 结果上有所提升，尤其是在数据稀缺的设置中。

ABSTRACT

Pretraining sentence encoders with language modeling and related unsupervised tasks has recently been shown to be very effective for language understanding tasks. By supplementing language model-style pretraining with further training on data-rich supervised tasks, such as natural language inference, we obtain additional performance improvements on the GLUE benchmark. Applying supplementary training on BERT (Devlin et al., 2018), we attain a GLUE score of 81.8---the state of the art (as of 02/24/2019) and a 1.4 point improvement over BERT. We also observe reduced variance across random restarts in this setting. Our approach yields similar improvements when applied to ELMo (Peters et al., 2018a) and Radford et al. (2018)'s model. In addition, the benefits of supplementary training are particularly pronounced in data-constrained regimes, as we show in experiments with artificially limited training data.

研究动机与目标

• 通过在数据丰富任务上添加第二阶段有监督的预训练，激发提升句子编码器迁移学习的鲁棒性和有效性。
• 评估 STILTs 是否在 GLUE 上提升目标任务性能，覆盖三种架构（BERT、GPT、ELMo）。
• 识别哪些中间任务（MNLI、SNLI、QQP、假句检测）在何种数据条件下能带来提升。
• 评估在使用 STILTs 时随机重启的稳定性和方差。

提出的方法

• 在无标签数据上对编码器进行预训练（语言建模或等价任务）。
• 在目标任务微调之前插入一个中间带标签数据任务的补充训练阶段（STILTs）。
• 对 GLUE 任务进行端到端微调；在 BERT、GPT、ELMo 上比较有无 STILTs 的情况。
• 使用四个中间任务：MNLI、SNLI、QQP，以及基于 BooksCorpus 的假句检测任务。
• 在完整数据和受限数据情形（1k 和 5k 目标任务示例）下进行评估。
• 提供 GLUE 开发集和测试集的结果；分析随机重启的稳定性。

实验结果

研究问题

• RQ1 STILTs 是否在 BERT、GPT、ELMo 的 GLUE 任务上提升性能？
• RQ2 哪些中间任务最稳定地带来提升，以及在何种目标任务或数据情境中？
• RQ3 STILTs 如何影响小数据情境下的训练稳定性和退化运行次数？
• RQ4 STILTs 对句子对任务的收益是否比单句任务更大？

主要发现

• STILTs 在大多数 GLUE 任务上对 BERT、GPT、ELMo 都带来显著提升，在数据稀缺情形下提升最大。
• 在撰写时，BERT 在 STILTs 上实现了全量基准的最优 GLUE 表现。
• STILTs 降低随机重启的方差，减少退化运行，特别是在有限数据条件下的 24 层 BERT 模型。
• 句子对任务比单句任务更受补充训练的益处（CoLA 与 SST 的结果混合）。
• 在若干情境下，对 GPT 和 ELMo 的提升大于 BERT，可能是由于架构差异和预训练目标造成。
• 在中间任务中，MNLI 和 SNLI 往往提供稳健的提升，而基于 BooksCorpus 的假句检测任务对 GPT 的收益更广泛；某些中间任务对某些目标任务可能是有害的。