[论文解读] Pretraining with Contrastive Sentence Objectives Improves Discourse Performance of Language Models

Dan Iter, Kelvin Guu+2 more|arXiv (Cornell University)|May 20, 2020

Topic Modeling参考文献 18被引用 5

一句话总结

本文提出了Conpono，一种对比式句子级预训练目标，通过预测给定锚定句子k个位置之外的句子，提升了基于Transformer的语言模型中的篇章表示。该方法在DiscoEval基准上实现了最先进性能——在部分任务上绝对提升高达13%——同时仅使用BERT-Base的参数量即达到BERT-Large的性能水平，并在RTE、COPA和ReCoRD等非篇章相关任务上取得提升。

ABSTRACT

Recent models for unsupervised representation learning of text have employed a number of techniques to improve contextual word representations but have put little focus on discourse-level representations. We propose CONPONO, an inter-sentence objective for pretraining language models that models discourse coherence and the distance between sentences. Given an anchor sentence, our model is trained to predict the text k sentences away using a sampled-softmax objective where the candidates consist of neighboring sentences and sentences randomly sampled from the corpus. On the discourse representation benchmark DiscoEval, our model improves over the previous state-of-the-art by up to 13% and on average 4% absolute across 7 tasks. Our model is the same size as BERT-Base, but outperforms the much larger BERT- Large model and other more recent approaches that incorporate discourse. We also show that CONPONO yields gains of 2%-6% absolute even for tasks that do not explicitly evaluate discourse: textual entailment (RTE), common sense reasoning (COPA) and reading comprehension (ReCoRD).

研究动机与目标

• 通过引入一种聚焦于句子排序、连贯性和距离的新型跨句目标，提升预训练语言模型中的篇章级表示。
• 解决现有预训练目标对篇章关注不足的问题，尽管篇章理解在自然语言理解中至关重要。
• 证明对比式双向句子预测目标可同时提升篇章特定任务和通用NLP任务的性能。
• 表明篇章感知的预训练即使在非显式评估篇章的任务（如文本蕴涵和阅读理解）中也能带来性能增益。

提出的方法

• 模型使用Transformer编码器联合编码一个锚定句子和其前后k个位置的靶句。
• 给定一个锚定句子，模型通过对比正确靶句与负样本的采样Softmax目标来预测距离为k的靶句。
• 负样本包括来自同一段落的邻近句子（硬负样本）和从语料库中随机采样的句子（易负样本）。
• 该目标受对比预测编码（CPC）启发，但作用于句子级别，并通过锚句与靶句之间的交叉注意力机制提升表示学习效果。
• 模型通过结合提出的Conpono目标与标准掩码语言建模（MLM）目标进行预训练，以保留局部词级表示。
• 最终模型采用与BERT-Base相同的架构和参数量，从而可与更大模型（如BERT-Large）进行直接比较。

实验结果

研究问题

• RQ1 对比式句子级目标能否提升预训练语言模型中的篇章表示？
• RQ2 通过k距离预测任务学习句子排序与连贯性，是否能提升在篇章特定基准上的性能？
• RQ3 篇章感知的预训练是否能在非篇章下游任务（如文本蕴涵和阅读理解）中带来性能提升？
• RQ4 锚句与靶句之间引入交叉注意力如何影响表示质量？
• RQ5 Conpono的性能增益源于目标本身，还是源于架构选择（如窗口大小）或辅助MLM训练？

主要发现

• Conpono在DiscoEval基准上达到新的最先进水平，单个任务性能最高提升13%绝对值，七项任务平均提升4%。
• 尽管参数量仅与BERT-Base相当，模型性能仍超过BERT-Large，表明篇章预训练可在不增加模型规模的情况下带来显著收益。
• Conpono在RTE、COPA和ReCoRD等非篇章任务上实现2%-6%的绝对性能提升，表明其益处不仅限于篇章特定评估。
• 消融实验表明，锚句与靶句之间的交叉注意力是性能的关键因素，窗口大小为2或以上时效果更优。
• 模型在DiscoEval中的句子排序任务上表现最佳，表明其有效学习了相对句子位置与连贯性。
• Conpono与掩码语言建模目标的结合，生成的表示强于单独使用任一目标。