[论文解读] Symmetric Regularization based BERT for Pair-wise Semantic Reasoning

Weidi Xu, Xingyi Cheng+8 more|arXiv (Cornell University)|Sep 8, 2019

Topic Modeling参考文献 24被引用 6

一句话总结

该论文提出 SymBERT，一种对称正则化方法，通过将下一句预测（NSP）任务扩展为包含前一句预测（PSP）头的三分类问题，增强 BERT 在句子对语义推理方面的能力。通过在 NSP 和 PSP 之间强制实现对称性，模型学习到更鲁棒、顺序不变的表示，从而在自然语言推理（NLI）和机器阅读理解（MRC）基准上实现一致的性能提升，包括在 HANS 上取得当前最优（SOTA）表现，并在中文 NLP 任务上取得具有竞争力的结果。

ABSTRACT

The ability of semantic reasoning over the sentence pair is essential for many natural language understanding tasks, e.g., natural language inference and machine reading comprehension. A recent significant improvement in these tasks comes from BERT. As reported, the next sentence prediction (NSP) in BERT, which learns the contextual relationship between two sentences, is of great significance for downstream problems with sentence-pair input. Despite the effectiveness of NSP, we suggest that NSP still lacks the essential signal to distinguish between entailment and shallow correlation. To remedy this, we propose to augment the NSP task to a 3-class categorization task, which includes a category for previous sentence prediction (PSP). The involvement of PSP encourages the model to focus on the informative semantics to determine the sentence order, thereby improves the ability of semantic understanding. This simple modification yields remarkable improvement against vanilla BERT. To further incorporate the document-level information, the scope of NSP and PSP is expanded into a broader range, i.e., NSP and PSP also include close but nonsuccessive sentences, the noise of which is mitigated by the label-smoothing technique. Both qualitative and quantitative experimental results demonstrate the effectiveness of the proposed method. Our method consistently improves the performance on the NLI and MRC benchmarks, including the challenging HANS dataset \cite{hans}, suggesting that the document-level task is still promising for the pre-training.

研究动机与目标

• 为解决 BERT 的 NSP 任务在区分句子对之间语义蕴涵与浅层相关性方面的局限性。
• 通过引入对称学习信号，减轻 BERT 在下游任务中对句子顺序的敏感性。
• 通过将 NSP 和 PSP 扩展至非连续句子对，提升文档级表征学习能力。
• 评估对称正则化在英文和中文语义推理基准上的有效性。
• 证明仅通过简单的架构修改即可在不增加模型大小或训练数据的前提下实现显著性能提升。

提出的方法

• 提出一个三分类头，包含 IsNext（NSP）、IsPrev（PSP）和一个负样本类，其中 IsPrev 是 IsNext 的对称对应。
• 训练模型预测某句话是否为文档中下一句或前一句，以促使模型学习更深层次的语义关系。
• 将 NSP 和 PSP 的作用范围从相邻句子对扩展至非连续句子对，以丰富文档级上下文信息。
• 在预训练过程中对远距离句子对应用标签平滑，以减少噪声影响。
• 使用相同的 BERT-base 架构，但修改预训练目标，引入对称监督信号。
• 在单语和多语语料库（包括中文文本）上进行预训练，并在下游 NLI 和 MRC 任务上进行微调。

实验结果

研究问题

• RQ1 引入对称预测头（PSP）是否能提升 BERT 区分句子对之间蕴涵与相关性的能力？
• RQ2 对称正则化是否能降低模型在下游任务中对句子顺序的敏感性？
• RQ3 将 NSP 和 PSP 扩展至非连续句子对是否能在不引入噪声的前提下提升文档级理解能力？
• RQ4 该方法在 HANS 等挑战性基准上的表现如何，该基准用于检测模型对启发式捷径的依赖？
• RQ5 该方法在低资源或多语言设置（如中文 NLP 任务）中的泛化能力如何？

主要发现

• 所提出的 SymBERT 模型在 QNLI 基准上相比原始 BERT 实现了 3.5% 的绝对性能提升，证明其语义推理能力得到增强。
• 在 HANS 基准上，SymBERT 超过 BERT 及其他基线模型，表明其对启发式模式的依赖性降低。
• 在中文 NLP 任务中，SymBERT 取得具有竞争力的结果——在 CMRC-2018 和 DRCD 上与或优于 ERNIE 2.0，尽管使用的目标更少且训练数据更少。
• 采用标签平滑的模型（SymBERT-PNsmth）在 DRCD 上表现最佳（F1: 92.6，EM: 86.6），表明噪声抑制策略有效。
• 该方法在英文和中文基准上均持续提升性能，证实其良好的泛化能力。
• 消融实验表明，通过 PSP 实现的对称正则化是性能提升的关键因素，而不仅仅是增加了更多训练信号。