[论文解读] Self-Guided Contrastive Learning for BERT Sentence Representations

Taeuk Kim, Kang Min Yoo+1 more|arXiv (Cornell University)|Jun 3, 2021

Topic Modeling参考文献 33被引用 10

一句话总结

本文提出自引导对比学习（SG-CL），一种自监督方法，通过利用中间隐藏状态作为自生成正样本，无需数据增强即可提升 BERT 句子表示性能。该方法在多个句子相似度基准上达到最先进性能，STS-B 上平均斯皮尔曼等级相关系数达 74.62，且由于无需后处理，推理效率更高。

ABSTRACT

Although BERT and its variants have reshaped the NLP landscape, it still remains unclear how best to derive sentence embeddings from such pre-trained Transformers. In this work, we propose a contrastive learning method that utilizes self-guidance for improving the quality of BERT sentence representations. Our method fine-tunes BERT in a self-supervised fashion, does not rely on data augmentation, and enables the usual [CLS] token embeddings to function as sentence vectors. Moreover, we redesign the contrastive learning objective (NT-Xent) and apply it to sentence representation learning. We demonstrate with extensive experiments that our approach is more effective than competitive baselines on diverse sentence-related tasks. We also show it is efficient at inference and robust to domain shifts.

研究动机与目标

• 解决标准 BERT 句子表示（基于 [CLS] 标记或平均池化）在下游任务中表现不佳的问题。
• 在不依赖数据增强或外部监督的前提下，改进 BERT 中的句子级表示学习。
• 设计一种对比学习框架，利用 BERT 内部表示作为正样本，实现自引导。
• 通过消除后处理步骤，提升模型对领域偏移的鲁棒性并降低推理延迟。
• 证明自引导对比学习可在准确率和效率方面超越现有方法。

提出的方法

• 该方法引入一种自引导机制，将跨层的中间 BERT 隐藏状态视为最终 [CLS] 表示的正样本。
• 将 NT-Xent 对比损失适配用于句子表示学习，优化最终 [CLS] 嵌入与中间表示之间的语义相似性。
• 训练过程以自监督方式微调 BERT，利用模型自身的内部表示作为监督信号。
• 通过复用模型自身的隐藏状态，避免数据增强，简化训练与部署流程。
• 采用对中间层进行最大池化操作以生成最终句子嵌入，消融实验表明其有效性。
• 整合一种改进的对比目标，促使 [CLS] 向量与相关中间表示对齐，同时与负样本分离。

实验结果

研究问题

• RQ1 能否有效利用 BERT 内部隐藏表示作为自生成正样本，以提升句子嵌入质量？
• RQ2 为 BERT 量身定制的对比学习目标是否在句子相似度任务上优于标准池化与微调策略？
• RQ3 自引导对比学习能否在无需数据增强或外部监督的情况下实现最先进性能？
• RQ4 与现有基线相比，该方法在推理效率和对领域偏移的鲁棒性方面表现如何？
• RQ5 将自引导与回译等其他对比技术结合，能否进一步提升性能？

主要发现

• 所提方法在 STS-B 基准上达到 74.62 的平均斯皮尔曼等级相关系数，显著优于基线 BERT（[CLS] 池化为 62.63，平均池化为 63.19）。
• 采用 SG-OPT 变体后，模型在 STS-B 上达到 77.23，在 STS15 上达到 81.56，在 STS14 上达到 80.13，展现出在不同数据集上的强大泛化能力。
• 该方法在推理阶段最为高效，训练后无需任何后处理，而基线方法依赖池化或其他操作。
• 模型对领域偏移的鲁棒性得到提升，在多样化的 NLP 任务中保持高性能。
• 使用 t-SNE 的可视化结果表明，SG-OPT 能增强正样本句子对在嵌入空间中的聚类效果，同时分离负样本对。
• 与回译技术结合后，性能进一步提升，在 STS-B 上达到 75.10 的平均斯皮尔曼等级相关系数，表明两种技术之间存在协同效应。