[论文解读] Virtual Augmentation Supported Contrastive Learning of Sentence Representations

Dejiao Zhang, Wei Xiao+3 more|arXiv (Cornell University)|Oct 16, 2021

Topic Modeling被引用 6

一句话总结

本文提出了一种名为虚拟增强支持对比学习（VaSCL）的新方法，用于无监督句子表示学习。该方法通过利用表示空间中每个实例在小批量内的K近邻，生成虚拟数据增强。通过在该邻域上构建对抗性实例判别任务，VaSCL在多个下游NLP任务中实现了最先进性能，尤其在使用显式文本增强时，优于以往方法（如SimCSE）。

ABSTRACT

Despite profound successes, contrastive representation learning relies on carefully designed data augmentations using domain specific knowledge. This challenge is magnified in natural language processing where no general rules exist for data augmentation due to the discrete nature of natural language. We tackle this challenge by presenting a Virtual augmentation Supported Contrastive Learning of sentence representations (VaSCL). Originating from the interpretation that data augmentation essentially constructs the neighborhoods of each training instance, we in turn utilize the neighborhood to generate effective data augmentations. Leveraging the large training batch size of contrastive learning, we approximate the neighborhood of an instance via its K-nearest in-batch neighbors in the representation space. We then define an instance discrimination task regarding this neighborhood and generate the virtual augmentation in an adversarial training manner. We access the performance of VaSCL on a wide range of downstream tasks, and set a new state-of-the-art for unsupervised sentence representation learning.

研究动机与目标

• 为解决由于文本的离散特性，导致在NLP中设计有效且通用的数据增强策略的挑战。
• 克服现有显式文本增强策略的局限性，这些策略通常依赖启发式规则，导致性能欠佳。
• 通过利用表示空间中的邻域结构来生成更有效的虚拟增强，从而改进无监督句子表示学习。
• 在无需依赖任务特定标注的情况下，在多样化的NLP基准上实现零样本迁移学习的最先进性能。

提出的方法

• VaSCL将数据增强解释为在训练实例周围构建邻域，并通过使用邻域反向生成增强来反转此过程。
• 它通过在表示空间中使用同一训练批次内该实例的K近邻来近似其邻域。
• 采用对抗性训练过程，生成在语义上接近原始实例但足够不同的虚拟增强，以作为对比学习中的正样本对。
• 该方法结合了两种对比目标：一种使用标准的dropout增强（如SimCSE中所用），另一种使用生成的虚拟增强以强制实施实例判别。
• 通过对比损失对虚拟增强进行端到端优化，以鼓励模型区分原始表示与虚拟增强表示。
• 该框架采用大批次训练，以确保小批量内邻域的多样性，从而实现稳健的邻域近似。

实验结果

研究问题

• RQ1 我们能否通过基于表示空间中实例邻域结构生成虚拟数据增强，来改进无监督句子表示学习？
• RQ2 为何显式文本增强策略在对比学习中常表现不如简单的dropout增强？
• RQ3 利用小批量内的邻近实例生成虚拟增强是否能带来更好的语义聚类和表示分散？
• RQ4 虚拟增强能否缓解噪声或弱显式文本增强对下游迁移性能的负面影响？
• RQ5 语言多样性与语义一致性在虚拟增强与显式增强的有效性中分别起什么作用？

主要发现

• VaSCL在广泛范围的下游NLP任务中实现了最先进性能，始终优于以往的无监督句子表示模型。
• 通过邻域引导生成的虚拟增强显著优于所有显式文本增强策略（如词语删除、同义词替换、上下文替换）在所有评估任务中的表现。
• 当与显式文本增强结合时，SimCSE和VaSCL的性能均下降，表明此类增强引入了噪声并限制了表示多样性。
• VaSCL学习到的表示空间更具分散性，且在多个粒度上更好地编码了语义信息，这通过余弦相似度分析得到证实。
• 使用虚拟增强训练的模型，其原始表示与增强表示之间的余弦相似度低于使用显式增强的模型，表明正样本对更具有效性和多样性。
• 以dropout作为基线增强策略的表现优于显式方法，凸显了在NLP中设计有效文本级变换的难度。