[论文解读] Non-Linguistic Supervision for Contrastive Learning of Sentence Embeddings

Yiren Jian, Chong Gao+1 more|arXiv (Cornell University)|Sep 20, 2022

Topic Modeling被引用 6

一句话总结

该论文提出了 VisualCSE 和 AudioCSE，这两种多模态、多任务对比学习框架通过在未配对的文本与非语言数据（图像或音频）上联合训练，提升了句子嵌入的质量。通过利用未配对的视觉和音频数据，该方法在语义文本相似性基准测试中表现更优，即使在使用噪声较大或次优的自然语言推理（NLI）数据集时，其性能仍优于有监督的 SimCSE。

ABSTRACT

Semantic representation learning for sentences is an important and well-studied problem in NLP. The current trend for this task involves training a Transformer-based sentence encoder through a contrastive objective with text, i.e., clustering sentences with semantically similar meanings and scattering others. In this work, we find the performance of Transformer models as sentence encoders can be improved by training with multi-modal multi-task losses, using unpaired examples from another modality (e.g., sentences and unrelated image/audio data). In particular, besides learning by the contrastive loss on text, our model clusters examples from a non-linguistic domain (e.g., visual/audio) with a similar contrastive loss at the same time. The reliance of our framework on unpaired non-linguistic data makes it language-agnostic, enabling it to be widely applicable beyond English NLP. Experiments on 7 semantic textual similarity benchmarks reveal that models trained with the additional non-linguistic (images/audio) contrastive objective lead to higher quality sentence embeddings. This indicates that Transformer models are able to generalize better by doing a similar task (i.e., clustering) with unpaired examples from different modalities in a multi-task fashion.

研究动机与目标

• 解决有监督对比学习对大规模高质量自然语言推理（NLI）数据集的高依赖性问题，此类数据集成本高昂，且在低资源语言中往往不可用。
• 探究未配对的非语言数据（如图像、音频）是否可作为句子嵌入学习的有效监督信号。
• 开发一种语言无关的框架，在无需配对文本-模态数据的情况下提升句子表示质量。
• 研究多模态、多任务对比学习是否能增强句子嵌入模型的泛化能力与鲁棒性。
• 证明非语言监督可弥补在对比学习中因使用低质量或小规模 NLI 数据集而带来的性能损失。

提出的方法

• 在两个独立的对比学习任务上训练一个共享的 Transformer 编码器：一个用于文本（使用标准 SimCSE 损失），另一个用于未配对的非语言数据（图像或音频）。
• 使用基于 BERT 的文本编码器和视觉 Transformer（ViT）或音频编码器，分别处理文本和非语言输入，再送入共享编码器。
• 在两种模态上独立应用 SimCLR 对比损失：对同一示例的增强视图进行聚类，同时将不同示例相互推开。
• 端到端训练模型，采用结合文本与非语言对比目标的多任务损失，使用来自公开数据集的未配对数据（如 Wikipedia + ImageNet，LibriSpeech）。
• 通过避免任何跨模态对齐或配对操作，确保模态独立性，使方法具备可扩展性和语言无关性。
• 使用共享编码器中的 [CLS] token 作为最终句子嵌入，用于下游评估。

实验结果

研究问题

• RQ1 在无监督设置下，未配对的非语言数据（图像或音频）能否有效提升句子嵌入质量？
• RQ2 当 NLI 数据集存在噪声或规模较小时，多模态、多任务对比学习是否比仅使用文本的对比学习具有更好的泛化能力？
• RQ3 非语言监督在多大程度上可弥补高质量标注 NLI 数据缺失对有监督句子嵌入学习的影响？
• RQ4 引入非语言监督如何影响句子嵌入的关键表示特性，如对齐性与均匀性？
• RQ5 由于其语言无关的设计，该方法是否适用于低资源语言，并在这些语言中保持有效？

主要发现

• VisualCSE 和 AudioCSE 在 7 个语义文本相似性基准测试中均优于无监督和有监督的 SimCSE，证明了非语言监督的有效性。
• 当有监督 SimCSE 所用的 NLI 数据集被随机删除 40% 时，VisualCSE 仍表现更优，表明非语言监督可补偿低质量标注数据的缺陷。
• 使用非语言监督训练的模型在对齐性方面优于仅使用文本的 SimCSE，证实了语义相似句子的聚类效果更优。
• 尽管对齐性更好，VisualCSE 的均匀性低于 SimCSE，表明其嵌入表示在嵌入空间的某些区域更为集中。
• 当在噪声较大或次优的数据集（如 ParaNMT 或 QQP）上训练时，有监督 SimCSE 性能显著下降，而 VisualCSE 保持了强劲表现。
• 该方法具有语言无关性，且无需配对数据，因此可在缺乏高质量 NLI 数据的低资源语言环境中部署。