[论文解读] Semantically-Conditioned Negative Samples for Efficient Contrastive Learning

James O’Neill, Danushka Bollegala|arXiv (Cornell University)|Feb 12, 2021

Domain Adaptation and Few-Shot Learning参考文献 49被引用 4

一句话总结

该论文提出语义条件负采样（SCNS）和潜在空间混合（Latent Mixup），通过使用预训练嵌入来选择信息量丰富的负样本，以提高对比学习的效率。SCNS 从语义相似的类别或实例中选取负样本，而潜在空间混合则通过插值生成具有挑战性的伪负样本；在知识蒸馏设置下，这两种方法在 CIFAR-10 上将准确率提升最高达 1.52%，在 Tiny-ImageNet-200 上提升最高达 4.56%。

ABSTRACT

Negative sampling is a limiting factor w.r.t. the generalization of metric-learned neural networks. We show that uniform negative sampling provides little information about the class boundaries and thus propose three novel techniques for efficient negative sampling: drawing negative samples from (1) the top-$k$ most semantically similar classes, (2) the top-$k$ most semantically similar samples and (3) interpolating between contrastive latent representations to create pseudo negatives. Our experiments on CIFAR-10, CIFAR-100 and Tiny-ImageNet-200 show that our proposed extit{Semantically Conditioned Negative Sampling} and Latent Mixup lead to consistent performance improvements. In the standard supervised learning setting, on average we increase test accuracy by 1.52\% percentage points on CIFAR-10 across various network architectures. In the knowledge distillation setting, (1) the performance of student networks increase by 4.56\% percentage points on Tiny-ImageNet-200 and 3.29\% on CIFAR-100 over student networks trained with no teacher and (2) 1.23\% and 1.72\% respectively over a extit{hard-to-beat} baseline (Hinton et al., 2015).

研究动机与目标

• 解决对比学习中均匀负采样效率低下的问题，其对类别边界提供的信息有限。
• 通过用语义感知的采样策略替代均匀负采样，提升泛化能力和训练效率。
• 提出一种利用预训练表征定义基于语义相似性的条件负采样分布的方法。
• 引入一种新颖的潜在空间混合技术，用于在决策边界附近生成更具信息量的伪负样本。
• 在 CIFAR-10、CIFAR-100 和 Tiny-ImageNet-200 的标准监督学习与知识蒸馏设置下，实现一致的性能提升。

提出的方法

• 基于预训练词嵌入与余弦相似度，使用语义最相似的 top-k 类别定义负采样分布。
• 通过计算预训练网络特征之间的相似度，在实例层面执行负采样，选择 top-k 最近邻。
• 提出潜在空间混合（Latent Mixup, LM），通过在教师与学生网络表示之间进行插值，在潜在空间生成伪负样本。
• 最小化学生与教师网络混合表示之间的距离或散度损失，以提升对齐效果。
• 采用基于语义相似性的条件概率分布对负样本进行建模，将负样本对数量从 O(N(N−N+)) 降低至 O(Nk)。
• 在训练时无需增加参数，将 SCNS 与 LM 集成至现有的对比学习与知识蒸馏框架中。

实验结果

研究问题

• RQ1 基于语义相似性的负采样是否能相比均匀采样，提升对比学习模型的泛化能力？
• RQ2 在指导有效负采样时，实例级语义相似性与类别级相似性相比表现如何？
• RQ3 潜在空间插值能否生成更具有信息量的伪负样本，使其更接近决策边界？
• RQ4 SCNS 与潜在空间混合在标准监督学习与知识蒸馏设置下的性能提升程度如何？
• RQ5 所提出方法是否在提升样本质量与模型准确率的同时，仍保持高效性，并在多种数据集与网络架构上表现稳定？

主要发现

• 在标准监督学习设置下，语义条件负采样（SCNS）在 CIFAR-10 上平均提升测试准确率 1.52 个百分点，适用于多种架构。
• 在 Tiny-ImageNet-200 上，SCNS 相比未使用教师模型训练的学生网络，将学生网络准确率提升 4.56 个百分点。
• 在 CIFAR-100 上，SCNS 相比未使用教师模型训练的学生网络，将学生性能提升 3.29 个百分点。
• 与 Hinton 等人（2015）的强基线相比，SCNS 在 Tiny-ImageNet-200 和 CIFAR-100 上分别将学生准确率提升 1.23 和 1.72 个百分点。
• 实例级 SCNS 表现优于其他变体，在 CIFAR-100 的 6 种学生-教师配置中取得最佳性能的 4 种。
• 当 β=0.5 时，潜在空间混合取得最高准确率增益，在使用 resnet14 学生网络与 wrn-40-1 教师网络时，Tiny-ImageNet-200 的 top-1 准确率达到 71.43%。