[论文解读] Unbiased Supervised Contrastive Learning

Carlo Alberto Barbano, Benoît Dufumier+3 more|arXiv (Cornell University)|Nov 10, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

该论文提出了一套新颖的理论框架，用于监督对比学习，识别现有损失函数（如SupCon）在处理有偏数据时的局限性。该工作引入了$\alpha$-SupInfoNCE，一种基于边距的对比损失，可更有效地控制正负样本之间的分离；并提出了FairKL，一种去偏正则化损失。该方法在CIFAR-10、CIFAR-100和ImageNet等有偏视觉数据集上实现了最先进性能，尤其在极端数据偏见条件下表现突出。

ABSTRACT

Many datasets are biased, namely they contain easy-to-learn features that are highly correlated with the target class only in the dataset but not in the true underlying distribution of the data. For this reason, learning unbiased models from biased data has become a very relevant research topic in the last years. In this work, we tackle the problem of learning representations that are robust to biases. We first present a margin-based theoretical framework that allows us to clarify why recent contrastive losses (InfoNCE, SupCon, etc.) can fail when dealing with biased data. Based on that, we derive a novel formulation of the supervised contrastive loss (epsilon-SupInfoNCE), providing more accurate control of the minimal distance between positive and negative samples. Furthermore, thanks to our theoretical framework, we also propose FairKL, a new debiasing regularization loss, that works well even with extremely biased data. We validate the proposed losses on standard vision datasets including CIFAR10, CIFAR100, and ImageNet, and we assess the debiasing capability of FairKL with epsilon-SupInfoNCE, reaching state-of-the-art performance on a number of biased datasets, including real instances of biases in the wild.

研究动机与目标

• 解决在虚假特征与标签相关联的数据集中学习鲁棒、无偏表示的挑战。
• 识别现有对比损失（如SupCon、InfoNCE）在数据偏见存在时的理论局限性，即使训练损失较低也无法避免偏差。
• 构建统一的度量学习框架，正式刻画偏差并推导新的正则化约束。
• 提出$\alpha$-SupInfoNCE，一种具备边距感知能力的对比损失，可提升正负样本间的分离效果。
• 提出FairKL，一种新颖的去偏正则化损失，即使在极端数据偏见下也有效，可适用于任意对比或非对比损失。

提出的方法

• 构建基于边距的理论框架，通过表示空间中的距离约束分析对比损失。
• 在度量学习框架内重新表述现有损失（InfoNCE、SupCon），揭示SupCon中隐藏的非对比性约束。
• 提出$\alpha$-SupInfoNCE，作为InfoNCE在多正样本设定下的广义、边距可控扩展，适用于监督学习。
• 设计FairKL作为正则化损失，强制对与偏差一致和与偏差冲突的样本保持相等的表示距离。
• 在训练过程中联合应用$\alpha$-SupInfoNCE与FairKL，同时在原始表示空间和投影空间（若使用投影头）上进行优化。
• 通过消融研究与超参数分析，调节主损失与FairKL正则化项之间的权衡。

实验结果

研究问题

• RQ1 为何标准对比损失（如SupCon）在有偏数据上即使训练损失最小化，仍无法学习到无偏表示？
• RQ2 基于边距的公式化如何提升在数据偏见下的监督对比学习鲁棒性？
• RQ3 在表示学习中，偏差的正式度量表征是什么？如何利用该表征实现去偏？
• RQ4 是否可通过新型正则化损失（FairKL）有效缓解高度有偏数据集中的偏差，而无需数据重加权或数据增强？
• RQ5 在真实世界有偏基准测试中，$\alpha$-SupInfoNCE与FairKL的联合使用相较于现有最先进去偏方法表现如何？

主要发现

• $\alpha$-SupInfoNCE在5.0%偏见率的Corrupted CIFAR-10上达到50.73%准确率，优于$\alpha$-SupCon及其他基线方法。
• 在bFFHQ上，使用完整FairKL正则化项相比仅使用均值约束，准确率提升3.15%；在Corrupted CIFAR-10（5.0%偏见）上，准确率提升1.08%。
• 在Biased-MNIST（99.9%偏见）上，采用$\alpha$-SupInfoNCE与FairKL的模型在$\alpha=0.01$时达到95.00%准确率，展现出对极端偏见的鲁棒性。
• 消融研究证实，完整FairKL正则化项在所有数据集上均持续提升性能，bFFHQ上最高提升达3.15%。
• 选择$\alpha$（正则化权重）至关重要：更强的偏见需要更高的$\alpha$值，Corrupted CIFAR-10与bFFHQ的最佳$\alpha$值为0.1。
• 使用投影头会使Corrupted CIFAR-10上的性能最多下降3.4%，表明在原始空间与投影空间上联合优化可能更有效。