[论文解读] Perfectly Balanced: Improving Transfer and Robustness of Supervised Contrastive Learning

Mayee F. Chen, Daniel Y. Fu+5 more|arXiv (Cornell University)|Apr 15, 2022

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

本文通过解决类别坍缩和排列不变性问题，提出了一种改进监督对比学习中可迁移性和鲁棒性的方法。引入加权类别条件InfoNCE损失以控制最优分布，采用类别条件自编码器打破排列不变性，实现了SOTA性能，在细粒度迁移任务中取得11.1个百分点的准确率提升，在多个数据集上的最差组鲁棒性任务中提升4.7个百分点，CelebA数据集上达到11.5个百分点的提升。

ABSTRACT

An ideal learned representation should display transferability and robustness. Supervised contrastive learning (SupCon) is a promising method for training accurate models, but produces representations that do not capture these properties due to class collapse -- when all points in a class map to the same representation. Recent work suggests that "spreading out" these representations improves them, but the precise mechanism is poorly understood. We argue that creating spread alone is insufficient for better representations, since spread is invariant to permutations within classes. Instead, both the correct degree of spread and a mechanism for breaking this invariance are necessary. We first prove that adding a weighted class-conditional InfoNCE loss to SupCon controls the degree of spread. Next, we study three mechanisms to break permutation invariance: using a constrained encoder, adding a class-conditional autoencoder, and using data augmentation. We show that the latter two encourage clustering of latent subclasses under more realistic conditions than the former. Using these insights, we show that adding a properly-weighted class-conditional InfoNCE loss and a class-conditional autoencoder to SupCon achieves 11.1 points of lift on coarse-to-fine transfer across 5 standard datasets and 4.7 points on worst-group robustness on 3 datasets, setting state-of-the-art on CelebA by 11.5 points.

研究动机与目标

• 为解决监督对比学习（SupCon）因排列不变表示而导致的类别坍缩与可迁移性差的问题。
• 理解为何仅通过简单扩展表示不足以提升性能，尽管实证上已有增益。
• 形式化表示几何中对受控分布与打破类别固定排列不变性的机制的必要性。
• 开发并验证一种结合加权类别条件InfoNCE损失与类别条件自编码器的方法，以获得更优的表示质量。

提出的方法

• 引入SupCon与类别条件InfoNCE损失的加权组合，由α参数化，以控制表示空间中的分布程度。
• 将s_f(y)定义为类别方差的度量，用于量化分布，并证明最优α可平衡坍缩与均匀性。
• 提出σ_f(z)作为子类聚类的度量，用于评估表示质量，并将其与粗粒度到细粒度迁移性能关联。
• 采用类别条件自编码器，通过引入潜在子类聚类的归纳偏置，打破排列不变性。
• 通过在S^{d-1}上的理论分析与模拟，推导出在何种α范围内可实现最优中间分布。
• 在CIFAR-10与多个下游任务上通过基于优化的几何搜索方法，对理论主张进行实证验证。

实验结果

研究问题

• RQ1 加权组合的SupCon与类别条件InfoNCE损失是否能在不发生坍缩或过度均匀化的情况下控制表示的分布程度？
• RQ2 既然分布对类别固定排列的变换保持不变，为何仅靠分布扩展不足以提升可迁移性？
• RQ3 如何打破表示几何中的排列不变性，以提升粗粒度到细粒度迁移与鲁棒性？
• RQ4 在现实条件下，哪些归纳偏置能有效促进潜在子类聚类？
• RQ5 通过类别条件自编码器结合受控分布与子类聚类，是否能在迁移与鲁棒性基准上实现SOTA性能？

主要发现

• 通过合理加权的类别条件InfoNCE损失（α ∈ (2/3, c(τ,d))) 可实现最优分布，避免坍缩与过度均匀化，CIFAR-10上的实证验证支持此结论。
• 最优几何形态从坍缩（低α）经中间分布（中间α）过渡到均匀（高α），非零分布出现在α ≈ 0.67处。
• 类别条件自编码器通过促进潜在子类聚类，有效打破排列不变性，从而提升迁移性能。
• 所提方法在5个标准数据集上相较基线SupCon，实现了11.1个百分点的粗粒度到细粒度迁移准确率提升。
• 在最差组鲁棒性任务中，方法在3个数据集上平均提升4.7个百分点，CelebA数据集上实现11.5个百分点的SOTA提升。