[论文解读] Temperature Schedules for Self-Supervised Contrastive Methods on Long-Tail Data

Anna Kukleva, Moritz Böhle+3 more|arXiv (Cornell University)|Mar 23, 2023

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文提出一种针对长尾数据的自监督对比学习动态温度调度方法，通过余弦衰减在训练过程中交替使用高、低温度值。通过在实例级与组级判别之间切换，该方法在不增加计算成本的前提下，显著提升了头部和尾部类别表征质量，在多个数据集和长尾比例下均持续优于固定温度基线方法。

ABSTRACT

Most approaches for self-supervised learning (SSL) are optimised on curated balanced datasets, e.g. ImageNet, despite the fact that natural data usually exhibits long-tail distributions. In this paper, we analyse the behaviour of one of the most popular variants of SSL, i.e. contrastive methods, on long-tail data. In particular, we investigate the role of the temperature parameter $τ$ in the contrastive loss, by analysing the loss through the lens of average distance maximisation, and find that a large $τ$ emphasises group-wise discrimination, whereas a small $τ$ leads to a higher degree of instance discrimination. While $τ$ has thus far been treated exclusively as a constant hyperparameter, in this work, we propose to employ a dynamic $τ$ and show that a simple cosine schedule can yield significant improvements in the learnt representations. Such a schedule results in a constant `task switching' between an emphasis on instance discrimination and group-wise discrimination and thereby ensures that the model learns both group-wise features, as well as instance-specific details. Since frequent classes benefit from the former, while infrequent classes require the latter, we find this method to consistently improve separation between the classes in long-tail data without any additional computational cost.

研究动机与目标

• 分析温度参数 τ 在长尾数据分布对比学习中的作用。
• 理解 τ 如何影响嵌入空间中实例判别与组间判别的平衡。
• 通过训练过程中动态调度 τ，提升长尾数据集的表征学习性能。
• 证明在不同判别类型之间切换可同时提升罕见类与常见类的性能。

提出的方法

• 引入温度超参数 τ 的余弦调度，使其在训练周期内从高值到低值变化。
• 通过平均距离最大化框架解释 τ 对嵌入空间结构的影响。
• 利用动态 τ 在强调实例特异性特征（低 τ）与语义组结构（高 τ）之间交替。
• 将该调度应用于最先进的对比模型（如 MoCo 和 SimCLR），无需架构修改或额外计算。
• 在多个数据集（如 CIFAR10-LT、ImageNet-LT）上评估方法，涵盖不同长尾比例。
• 将动态 τ 调度与固定 τ、线性振荡、阶梯函数及 τ 的随机采样进行对比。

实验结果

研究问题

• RQ1 温度参数 τ 如何影响对比学习中实例级与组间判别的平衡？
• RQ2 动态 τ 调度对长尾数据分布中表征质量有何影响？
• RQ3 为何交替使用高、低 τ 值能提升罕见类的性能？
• RQ4 不同 τ 调度方式（如余弦、线性、随机）如何影响下游性能？
• RQ5 所提方法是否在不同模型、数据集及长尾水平下均具有泛化能力？

主要发现

• τ 的余弦调度在多个数据集（包括 CIFAR10-LT 和 ImageNet-LT）上一致提升了少样本线性探测准确率，相比固定 τ=0.2 最高提升达 3.98 个百分点。
• 当训练在完整周期的约 0.7 处停止时性能最佳，表明任务切换存在最优时机。
• 该方法同时提升了头部和尾部类别的表征质量，尤其在罕见类别上增益最显著，归因于实例判别能力的增强。
• 动态 τ 调度优于线性振荡、阶梯函数及 τ 随机采样等替代方案，表明任务切换的时间模式至关重要。
• 该改进在不同超参数选择和模型架构（包括 MoCo 和 SimCLR）下均表现稳健，且无额外计算成本。
• 分析表明，高 τ 强调组间判别与紧密聚类形成，而低 τ 促进实例级判别与嵌入空间的均匀性。