[论文解读] Not All Semantics are Created Equal: Contrastive Self-supervised Learning with Automatic Temperature Individualization

Zi-Hao Qiu, Quanqi Hu+4 more|arXiv (Cornell University)|May 19, 2023

Cancer-related molecular mechanisms research被引用 4

一句话总结

该论文提出 iSogCLR，一种对比自监督学习方法，通过分布鲁棒优化自动为每个样本学习个性化的温度参数。通过为频繁语义分配更高温度（保留局部结构）和为稀少语义分配更低温度（增强特征可分性），iSogCLR 在长尾和不平衡数据集上表现更优，且对超参数的敏感性低于 SimCLR 和 CLIP。

ABSTRACT

In this paper, we aim to optimize a contrastive loss with individualized temperatures in a principled and systematic manner for self-supervised learning. The common practice of using a global temperature parameter $τ$ ignores the fact that ``not all semantics are created equal", meaning that different anchor data may have different numbers of samples with similar semantics, especially when data exhibits long-tails. First, we propose a new robust contrastive loss inspired by distributionally robust optimization (DRO), providing us an intuition about the effect of $τ$ and a mechanism for automatic temperature individualization. Then, we propose an efficient stochastic algorithm for optimizing the robust contrastive loss with a provable convergence guarantee without using large mini-batch sizes. Theoretical and experimental results show that our algorithm automatically learns a suitable $τ$ for each sample. Specifically, samples with frequent semantics use large temperatures to keep local semantic structures, while samples with rare semantics use small temperatures to induce more separable features. Our method not only outperforms prior strong baselines (e.g., SimCLR, CLIP) on unimodal and bimodal datasets with larger improvements on imbalanced data but also is less sensitive to hyper-parameters. To our best knowledge, this is the first methodical approach to optimizing a contrastive loss with individualized temperatures.

研究动机与目标

• 为解决对比自监督学习中固定全局温度的局限性，该局限性无法考虑语义频率的变化。
• 开发一种原则性、系统性的方法，用于优化具有个性化温度的对比损失。
• 提升在频繁语义与稀少语义共存的长尾数据集上的表征学习性能。
• 设计一种具有收敛性保证的高效随机优化算法，避免对大批次训练数据的需求。

提出的方法

• 提出一种受分布鲁棒优化（DRO）启发的鲁棒对比损失，为温度的影响提供理论直觉，并支持自动化的个性化温度学习。
• 引入一种随机优化算法，可动态调整每个样本的温度，且无需依赖大批次数据。
• 采用对偶优化框架，通过基于梯度的更新联合优化模型参数与个性化温度。
• 引入温度正则化机制，鼓励对频繁语义使用高温度，对稀少语义使用低温度。
• 在弱假设下推导出理论收敛性保证，收敛速率取决于数据分布与批次大小。
• 将该方法应用于单模态（仅图像）和双模态（图像-文本）对比学习，包括 CLIP 风格的训练。

实验结果

研究问题

• RQ1 如何通过根据语义频率为不同语义模式分配不同温度来改进对比自监督学习？
• RQ2 是否可以设计一种原则性、自动化的个性化温度学习方法，在长尾数据集上超越固定温度基线？
• RQ3 能否设计一种具有收敛性保证且内存开销低的随机优化算法用于个性化温度学习？
• RQ4 个性化温度如何影响表征学习中的特征可分性与语义结构保留？
• RQ5 与现有对比学习方法相比，所提方法在多大程度上降低了对超参数调优的敏感性？

主要发现

• iSogCLR 在图像检索基准上优于 SimCLR 和 CLIP，尤其在 MS-COCO 和 CC3M 等不平衡数据集上提升更显著。
• 该方法通过为频繁语义分配更高温度（保留局部结构）和为稀少语义分配更低温度（增强可分性）实现性能提升。
• 在 CC3M 数据集上，iSogCLR 在相同训练设置下收敛更快，且图像检索准确率优于 CLIP。
• 与基线相比，该算法在超参数调优（尤其是温度选择）方面表现出更低的敏感性。
• 理论分析证实，收敛至驻点的速率为 O(n / (B B' ε⁴))，其中 n 为样本数量，B 和 B' 为批次大小。
• 实证结果表明，学习到的温度与语义频率高度相关：常见物体（如小猫）对应高温，稀少物体（如桥梁的建筑细节）对应低温。