[论文解读] The Hidden Uniform Cluster Prior in Self-Supervised Learning

Mahmoud Assran, Randall Balestriero+7 more|arXiv (Cornell University)|Oct 13, 2022

Domain Adaptation and Few-Shot Learning被引用 13

一句话总结

本文揭示了自监督学习方法（如 SimCLR、VICReg、SwAV 和 MSN）中隐藏的均匀聚类先验，该先验使模型倾向于学习能形成均匀大小聚类的特征。作者表明，这种先验在类别不平衡数据集上会损害性能，并提出了用于孪生网络的先验匹配（PMSN），以功率律聚类先验替代均匀性先验，显著提升了 iNaturalist 2018 等长尾数据集上的表示质量和迁移性能。

ABSTRACT

A successful paradigm in representation learning is to perform self-supervised pretraining using tasks based on mini-batch statistics (e.g., SimCLR, VICReg, SwAV, MSN). We show that in the formulation of all these methods is an overlooked prior to learn features that enable uniform clustering of the data. While this prior has led to remarkably semantic representations when pretraining on class-balanced data, such as ImageNet, we demonstrate that it can hamper performance when pretraining on class-imbalanced data. By moving away from conventional uniformity priors and instead preferring power-law distributed feature clusters, we show that one can improve the quality of the learned representations on real-world class-imbalanced datasets. To demonstrate this, we develop an extension of the Masked Siamese Networks (MSN) method to support the use of arbitrary features priors.

研究动机与目标

• 调查自监督学习方法在特征聚类上对均匀分布的隐式偏差。
• 解释为何这些方法在真实世界中类别不平衡的数据集（如 iNaturalist 2018）上表现欠佳。
• 开发一种方法，以与自然数据分布一致的幂律聚类先验替代均匀性先验。
• 在长尾数据集上展示改进的表示质量和下游迁移性能。

提出的方法

• 理论分析表明，SimCLR、VICReg、SwAV 和 MSN 等方法中的体积最大化正则化项隐式强制实施了均匀聚类先验。
• 作者将掩码孪生网络（MSN）扩展以支持任意特征先验，提出了用于孪生网络的先验匹配（PMSN）。
• PMSN 重新表述了自监督准则，以偏好符合幂律分布的特征聚类，匹配真实世界数据的长尾概念分布。
• 该方法采用对比目标，并引入可学习先验，以鼓励聚类方式反映自然类别分布。
• 实验在长尾数据集上对比了 PMSN 与标准 MSN 及其他自监督方法，评估了下游迁移性能。
• 通过线性评估、少样本学习以及使用 RCDM 进行图像重建，验证了该方法，以可视化原型关联。

实验结果

研究问题

• RQ1 当前采用体积最大化正则化项的自监督学习方法表现出何种隐式归纳偏差？
• RQ2 为何这些方法在类别不平衡数据集上预训练时性能下降？
• RQ3 能否以幂律分布的聚类先验替代均匀聚类先验，从而提升长尾数据上的表示质量？
• RQ4 PMSN 在真实世界不平衡数据集上的性能与标准 MSN 及其他自监督方法相比如何？

主要发现

• SimCLR、VICReg 和 MSN 等方法中的均匀聚类先验在类别不平衡数据上导致显著性能下降，尤其在小批量不类别平衡时更为明显。
• 在 iNaturalist 2018 数据集上，采用幂律先验的 PMSN 在线性评估中优于标准 MSN 和其他基线方法，准确率更高。
• 在少样本 ImageNet 评估中，采用幂律先验的 PMSN 在不平衡采样下达到 28.0% 的准确率，而标准 MSN 为 59.4%，较基线提升 31.4 个百分点。
• 在 CIFAR100 仅使用 1% 数据时，MSN 在不平衡采样下准确率从 46.2% 下降至 26.4%，下降 19.8 个百分点，凸显了均匀先验对数据不平衡的敏感性。
• 如 data2vec 和 MAE 等方法在不平衡采样下性能下降极小，表明它们对均匀性偏差的敏感性较低。
• 使用 RCDM 的可视化结果证实，PMSN 学习到更具语义意义的原型，能更清晰地从聚类嵌入中重建图像。