[论文解读] Prototypical Contrastive Learning of Unsupervised Representations
原型对比学习（PCL）通过引入原型和基于 EM 的训练循环，将对比学习与聚类结合起来，提供编码语义结构并在无监督设置中改善迁移的表征。
This paper presents Prototypical Contrastive Learning (PCL), an unsupervised representation learning method that addresses the fundamental limitations of instance-wise contrastive learning. PCL not only learns low-level features for the task of instance discrimination, but more importantly, it implicitly encodes semantic structures of the data into the learned embedding space. Specifically, we introduce prototypes as latent variables to help find the maximum-likelihood estimation of the network parameters in an Expectation-Maximization framework. We iteratively perform E-step as finding the distribution of prototypes via clustering and M-step as optimizing the network via contrastive learning. We propose ProtoNCE loss, a generalized version of the InfoNCE loss for contrastive learning, which encourages representations to be closer to their assigned prototypes. PCL outperforms state-of-the-art instance-wise contrastive learning methods on multiple benchmarks with substantial improvement in low-resource transfer learning. Code and pretrained models are available at https://github.com/salesforce/PCL.
研究动机与目标
- 在无监督视觉表征中桥接对比学习与聚类，以捕捉语义结构。
- 引入原型作为潜在变量，以实现对网络参数的 EM 风格优化。
- 开发 ProtoNCE，一种使用基于原型的浓缩估计的广义对比损失。
- 展示跨基准的迁移学习和聚类质量的提升。
提出的方法
- 将 PCL 表述为以原型为潜在变量的 EM 算法。
- E 步：通过对动量编码特征执行 k-means 来将每个样本分配到簇，以获得原型。
- M 步：通过最小化 ProtoNCE 更新网络参数，ProtoNCE 将实例级 InfoNCE 与基于原型的项结合起来的损失。
- 引入每个原型的浓缩估计 phi，以自适应分配的软性。
- 通过使用若干个 K 值并聚合损失，以多粒度对样本进行聚类。
- ProtoNCE 收敛为类似于 InfoNCE 的形式，同时通过原型实现语义结构学习。
实验结果
研究问题
- RQ1将聚类原型整合进对比学习是否能够产生超越实例判别、反映语义结构的嵌入？
- RQ2基于 EM 的原型框架是否相对于纯实例级对比方法在迁移学习和聚类质量上有所提升？
主要发现
- PCL 在多项基准测试中优于最先进的逐实例对比方法，尤其在低资源迁移设置下。
- ProtoNCE 纳入动态浓缩估计，平衡簇大小并防止自我崩溃。
- 原型与类别标签的互信息高于实例特征，表明语义编码更丰富。
- PCL 在 ImageNet 上提供更好的聚类指标（AMI），并在用作冻结骨干网络时提升目标检测性能。
- PCL v2 及相关实现进一步提升线性分类和半监督迁移结果。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。