[论文解读] SemPPL: Predicting pseudo-labels for better contrastive representations

Matko Bošnjak, Pierre H. Richemond+8 more|arXiv (Cornell University)|Jan 12, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

SemPPL 提出了一种新颖的半监督对比学习方法，通过在有标签嵌入上使用 k-NN 分类器为无标签数据预测伪标签，然后利用这些伪标签定义语义正样本，从而提升表示学习。这种方法构建了一个自我强化的循环，显著提升性能，在使用 ResNet-50 与选择性卷积核的情况下，ImageNet 上仅使用 1% 和 10% 标注数据时，分别实现了 72.3% 和 78.3% 的 top-1 准确率，达到当前最先进水平。

ABSTRACT

Learning from large amounts of unsupervised data and a small amount of supervision is an important open problem in computer vision. We propose a new semi-supervised learning method, Semantic Positives via Pseudo-Labels (SemPPL), that combines labelled and unlabelled data to learn informative representations. Our method extends self-supervised contrastive learning -- where representations are shaped by distinguishing whether two samples represent the same underlying datum (positives) or not (negatives) -- with a novel approach to selecting positives. To enrich the set of positives, we leverage the few existing ground-truth labels to predict the missing ones through a $k$-nearest neighbours classifier by using the learned embeddings of the labelled data. We thus extend the set of positives with datapoints having the same pseudo-label and call these semantic positives. We jointly learn the representation and predict bootstrapped pseudo-labels. This creates a reinforcing cycle. Strong initial representations enable better pseudo-label predictions which then improve the selection of semantic positives and lead to even better representations. SemPPL outperforms competing semi-supervised methods setting new state-of-the-art performance of $68.5\%$ and $76\%$ top-$1$ accuracy when using a ResNet-$50$ and training on $1\%$ and $10\%$ of labels on ImageNet, respectively. Furthermore, when using selective kernels, SemPPL significantly outperforms previous state-of-the-art achieving $72.3\%$ and $78.3\%$ top-$1$ accuracy on ImageNet with $1\%$ and $10\%$ labels, respectively, which improves absolute $+7.8\%$ and $+6.2\%$ over previous work. SemPPL also exhibits state-of-the-art performance over larger ResNet models as well as strong robustness, out-of-distribution and transfer performance. We release the checkpoints and the evaluation code at https://github.com/deepmind/semppl .

研究动机与目标

• 在仅少量 ImageNet 数据被标注的低监督设置下，提升半监督表示学习性能。
• 解决先前对比学习方法中负样本采样过度而最优正样本采样被忽视的不平衡问题。
• 开发一种方法，利用有限的真实标签来生成无标签数据的伪标签，从而增强学习表示中的语义对齐。
• 构建一个自我强化循环：更好的表示提升伪标签预测性能，而更优的伪标签又进一步优化正样本采样，从而持续改进表示。

提出的方法

• SemPPL 在有标签数据的嵌入上使用 k-NN 分类器，为无标签数据预测伪标签，从而识别语义正样本。
• 它将语义正样本定义为与给定锚点样本具有相同预测伪标签的无标签样本。
• 该方法通过对比损失联合优化表示学习，最大化锚点样本与语义正样本之间的相似性，同时最小化与负样本的相似性。
• 该框架兼容任何对比损失，并可扩展至非对比目标。
• 采用多裁剪数据增强策略，包含大（224×224）和小（96×96）视图，其中大视图以 10% 概率应用显著性掩码。
• 训练流程包含用于内存库更新的队列，并集成了基于语义正样本的附加损失项，计算开销极低（仅占步骤时间的 8.5%）。

实验结果

研究问题

• RQ1 能否通过有限有标签数据的伪标签预测，改善对比表示学习中语义正样本的选择？
• RQ2 将由共享伪标签定义的语义正样本引入后，如何提升低样本半监督学习中的表示质量？
• RQ3 表示学习与伪标签预测之间的自我强化循环，在极低监督设置下对 ImageNet 性能的提升程度如何？
• RQ4 在准确率、鲁棒性以及分布外泛化能力方面，SemPPL 与当前最先进方法相比表现如何？
• RQ5 SemPPL 是否能与架构改进（如选择性卷积核）有效结合，进一步提升性能？

主要发现

• SemPPL 在使用 1% 标注数据和 ResNet-50 主干网络时，实现了 ImageNet 上 68.5% 的新 SOTA top-1 准确率。
• 在 10% 标注数据下，SemPPL 在 ResNet-50 上达到 76.0% 的 top-1 准确率，创下半监督设置下的新 SOTA 记录。
• 当与选择性卷积核结合时，SemPPL 在 ImageNet 上使用 1% 和 10% 标注数据时，分别实现了 72.3% 和 78.3% 的 top-1 准确率，相比之前工作分别提升了 +7.8% 和 +6.2% 的绝对准确率。
• SemPPL 展现出强大的鲁棒性和分布外泛化性能，在这些基准测试中优于先前的 SOTA 方法。
• 该方法仅带来 8.5% 的额外计算开销（相较于 ReLIC v2），其中 k-NN 和损失计算为主要贡献部分，并兼容广泛的对比与非对比目标。
• 代码与模型检查点已公开发布于 https://github.com/deepmind/semppl，以支持可复现性与进一步研究。