[论文解读] RankMe: Assessing the downstream performance of pretrained self-supervised representations by their rank

Quentin Garrido, Randall Balestriero+2 more|arXiv (Cornell University)|Oct 5, 2022

Speech Recognition and Synthesis被引用 6

一句话总结

RankMe 提出了一种无需标签、无需超参数的评估方法，通过使用奇异值分解（SVD）计算嵌入的**有效秩**，来衡量自监督表示的下游性能。该方法在无需标签或训练的情况下，于多种数据集和模型上实现了接近最优的超参数选择性能，在某些情况下甚至优于基于标签的方法。

ABSTRACT

Joint-Embedding Self Supervised Learning (JE-SSL) has seen a rapid development, with the emergence of many method variations but only few principled guidelines that would help practitioners to successfully deploy them. The main reason for that pitfall comes from JE-SSL's core principle of not employing any input reconstruction therefore lacking visual cues of unsuccessful training. Adding non informative loss values to that, it becomes difficult to deploy SSL on a new dataset for which no labels can help to judge the quality of the learned representation. In this study, we develop a simple unsupervised criterion that is indicative of the quality of the learned JE-SSL representations: their effective rank. Albeit simple and computationally friendly, this method -- coined RankMe -- allows one to assess the performance of JE-SSL representations, even on different downstream datasets, without requiring any labels. A further benefit of RankMe is that it does not have any training or hyper-parameters to tune. Through thorough empirical experiments involving hundreds of training episodes, we demonstrate how RankMe can be used for hyperparameter selection with nearly no reduction in final performance compared to the current selection method that involve a dataset's labels. We hope that RankMe will facilitate the deployment of JE-SSL towards domains that do not have the opportunity to rely on labels for representations' quality assessment.

研究动机与目标

• 为联合嵌入自监督学习（JE-SSL）中的自监督表示缺乏系统性、无标签的评估标准提供解决方案。
• 在不依赖下游标签或视觉检查方法的前提下，实现可靠的模型选择与超参数调优。
• 开发一种简单、计算高效且可解释性强的度量指标，该指标与多种架构和数据集的下游性能具有强相关性。
• 降低 JE-SSL 部署过程中对标签的依赖，特别是在低资源或无标签领域中。

提出的方法

• RankMe 使用奇异值分解（SVD）计算 JE-SSL 训练过程中投影头输出形成的嵌入矩阵的**有效秩**。
• 它利用奇异值的分布来估计有效秩，该值作为表示质量的代理指标。
• 该方法完全无监督，无需训练、超参数或标签——仅需预训练模型的嵌入矩阵。
• 有效秩的计算方式为：奇异值平方和除以奇异值平方和的最大可能值。
• 该方法基于 Cover 定理，该定理指出更高的输入秩可带来更好的线性分类器性能。
• 即使没有标签，该方法也能通过基于嵌入秩对模型进行排序，实现超参数的交叉验证。

实验结果

研究问题

• RQ1 在不使用标签或训练数据的情况下，自监督嵌入的有效秩能否预测下游性能？
• RQ2 在不同 SSL 方法（如 SimCLR、VICReg、DINO）和架构中，嵌入秩与下游准确率的相关性如何？
• RQ3 RankMe 是否可用于在不依赖标签的情况下选择 JE-SSL 模型的最优超参数？
• RQ4 当训练数据与评估数据分布不一致时，RankMe 是否能泛化到分布外（OOD）数据集？
• RQ5 RankMe 在多个随机种子和训练运行中是否表现出鲁棒性和稳定性？

主要发现

• RankMe 在 11 个数据集和 5 种 SSL 方法的 110 个模型中，实现了接近最优的下游性能超参数选择，表现与或优于基于标签的方法。
• 该方法在分布内和分布外数据集上均表现出嵌入秩与下游准确率之间的强相关性，涵盖 ImageNet、CIFAR10、CIFAR100、FOOD101、VOC07 和 CLEVR-count 等数据集。
• 例如，在 ImageNet 上，RankMe 选择的模型在 top-1 准确率上与最佳基于标签的方法相差不到 1%，且无需使用标签。
• 嵌入的有效秩被证明是稳定可靠的指标，在 11 个数据集和 110 次训练运行中均表现出一致性能。
• 在无标签访问条件下，RankMe 在 11 个数据集中的 7 个上优于基线方法，用于超参数选择。
• 该方法在不同 SSL 框架（如 SimCLR、VICReg、DINO）和评估协议（包括线性分类和 k-NN 分类）中均表现出鲁棒性。