[论文解读] Revisiting the Transferability of Supervised Pretraining: an MLP Perspective

Yizhou Wang, Shixiang Tang+5 more|arXiv (Cornell University)|Dec 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 56被引用 4

一句话总结

本文提出在分类器之前引入一个多层感知机（MLP）投影器来增强监督预训练，结果表明，这种简单改进能显著提升迁移性能，通过保留类内变化、减少预训练与评估数据集之间特征分布的距离以及降低特征冗余。该方法在概念泛化任务上实现SOTA性能（top-1准确率提升+7.2%）、12个领域的线性评估（准确率提升+5.8%）以及COCO目标检测（AP提升+0.8%），使监督预训练的性能可与甚至超越无监督方法。

ABSTRACT

The pretrain-finetune paradigm is a classical pipeline in visual learning. Recent progress on unsupervised pretraining methods shows superior transfer performance to their supervised counterparts. This paper revisits this phenomenon and sheds new light on understanding the transferability gap between unsupervised and supervised pretraining from a multilayer perceptron (MLP) perspective. While previous works focus on the effectiveness of MLP on unsupervised image classification where pretraining and evaluation are conducted on the same dataset, we reveal that the MLP projector is also the key factor to better transferability of unsupervised pretraining methods than supervised pretraining methods. Based on this observation, we attempt to close the transferability gap between supervised and unsupervised pretraining by adding an MLP projector before the classifier in supervised pretraining. Our analysis indicates that the MLP projector can help retain intra-class variation of visual features, decrease the feature distribution distance between pretraining and evaluation datasets, and reduce feature redundancy. Extensive experiments on public benchmarks demonstrate that the added MLP projector significantly boosts the transferability of supervised pretraining, e.g. +7.2% top-1 accuracy on the concept generalization task, +5.8% top-1 accuracy for linear evaluation on 12-domain classification tasks, and +0.8% AP on COCO object detection task, making supervised pretraining comparable or even better than unsupervised pretraining.

研究动机与目标

• 探究为何尽管使用了更丰富的语义标签，无监督预训练在迁移学习中通常优于监督预训练。
• 识别监督预训练中限制其迁移能力的缺失因素，尤其是在预训练与下游数据集之间存在较大语义鸿沟时。
• 评估在监督预训练中添加MLP投影器是否能缩小与无监督方法的性能差距。
• 为MLP投影器在提升迁移学习特征质量方面的作用提供实证与理论依据。

提出的方法

• 在标准监督预训练（SL）的分类器前引入MLP投影器，形成SL-MLP，以增强迁移用的特征表示。
• 利用MLP投影器在预训练过程中保留视觉特征的类内变化，防止对类别特定模式的过拟合。
• 应用MLP投影器以减少来自预训练数据集和评估数据集的特征分布距离，提升领域泛化能力。
• 联合训练主干网络与分类器，使用交叉熵损失，同时MLP投影器端到端训练以优化分类前的特征。
• 在MLP的隐藏单元数与输出维度上进行广泛的消融实验，以评估其对超参数的敏感性与鲁棒性。
• 在多个基准上评估SL-MLP：概念泛化、12个领域的线性评估以及COCO目标检测，与SL及无监督方法（如BYOL和SimCLR）进行对比。

实验结果

研究问题

• RQ1 为何无监督预训练在迁移学习中通常比监督预训练泛化能力更强，尽管其使用了更丰富的标注？
• RQ2 MLP投影器在BYOL和SimCLR等无监督预训练方法中发挥何种作用，使其具备更优的迁移能力？
• RQ3 在标准监督预训练中添加MLP投影器是否能缩小与无监督方法的性能差距？
• RQ4 MLP投影器如何影响预训练特征的类内变化、特征分布距离与冗余性？
• RQ5 MLP投影器带来的性能提升在不同架构、数据集与下游任务上是否具有鲁棒性？

主要发现

• 在标准SL基础上添加MLP投影器（SL-MLP）后，与SL相比，概念泛化任务的top-1准确率提升了+7.2%。
• 在12个领域的线性评估中，SL-MLP相较SL平均提升了+5.8%的准确率，在部分设置下甚至优于BYOL。
• SL-MLP使COCO目标检测的AP性能提升了+0.8%，表明其在密集预测任务中具有强大的泛化能力。
• MLP投影器能够保留特征中的类内变化，有助于在多样化下游任务中维持判别性结构。
• MLP投影器显著减少了预训练数据集与评估数据集之间特征分布的距离，从而增强了领域泛化能力。
• MLP投影器带来的性能增益对隐藏单元数与输出维度等超参数选择具有鲁棒性，表明其稳定且具备实际应用价值。