[论文解读] Rethinking Supervised Pre-training for Better Downstream Transferring

Yutong Feng, Jianwen Jiang+3 more|arXiv (Cornell University)|Oct 12, 2021

Domain Adaptation and Few-Shot Learning参考文献 47被引用 9

一句话总结

本文提出 LOOK（Leave-One-Out K-Nearest-Neighbor），一种新颖的监督预训练方法，通过保留类内语义多样性来提升下游任务的迁移能力。与将同一类的所有图像强制聚成单一簇的方法不同，LOOK 采用基于 kNN 的损失函数，要求每个图像与其 k 个最近邻中的大多数共享同一类别标签，从而实现多模态的类别分布，并更好地表征视觉差异，最终在包括分类、检测和分割在内的多个下游任务中取得最先进性能。

ABSTRACT

The pretrain-finetune paradigm has shown outstanding performance on many applications of deep learning, where a model is pre-trained on a upstream large dataset (e.g. ImageNet), and is then fine-tuned to different downstream tasks. Though for most cases, the pre-training stage is conducted based on supervised methods, recent works on self-supervised pre-training have shown powerful transferability and even outperform supervised pre-training on multiple downstream tasks. It thus remains an open question how to better generalize supervised pre-training model to downstream tasks. In this paper, we argue that the worse transferability of existing supervised pre-training methods arise from the negligence of valuable intra-class semantic difference. This is because these methods tend to push images from the same class close to each other despite of the large diversity in their visual contents, a problem to which referred as "overfit of upstream tasks". To alleviate this problem, we propose a new supervised pre-training method based on Leave-One-Out K-Nearest-Neighbor, or LOOK for short. It relieves the problem of overfitting upstream tasks by only requiring each image to share its class label with most of its k nearest neighbors, thus allowing each class to exhibit a multi-mode distribution and consequentially preserving part of intra-class difference for better transferring to downstream tasks. We developed efficient implementation of the proposed method that scales well to large datasets. Experimental studies on multiple downstream tasks show that LOOK outperforms other state-of-the-art methods for supervised and self-supervised pre-training.

研究动机与目标

• 为解决现有监督预训练方法因将类内变化压缩为单一簇而导致的迁移能力差的问题。
• 通过保留类别内部的语义差异，特别是针对细粒度或视觉类别多样的场景，提升下游性能。
• 开发一种可扩展、高效的基于 kNN 的损失实现，确保在大规模数据集上的高性能。
• 证明：放松分类约束——仅要求与 k 个最近邻中的多数达成一致——相比严格的交叉熵或对比学习，能带来更好的泛化能力。

提出的方法

• 将深度神经网络的最终分类头替换为加权 kNN 分类器，以支持灵活、局部的决策边界。
• 使用留一法 kNN 分类误差作为损失函数，其中每个样本根据其类别是否与 k 个最近邻的多数类别一致进行评估。
• 使用该损失端到端训练模型，从而在特征空间中通过允许多模态分布来保持类内多样性。
• 提出一种改进的双增强视图版本 LOOK，以增强局部敏感性，并提升在检测和分割任务中的性能。
• 实现一种高效、可微分的 kNN 近似方法，使该方法可扩展至 ImageNet 和 COCO 等大规模数据集。
• 在训练过程中引入温度衰减，以稳定正样本选择并提升优化稳定性。

实验结果

研究问题

• RQ1 在监督预训练中放松分类约束，是否能通过保留类内语义多样性来提升下游迁移能力？
• RQ2 仅要求与 k 个最近邻中的多数达成一致的基于 kNN 的损失，是否能生成比标准交叉熵或对比学习更优的特征表示？
• RQ3 所提出的 LOOK 方法在多样化的下游任务中，与当前最先进监督和自监督预训练方法相比表现如何？
• RQ4 基于 kNN 的方法在避免对视觉背景或虚假相关性过拟合的同时，能在多大程度上保留高层语义特征？

主要发现

• 在 ImageNet 线性探测中，LOOK 在多种骨干网络架构上均优于标准交叉熵和监督对比学习，取得更高的 top-1 准确率。
• 在 COCO 目标检测和实例分割基准上，LOOK 的双增强视图版本在性能上与自监督方法（如 MoCo-v2 和 BYOL）相比具有竞争力或更优。
• 注意力图可视化显示，LOOK 不仅关注核心物体，还聚焦于非标签相关但语义相关的细节，而 SupCon 则忽略了这些元素。
• MoCo-v2 的注意力图在图像上分布更均匀，有利于定位任务，而 LOOK 通过同时保留全局和局部语义，实现了良好平衡。
• 由于 kNN 过滤带来的稳定正样本选择，该方法对超参数选择（尤其是温度衰减）表现出强鲁棒性。
• 实证结果证实，通过基于 kNN 的监督保留类内变化，可实现更好的泛化能力，尤其在细粒度分类和复杂场景理解任务中表现更优。