[论文解读] Parametric Instance Classification for Unsupervised Visual Feature Learning

Yue Cao, Zhenda Xie+4 more|arXiv (Cornell University)|Jun 25, 2020

Advanced Image and Video Retrieval Techniques参考文献 25被引用 26

一句话总结

本文提出参数化实例分类（PIC），一种单分支、参数化的无监督视觉特征学习方法，通过将每张图像视为唯一类别来简化实例判别，其性能与SimCLR和MoCo v2等最先进方法相当。通过滑动窗口数据调度器和带权重更新校正的负采样技术，解决了关键局限性，实现了更快的收敛速度，并可在大规模数据集上实现可扩展训练，且无信息泄露之忧。

ABSTRACT

This paper presents parametric instance classification (PIC) for unsupervised visual feature learning. Unlike the state-of-the-art approaches which do instance discrimination in a dual-branch non-parametric fashion, PIC directly performs a one-branch parametric instance classification, revealing a simple framework similar to supervised classification and without the need to address the information leakage issue. We show that the simple PIC framework can be as effective as the state-of-the-art approaches, i.e. SimCLR and MoCo v2, by adapting several common component settings used in the state-of-the-art approaches. We also propose two novel techniques to further improve effectiveness and practicality of PIC: 1) a sliding-window data scheduler, instead of the previous epoch-based data scheduler, which addresses the extremely infrequent instance visiting issue in PIC and improves the effectiveness; 2) a negative sampling and weight update correction approach to reduce the training time and GPU memory consumption, which also enables application of PIC to almost unlimited training images. We hope that the PIC framework can serve as a simple baseline to facilitate future study.

研究动机与目标

• 提出一种更简单、参数化的替代方案，用于无监督视觉表征学习中的双分支、非参数化实例判别。
• 消除现有双分支框架中为解决信息泄露问题而引入的复杂机制的需求。
• 通过解决参数化实例分类中的实例访问频率过低和内存消耗过高的问题，提升大规模数据集训练的效率与可扩展性。
• 确立PIC作为未来无监督表征学习研究的实用且有效的基线。

提出的方法

• 采用单分支架构，每轮迭代仅将每张图像输入网络一次，避免双分支结构的复杂性及信息泄露的担忧。
• 使用带温度缩放的余弦软最大值损失，以提升特征判别力与泛化能力。
• 引入滑动窗口数据调度器，缩短同一实例的再次访问间隔，从而加速收敛并提升表征学习效果。
• 提出一种负采样策略，并结合权重更新校正技术，确保在数据集规模增大时，训练时间与GPU内存占用保持近似恒定。
• 采用两层MLP投影头并结合强数据增强，以提升特征质量，符合当前最先进无监督学习的最佳实践。
• 应用标准的监督分类组件——主干网络、投影头、损失函数——并结合近期最先进技术，实现具有竞争力的性能表现。

实验结果

研究问题

• RQ1 一个简单、单分支的参数化分类框架能否实现与SimCLR和MoCo v2等最先进双分支无监督方法相当的性能？
• RQ2 哪些关键组件设置使得参数化实例分类在先前认为存在局限性的前提下，仍能实现强大的迁移性能？
• RQ3 如何缓解PIC中极端稀疏的实例访问问题，以提升收敛速度与表征质量？
• RQ4 当数据集规模增大时，能否保持训练效率与GPU内存消耗在近似恒定水平，从而支持无限规模数据的应用？
• RQ5 PIC的注意力模式（显著性图）与监督模型的相似程度如何？这对其归纳偏置意味着什么？

主要发现

• 在使用相似组件设置的情况下，PIC框架在ImageNet-1K上的线性评估top-1准确率达到74.6%，与SimCLR和MoCo v2性能相当。
• 滑动窗口数据调度器通过缩短同一实例的再次访问间隔，显著提升了收敛速度与表征质量。
• 负采样与权重更新校正技术使PIC在数据集规模增大时，仍能保持近似恒定的GPU内存占用与训练时间，实现了对无限规模数据集的可扩展性。
• 显著性图分析显示，PIC与监督模型之间具有高度相似性（平均相关性0.762），表明PIC能以类似监督学习的方式聚焦于图像中的显著区域。
• 尽管因缺乏类别级监督而关注多个对象，PIC的注意力模式在统计上仍与监督模型相似，表明其具备有效的归纳偏置以支持表征学习。
• 本研究推翻了参数化实例分类本质上存在局限性的观点，表明其性能主要受限于组件设计而非框架本身不兼容。