[论文解读] VICRegL: Self-Supervised Learning of Local Visual Features

Adrien Bardes, Juliana Rubio Ponce+1 more|arXiv (Cornell University)|Oct 4, 2022

Domain Adaptation and Few-Shot Learning被引用 13

一句话总结

VICRegL 提出了一种自监督方法，通过在全局特征向量和最终池化层之前的局部特征向量上应用 VICReg 准则，联合学习全局和局部视觉特征。通过基于空间邻近性和嵌入相似性的特征匹配，该方法在分割任务中实现了最先进性能（例如，在使用 ConvNeXt-S 的 Pascal VOC 上达到 67.5 mIoU），同时保持了强大的线性分类准确率。

ABSTRACT

Most recent self-supervised methods for learning image representations focus on either producing a global feature with invariance properties, or producing a set of local features. The former works best for classification tasks while the latter is best for detection and segmentation tasks. This paper explores the fundamental trade-off between learning local and global features. A new method called VICRegL is proposed that learns good global and local features simultaneously, yielding excellent performance on detection and segmentation tasks while maintaining good performance on classification tasks. Concretely, two identical branches of a standard convolutional net architecture are fed two differently distorted versions of the same image. The VICReg criterion is applied to pairs of global feature vectors. Simultaneously, the VICReg criterion is applied to pairs of local feature vectors occurring before the last pooling layer. Two local feature vectors are attracted to each other if their l2-distance is below a threshold or if their relative locations are consistent with a known geometric transformation between the two input images. We demonstrate strong performance on linear classification and segmentation transfer tasks. Code and pretrained models are publicly available at: https://github.com/facebookresearch/VICRegL

研究动机与目标

• 解决自监督表示学习中全局与局部视觉特征学习之间的权衡问题。
• 实现在不依赖预计算分割掩码的前提下，联合学习全局不变性和局部空间结构。
• 在保持分类准确率的同时，提升语义分割等密集预测任务的性能。
• 探索非对比性、方差与协方差正则化学习在局部特征匹配中的有效性。
• 证明当显式建模局部特征时，卷积神经网络在自监督学习中可与视觉Transformer模型竞争。

提出的方法

• 使用双分支卷积网络，权重完全相同，每个分支处理同一张图像的不同增强视图。
• 对全局特征向量（最终池化后）应用 VICReg 准则，以强制实现不变性并防止特征坍塌。
• 在池化前的特征图上应用局部准则，基于像素空间和嵌入空间中的 $l^2$ 距离匹配特征向量。
• 若其 $l^2$ 距离低于阈值，或其相对位置与视图间的几何变换一致，则匹配局部特征。
• 通过空间与嵌入空间邻近性的加权组合来定义局部特征的正样本匹配。
• 对局部特征采用非对比性 VICReg 损失，避免负样本采样，降低真实正样本错配的风险。

实验结果

研究问题

• RQ1 是否可以在不依赖预计算分割掩码的前提下，以自监督方式有效同时学习全局与局部视觉特征？
• RQ2 基于空间与嵌入空间邻近性的局部特征匹配如何影响下游分割性能？
• RQ3 当应用于局部特征时，非对比性 VICReg 损失是否优于对比性方法？
• RQ4 在局部损失中引入方差与协方差正则化在多大程度上提升了特征质量？
• RQ5 当显式学习局部特征时，卷积神经网络在密集预测任务中能否实现与视觉Transformer模型相当的性能？

主要发现

• 在使用 ResNet-50 主干网络的 Pascal VOC 线性冻结语义分割基准上，VICRegL 达到 55.9 mIoU，相比 VICReg 提升了 8.1 mIoU。
• 在使用 ConvNeXt-S 主干网络时，VICRegL 在同一基准上达到 67.5 mIoU，相比 VICReg 提升了 6.6 mIoU。
• 在局部损失中加入方差与协方差正则化，分别使分割性能提升 +0.8 mIoU 和 +1.3 mIoU，且对分类准确率无显著影响。
• 该方法在 ImageNet 上保持了强大的线性分类性能，表明学习局部特征不会降低全局表征质量。
• 多尺度数据增强策略进一步提升了性能，在所有主干网络上均一致提高了分割表现。
• 可视化结果表明，基于特征的匹配在不同视图间对齐了语义一致的区域（如天空、草地），表明局部特征学习有效。