[论文解读] Unsupervised Learning of Dense Visual Representations

Pedro O. Pinheiro, Amjad Almahairi+3 more|arXiv (Cornell University)|Nov 11, 2020

Domain Adaptation and Few-Shot Learning被引用 50

一句话总结

VADeR 通过像素级对比学习学习像素级密集视觉表征，在密集预测任务上优于强基线，且有时超越 ImageNet 监督预训练。

ABSTRACT

Contrastive self-supervised learning has emerged as a promising approach to unsupervised visual representation learning. In general, these methods learn global (image-level) representations that are invariant to different views (i.e., compositions of data augmentation) of the same image. However, many visual understanding tasks require dense (pixel-level) representations. In this paper, we propose View-Agnostic Dense Representation (VADeR) for unsupervised learning of dense representations. VADeR learns pixelwise representations by forcing local features to remain constant over different viewing conditions. Specifically, this is achieved through pixel-level contrastive learning: matching features (that is, features that describes the same location of the scene on different views) should be close in an embedding space, while non-matching features should be apart. VADeR provides a natural representation for dense prediction tasks and transfers well to downstream tasks. Our method outperforms ImageNet supervised pretraining (and strong unsupervised baselines) in multiple dense prediction tasks.

研究动机与目标

• 推动在超越全局图像表示的视觉理解任务中学习密集（像素级）表征。
• 提出视角无关的密集表征（VADeR），在像素级强制跨视图的感知恒定性。
• 开发一个编码器-解码器架构，产生适合密集预测任务的逐像素嵌入。
• 评估 VADeR 特征向分割、深度估计、目标检测和关键点任务的迁移能力。

提出的方法

• 使用一个编码器-解码器网络（以 ResNet-50 为骨干的 FPN），以1/4分辨率生成逐像素嵌入。
• 使用逐像素对比损失（NCE）进行训练，以将来自不同视图的同一像素的嵌入拉近，同时推开不同像素。
• 从两个增强视图之间的已知像素对应关系生成正像素对；负样本来自一个大的动量队列（MoCo 风格）。
• 用温度缩放的余弦相似度表示像素相似性 c(x1,x2)= (1/τ) x1^T x2 / (||x1|| ||x2||)。
• 使用通过随机外观和几何变换创建的双视图对进行训练；每张图像使用32对匹配像素对作为损失。
• 用 MoCo2 权重初始化编码器；解码器从零开始训练；对负样本使用大小为65,536的字典，动量为0.999。

实验结果

研究问题

• RQ1 无监督学习得到的密集（像素级）表示是否能有效迁移到密集预测任务，如分割、深度估计和关键点检测？
• RQ2 强制视角不变性的像素级对比目标是否优于全局（图像级）表示在密集任务上的表现？
• RQ3 像素对应质量和视图采样策略对下游性能有何影响？
• RQ4 在使用不同数量带标签数据进行微调时，VADeR 相对于 MoCo 和 ImageNet 监督预训练的表现如何？

主要发现

• 在使用固定特征时，VADeR 在语义分割和深度预测上优于 MoCo（例如 VOC 上 mIoU 56.7 对 43.0；NYU-d v2 上深度 RMSE 0.964 对 1.136）。
• 在固定表示设置下，VADeR 也在至少一个语义分割任务和深度预测任务上超过了监督的 ImageNet 预训练。
• 在目标检测、实例分割和关键点检测中，VADeR 在同一 FPN 架构下始终优于 MoCo 与监督基线。
• 使用 VADeR 微调可同时初始化编码器和解码器，在标注数据有限时显示优势，常达到或超过 MoCo 的性能，并在标注数据减少时超越监督预训练。
• 对于密集对应任务（DAVIS-2017），VADeR 获得比若干基线更高的 J 与 F 指标，表明强的像素级迁移能力。