[论文解读] Triplet is All You Need with Random Mappings for Unsupervised Visual Representation Learning

Wenbin Li, Xuesong Yang+5 more|arXiv (Cornell University)|Jul 22, 2021

Domain Adaptation and Few-Shot Learning参考文献 32被引用 5

一句话总结

该论文提出了一种基于三元组的对比损失，仅使用每个锚点图像的一个负样本，无需大规模小批量训练或复杂的非对称设计，即可在无监督视觉表示学习中实现最先进性能。此外，还引入了ROMA（RandOm MApping），一种通过随机投影增强表示学习的随机映射策略，在多种自监督对比学习（SSL）方法中显著提升性能。

ABSTRACT

Contrastive self-supervised learning (SSL) has achieved great success in unsupervised visual representation learning by maximizing the similarity between two augmented views of the same image (positive pairs) and simultaneously contrasting other different images (negative pairs). However, this type of methods, such as SimCLR and MoCo, relies heavily on a large number of negative pairs and thus requires either large batches or memory banks. In contrast, some recent non-contrastive SSL methods, such as BYOL and SimSiam, attempt to discard negative pairs by introducing asymmetry and show remarkable performance. Unfortunately, to avoid collapsed solutions caused by not using negative pairs, these methods require sophisticated asymmetry designs. In this paper, we argue that negative pairs are still necessary but one is sufficient, i.e., triplet is all you need. A simple triplet-based loss can achieve surprisingly good performance without requiring large batches or asymmetry. Moreover, we observe that unsupervised visual representation learning can gain significantly from randomness. Based on this observation, we propose a simple plug-in RandOm MApping (ROMA) strategy by randomly mapping samples into other spaces and enforcing these randomly projected samples to satisfy the same correlation requirement. The proposed ROMA strategy not only achieves the state-of-the-art performance in conjunction with the triplet-based loss, but also can further effectively boost other SSL methods.

研究动机与目标

• 解决依赖大规模小批量或内存库来获取负样本的对比学习方法所导致的高计算成本与复杂性问题。
• 克服非对比学习方法（如BYOL和SimSiam）中因需要复杂非对称设计而引发的退化问题。
• 探究是否仅使用极少数负样本对（即每个锚点仅一个负样本）仍可在自监督表示学习中取得优异性能。
• 研究随机性在提升无监督视觉表示学习中的作用。
• 开发一种即插即用的策略，可在不修改网络架构的前提下增强现有SSL方法。

提出的方法

• 提出一种基于三元组的对比损失，每个锚点图像仅使用一个负样本，显著减少对大规模负样本挖掘的需求。
• 引入ROMA（RandOm MApping），一种简单数据增强策略，通过将特征随机投影到不同空间以生成额外的负视图。
• 在锚点与其随机映射视图之间施加与标准对比学习相同的关联约束，促进鲁棒的特征学习。
• 将ROMA作为即插即用模块应用于现有SSL框架，无需修改主干网络或训练流程即可实现性能提升。
• 使用固定维度的随机投影矩阵映射特征，确保计算效率与可扩展性。
• 在三元组结构（锚点、正样本视图、一个随机映射的负样本视图）下使用标准对比损失。

实验结果

研究问题

• RQ1 仅使用每个锚点一个负样本是否可在无需大规模小批量训练或复杂非对称设计的情况下实现自监督视觉表示学习的竞争力性能？
• RQ2 通过随机投影在特征空间中引入随机性，是否能提升自监督表示的鲁棒性与泛化能力？
• RQ3 像ROMA这样简单且即插即用的策略，是否可在不修改网络架构的前提下增强现有SSL方法？
• RQ4 所提出的基于三元组的损失与对比学习及非对比学习SSL方法相比，在准确率与训练效率方面表现如何？
• RQ5 随机映射对不同下游任务中的表示质量有何影响？

主要发现

• 所提出的基于三元组的损失在ImageNet-1K数据集上使用ResNet-50主干网络时达到最先进性能，优于现有对比与非对比方法。
• ROMA在应用于现有SSL方法（包括SimSiam与BYOL）时显著提升性能，证明其良好的泛化能力。
• 该方法在极少数负样本对下取得优异结果，无需大规模小批量或内存库。
• 通过ROMA实现的随机映射增强了特征多样性与泛化能力，显著提升线性评估与微调基准的下游准确率。
• 三元组损失与ROMA的结合即使在无复杂架构非对称设计或大规模负样本挖掘的情况下，也能实现竞争力的性能表现。
• 消融实验证实，特征投影中的随机性在防止特征退化与提升表示质量方面起着关键作用。