[论文解读] Seed the Views: Hierarchical Semantic Alignment for Contrastive Representation Learning

Haohang Xu, Xiaopeng Zhang+4 more|arXiv (Cornell University)|Dec 4, 2020

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

该论文提出CsMl，一种用于对比表示学习的分层语义对齐方法，通过在样本和网络层之间扩展正样本视图来提升特征泛化能力。通过利用数据混合实现鲁棒的跨样本正样本选择，并引入瓶颈正则化的多级对比损失，CsMl在ResNet-50上实现了ImageNet线性评估76.6%的top-1准确率，创下新的最先进水平。

ABSTRACT

Self-supervised learning based on instance discrimination has shown remarkable progress. In particular, contrastive learning, which regards each image as well as its augmentations as an individual class and tries to distinguish them from all other images, has been verified effective for representation learning. However, pushing away two images that are de facto similar is suboptimal for general representation. In this paper, we propose a hierarchical semantic alignment strategy via expanding the views generated by a single image to extbf{Cross-samples and Multi-level} representation, and models the invariance to semantically similar images in a hierarchical way. This is achieved by extending the contrastive loss to allow for multiple positives per anchor, and explicitly pulling semantically similar images/patches together at different layers of the network. Our method, termed as CsMl, has the ability to integrate multi-level visual representations across samples in a robust way. CsMl is applicable to current contrastive learning based methods and consistently improves the performance. Notably, using the moco as an instantiation, CsMl achieves a extbf{76.6\% }top-1 accuracy with linear evaluation using ResNet-50 as backbone, and extbf{66.7\%} and extbf{75.1\%} top-1 accuracy with only 1\% and 10\% labels, respectively. extbf{All these numbers set the new state-of-the-art.}

研究动机与目标

• 为解决对比表示学习中子最优不变性学习的问题，即语义相似的图像被当作负样本并相互推开。
• 改善现有对比方法中中间网络层通常存在的表示能力低下问题，提升特征可分性。
• 实现鲁棒的、无需标签的语义相似样本选择，用于正对比学习。
• 开发一种分层训练策略，以在多个网络深度上强制实现可区分的表示。

提出的方法

• 提出一种数据混合策略，生成语义相似但不完全相同的合成正样本，提升跨样本正样本选择的鲁棒性。
• 通过在多个中间层显式对齐特征，将对比学习扩展至网络最终层之外，使用多级对比损失。
• 在每个中间对比损失前引入瓶颈层，以缓解梯度竞争，实现稳定优化。
• 在嵌入空间中使用k近邻搜索，识别语义相似的样本用于跨样本正样本配对。
• 扩展标准对比损失以支持每个锚点对应多个正样本，实现不同表示层次间的分层对齐。
• 将分层对齐机制集成到MoCo中作为即插即用模块，保持与现有对比学习框架的兼容性。

实验结果

研究问题

• RQ1 我们能否通过显式对齐不同样本间的语义相似图像，而非将其视为负样本，来改进对比表示学习？
• RQ2 如何在无需人工标注标签的情况下，鲁棒地选择语义相似样本作为正样本？
• RQ3 在中间网络层强制实现可区分表示是否能提升下游迁移性能？
• RQ4 分层多级对比学习能否在保持训练稳定性的同时增强特征泛化能力？

主要发现

• CsMl在ResNet-50上实现76.6%的ImageNet线性评估top-1准确率，创下自监督预训练下的新最先进水平。
• 仅使用1%标注数据时，CsMl达到66.7%的top-1准确率，显著优于先前的自监督方法。
• 在10%标签数据下微调时，CsMl达到75.1%的top-1准确率，展现出强大的迁移能力。
• 该方法将中间层判别能力提升最高达3.3%（例如，第3阶段从60.7%提升至64.0%），从而增强目标检测和分割任务的性能。
• CsMl的计算成本仅比MoCo v2高出约25%（包含混合样本时），多级监督带来的开销微乎其微。
• 即使训练轮数更少或小批量训练，CsMl仍优于MoCo v2，表明性能提升并非源于更长的训练时间或更大的批量。