[论文解读] Un-Mix: Rethinking Image Mixtures for Unsupervised Visual Representation Learning

Zhiqiang Shen, Zechun Liu+4 more|arXiv (Cornell University)|Mar 11, 2020

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

本文提出 Un-Mix，一种简单而有效的无监督视觉表征学习方法，通过引入可学习的图像混合与软标签重分配，增强对比学习。通过联合操纵输入空间与标签空间以建模细粒度相似度，Un-Mix 提升了表征的鲁棒性与泛化能力，在不改变超参数的前提下，于多个数据集与方法上均实现了 1–3% 的准确率一致提升。

ABSTRACT

The recently advanced unsupervised learning approaches use the siamese-like framework to compare two "views" from the same image for learning representations. Making the two views distinctive is a core to guarantee that unsupervised methods can learn meaningful information. However, such frameworks are sometimes fragile on overfitting if the augmentations used for generating two views are not strong enough, causing the over-confident issue on the training data. This drawback hinders the model from learning subtle variance and fine-grained information. To address this, in this work we aim to involve the distance concept on label space in the unsupervised learning and let the model be aware of the soft degree of similarity between positive or negative pairs through mixing the input data space, to further work collaboratively for the input and loss spaces. Despite its conceptual simplicity, we show empirically that with the solution -- Unsupervised image mixtures (Un-Mix), we can learn subtler, more robust and generalized representations from the transformed input and corresponding new label space. Extensive experiments are conducted on CIFAR-10, CIFAR-100, STL-10, Tiny ImageNet and standard ImageNet with popular unsupervised methods SimCLR, BYOL, MoCo V1&V2, SwAV, etc. Our proposed image mixture and label assignment strategy can obtain consistent improvement by 1~3% following exactly the same hyperparameters and training procedures of the base methods. Code is publicly available at https://github.com/szq0214/Un-Mix.

研究动机与目标

• 解决由于数据增强多样性不足导致的对比无监督学习中的过自信与过拟合问题。
• 通过输入空间混合实现正负样本对之间的软相似度建模，提升模型泛化能力与鲁棒性。
• 通过联合修改输入与标签空间，在潜在特征空间中实现更精确、更平滑的决策边界。
• 为现有对比与非对比无监督学习框架提供即插即用的增强方案，计算开销极低。
• 在不进行超参数调优的前提下，于多样化数据集与主干网络架构上展示一致的性能提升。

提出的方法

• 通过可学习混合比例将两张输入图像进行混合，生成新的训练样本。
• 根据混合比例为混合对重新分配软标签，将相似度程度建模为 0 到 1 之间的连续值。
• 在数据增强过程中应用混合操作，生成用于对比损失的混合视图，并引入软监督。
• 采用对称前向传播处理原始与反转图像顺序，保持计算效率，避免额外反向传播。
• 通过将标准增强替换为基于混合的视图，无缝集成至 SimCLR、BYOL、MoCo 与 SwAV 等现有无监督框架中。
• 采用可微分的混合策略，使梯度可穿过混合比例，实现混合过程的端到端优化。

实验结果

研究问题

• RQ1 通过输入混合在图像对之间引入软相似度建模，是否能提升无监督表征的鲁棒性与泛化能力？
• RQ2 与标准数据增强相比，联合操纵输入与标签空间是否能带来潜在特征空间中更优的决策边界？
• RQ3 所提出的混合策略是否能在多样化的对比与非对比无监督学习框架中持续提升性能？
• RQ4 性能提升是源于更优的表征学习，还是仅仅由于训练时间更长？与标准训练时长相比如何？
• RQ5 该方法对下游任务中模型的置信度与对分布偏移的敏感性有何影响？

主要发现

• 在 SimCLR、BYOL、MoCo V1/V2 与 SwAV 上应用 Un-Mix 时，CIFAR-10、CIFAR-100、STL-10、Tiny ImageNet 与 ImageNet 上均实现 1–3% 的一致准确率提升。
• 在 ImageNet 线性评估中，MoCo V2 搭载 Un-Mix 后达到 71.8% 的 top-1 准确率（较原始 71.1% 提升），且使用相同的 24 轮训练调度与超参数。
• 在 COCO 目标检测任务中，该方法使 AP 提升 0.7–1.2 个百分点，AP50 与 AP75 均提升 0.7 AP。
• 在 PASCAL VOC 上，该方法使 Faster R-CNN 与 Mask R-CNN 的 AP 提升 0.3–0.7 个百分点，展现出强大的可迁移性。
• t-SNE 可视化显示，Un-Mix 生成的特征簇更分离且结构更清晰，尤其在语义相似类别间表现更优。
• 该方法带来的额外前向传播成本不足三分之一，且无需额外反向传播，计算高效，适合实际部署。