[论文解读] OpenMixup: Open Mixup Toolbox and Benchmark for Visual Representation Learning

Siyuan Li, Zedong Wang+6 more|arXiv (Cornell University)|Sep 11, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

OpenMixup 首次提出了一个全面的基准测试与统一的开源框架，用于基于 mixup 数据增强的视觉表征学习。该框架支持对 12 个多样化数据集进行标准化、大规模评估，结果表明，与静态方法相比，动态 mixup 方法（例如 AutoMix、SAMix）在鲁棒性、训练稳定性及迁移能力方面表现更优，同时揭示了在不同主干网络与架构之间存在的兼容性与效率权衡。

ABSTRACT

Mixup augmentation has emerged as a widely used technique for improving the generalization ability of deep neural networks (DNNs). However, the lack of standardized implementations and benchmarks has impeded recent progress, resulting in poor reproducibility, unfair comparisons, and conflicting insights. In this paper, we introduce OpenMixup, the first mixup augmentation codebase, and benchmark for visual representation learning. Specifically, we train 18 representative mixup baselines from scratch and rigorously evaluate them across 11 image datasets of varying scales and granularity, ranging from fine-grained scenarios to complex non-iconic scenes. We also open-source our modular codebase, including a collection of popular vision backbones, optimization strategies, and analysis toolkits, which not only supports the benchmarking but enables broader mixup applications beyond classification, such as self-supervised learning and regression tasks. Through experiments and empirical analysis, we gain observations and insights on mixup performance-efficiency trade-offs, generalization, and optimization behaviors, and thereby identify preferred choices for different needs. To the best of our knowledge, OpenMixup has facilitated several recent studies. We believe this work can further advance reproducible mixup augmentation research and thereby lay a solid ground for future progress in the community. The source code and user documents are available at \url{https://github.com/Westlake-AI/openmixup}.

研究动机与目标

• 为解决视觉表征学习中 mixup 方法缺乏标准化、全面基准的问题。
• 提供一个统一、模块化且可扩展的代码库，以实现多样化 mixup 技术的一致性实现、训练与评估。
• 在 12 个多样化图像数据集上进行大规模、公平的对比实验，控制主干网络选择与数据分布等混淆因子。
• 通过实证分析，探究 mixup 策略、网络架构与数据集特性对模型性能与泛化能力的影响。
• 为未来开发更具鲁棒性、高效性与可迁移性的 mixup 基方法提供可操作的见解。

提出的方法

• OpenMixup 框架将广泛的 mixup 算法——涵盖静态方法（如 Mixup、CutMix）与动态方法（如 AutoMix、SAMix、Co-Mixup）——集成到单一模块化训练流程中。
• 支持多种主干网络（CNNs、ViTs、高效网络）与模块，实现对模型架构的系统性消融研究。
• 通过调整混淆因子（如混合比率、数据划分、增强调度）实现受控评估，确保公平比较。
• 包含模型分析工具包，如类激活映射（CAM）可视化，用于评估局部可定位性与下游迁移能力。
• 该基准在 12 个多样化图像分类数据集（包括 ImageNet-1K、Places205 和 FGVC-Aircraft）上进行评估，采用标准化训练协议。
• 该框架已开源且具备可扩展性，支持未来集成新型 mixup 方法及下游任务（如目标检测）。

实验结果

研究问题

• RQ1 在不同数据集上，不同 mixup 策略（静态 vs. 动态）在准确率、鲁棒性与训练稳定性方面的表现如何比较？
• RQ2 主干网络架构的选择如何影响 mixup 方法的性能与泛化能力？
• RQ3 mixup 方法在下游检测任务中的迁移程度如何？哪些方法展现出更优的局部可定位性？
• RQ4 在计算效率、兼容性与性能之间，mixup 方法存在哪些权衡？
• RQ5 数据集特定属性（如类别不平衡、图像复杂度）如何影响 mixup 策略的有效性？

主要发现

• 动态 mixup 方法（如 AutoMix、SAMix）在大多数数据集上持续优于静态 mixup，展现出对主干网络选择更强的鲁棒性与更优的训练稳定性。
• AutoMix 与 SAMix 展现出卓越的鲁棒性与收敛性，其 top-1 准确率更高，训练曲线更稳定，优于大多数静态方法。
• 静态 Mixup（Zhang et al., 2018）尽管准确率较低，但表现出更优的训练稳定性，可能归因于其凸插值特性。
• CutMix（Yun et al., 2019）在现代 CNN（如 ConvNeXt、ResNeXt）与 ViTs（如 DeiT）上均表现出强兼容性，表明其具有广泛适用性。
• 针对 ViT 的动态方法（如 TransMix、TokenMix）在小型 ViT（如 DeiT-S）上表现优异，但在更大或更小的变体（如 PVT-T）上性能显著下降，表明对模型规模高度敏感。
• AutoMix 与 SAMix 通过 CAM 可视化展现出更优的局部可定位性，暗示其在检测迁移任务中具有层次化优势，尽管计算成本更高。