[论文解读] PRIME: A few primitives can boost robustness to Common Corruptions

Apostolos Modas, Rahul Rade+3 more|arXiv (Cornell University)|Dec 23, 2021

Corruption and Economic Development被引用 5

一句话总结

PRIME 提出了一种简单而原理清晰的数据增强方案，利用基本图像变换的极大熵族——频谱（ω）、空间（τ）和色彩（γ）——在常见图像退化下实现最先进水平的鲁棒性。通过利用受控平滑度（K）和强度（σ²）的极大熵分布，PRIME 在 ImageNet-C 和 CIFAR-10-C 上优于先前的方法（如 AugMix 和 DeepAugment），即使作为独立方法使用或与其他技术结合，表现依然出色。

ABSTRACT

This is the poster and presentation video for the paper "PRIME: A few primitives can boost robustness to Common Corruptions" presented at ECCV 2022.

研究动机与目标

• 解决当前缺乏原理清晰、可解释的数据增强方法以提升对常见图像退化鲁棒性的不足。
• 克服复杂、基于启发式的设计方案的局限性，这些方案难以分析和调优。
• 开发一种通用、即插即用的数据增强方案，在不损失准确率的前提下提升鲁棒性。
• 探究变换多样性、混合策略以及在线与离线增强在提升退化分布泛化能力中的作用。

提出的方法

• 通过频谱、空间和色彩域中变换的加法子群，形式化定义一种通用的语义保持退化模型。
• 在强度（σ²）、平滑度（K）和边界条件的约束下，使用极大熵分布定义变换族。
• 实现三种基本变换：ω（频谱，通过随机滤波器实现）、τ（空间，通过位移场实现）、γ（色彩，通过随机增益/偏移实现）。
• 通过从这些极大熵分布中采样并采用随机混合（如凸组合）构建 PRIME 增强。
• 在在线（每批次）和离线（预增强数据集）训练方案中应用该方法。
• 利用统计物理推导出的解析解，确保变换采样的可计算性与无偏性。

实验结果

研究问题

• RQ1 实现对常见图像退化鲁棒性的基本设计原则有哪些？
• RQ2 基础变换的多样性如何影响鲁棒性？其重要性是否超过增强方案的复杂性？
• RQ3 混合策略在提升跨退化分布泛化能力方面发挥什么作用？
• RQ4 在线与离线数据增强在鲁棒性与计算成本方面如何比较？
• RQ5 基于模型的简单方法能否超越复杂、端到端学习的增强方法？

主要发现

• 在使用在线增强时，PRIME 在 ImageNet-C 上实现了最先进水平的鲁棒性，top-1 准确率达到 68.8%，超过 AugMix（60.7%）和 DeepAugment（67.5%）的相同设置。
• 即使在离线训练中每张图像仅使用 k=4 个 PRIME 增强，PRIME 在 CIFAR-10-C 上仍达到 88.8% 的准确率，接近在线 AugMix 的 89.3%。
• 消融研究证实，基础变换之间的多样性至关重要；缺乏此类多样性的方法（如 AugMix）表现逊于 PRIME。
• 混合策略起着关键作用：当移除混合机制时，PRIME 性能显著下降，表明其对泛化能力的重要性。
• 与离线训练相比，使用 PRIME 的在线增强带来 +1.6% 的准确率提升，且仅增加 1.27 倍训练时间，相比 DeepAugment 等复杂方法效率极高。
• PRIME 不仅在标准基准上提升鲁棒性，还在感知上差异较大的退化、艺术风格图像和对抗性滤波器上表现出色，展现出广泛的泛化能力。