[论文解读] Planckian Jitter: countering the color-crippling effects of color jitter on self-supervised training

Simone Zini, Gomez-Villa, Alex+4 more|arXiv (Cornell University)|Feb 16, 2022

Image Enhancement Techniques被引用 7

一句话总结

本文提出 Planckian Jitter，一种基于物理的色彩数据增强方法，利用普朗克定律模拟真实的光源变化，从而提升自监督学习中的色彩表征能力。实验表明，将 Planckian Jitter 与标准色彩抖动通过特征拼接结合，可在多个下游视觉任务中实现超过 5% 的一致性能提升，尤其在对色彩敏感的数据集上表现更优。

ABSTRACT

Several recent works on self-supervised learning are trained by mapping different augmentations of the same image to the same feature representation. The data augmentations used are of crucial importance to the quality of learned feature representations. In this paper, we analyze how the color jitter traditionally used in data augmentation negatively impacts the quality of the color features in learned feature representations. To address this problem, we propose a more realistic, physics-based color data augmentation - which we call Planckian Jitter - that creates realistic variations in chromaticity and produces a model robust to illumination changes that can be commonly observed in real life, while maintaining the ability to discriminate image content based on color information. Experiments confirm that such a representation is complementary to the representations learned with the currently-used color jitter augmentation and that a simple concatenation leads to significant performance gains on a wide range of downstream datasets. In addition, we present a color sensitivity analysis that documents the impact of different training methods on model neurons and shows that the performance of the learned features is robust with respect to illuminant variations.

研究动机与目标

• 解决传统色彩抖动在自监督学习中导致的色彩表征质量下降问题。
• 开发一种基于物理原理的色彩增强方法，模拟真实世界中的光源变化，例如黑体辐射引起的光源变化。
• 提升在色彩为关键判别因素的下游任务中的性能，例如细粒度图像识别。
• 证明 Planckian Jitter 与标准色彩抖动可生成互补的表征，通过特征融合实现性能提升。
• 验证 Planckian Jitter 在多种最先进的自监督学习框架中的泛化能力。

提出的方法

• Planckian Jitter 基于普朗克黑体辐射定律实施色彩变换，生成与自然光源变化一致的色度偏移。
• 该方法将输入的 RGB 值映射到普朗克轨迹线上的新色度点，保持物理合理性，避免不真实的色彩偏移。
• 采用随机过程在合理范围内（例如 2500K–6500K）采样光源温度，以模拟不同的光照条件。
• 该方法替代数据增强流程中的标准色彩抖动，与对比自监督学习框架保持兼容。
• 通过将使用 Planckian Jitter 训练的模型提取的特征，与使用标准色彩抖动训练的模型特征进行拼接，形成统一且更丰富的表征。
• 在下游分类任务上评估该联合表征的性能，以衡量性能增益。

实验结果

研究问题

• RQ1 用 Planckian Jitter 替换标准色彩抖动是否能提升自监督模型中色彩表征的质量？
• RQ2 Planckian Jitter 是否能提升在色彩为关键判别线索的下游任务中的性能？
• RQ3 与标准色彩抖动相比，Planckian Jitter 学习到的表征在应对光源变化时是否更具鲁棒性？
• RQ4 将两种增强方式的特征进行融合，能在多大程度上提升整体模型性能？
• RQ5 Planckian Jitter 在不同自监督学习架构和训练目标下是否具有泛化能力？

主要发现

• 在 CUB-200 数据集上，Planckian Jitter 与标准色彩抖动结合（LSC [CJ,PJ]）的 top-1 准确率达到 60.70%，相比仅使用标准色彩抖动（54.52%）提升了 6.18%。
• 在 T1K+ 数据集上，LSC [CJ,PJ] 配置达到 80.49% 的准确率，相比标准色彩抖动（71.44%）提升了 9.05%。
• 在 Flowers-102 数据集上，LSC [CJ,PJ] 配置达到 93.99% 的准确率，相比标准色彩抖动（93.16%）提升了 0.83%。
• 在 CIFAR-100 上，LSC [CJ,PJ] 配置在 VicReg 框架下达到 68.95% 的准确率，相比标准色彩抖动（65.23%）提升了 3.72%。
• 在同一数据集上，LSC [CJ,PJ] 配置相比仅使用 Planckian Jitter（47.31%）的 SimSiam 模型，性能提升了 11.21%（59.93% vs. 47.31%）。
• 色彩敏感性分析表明，使用 Planckian Jitter 训练的模型在保持表面反射率信息的同时，对光源变化仍具有鲁棒性。