[论文解读] Pure Noise to the Rescue of Insufficient Data: Improving Imbalanced Classification by Training on Random Noise Images

Shiran Zada, Itay Benou+1 more|arXiv (Cornell University)|Dec 16, 2021

COVID-19 diagnosis using AI被引用 11

一句话总结

本文提出OPeN，一种简单而有效的方法，通过在真实数据之外对纯随机噪声图像训练深度神经网络，来提升类别不平衡图像分类的性能。通过引入一种新型的分布感知路由批量归一化（DAR-BN）层，该方法缓解了自然图像与噪声之间的分布偏移，显著提升了泛化能力，并在CIFAR-10-LT、CIFAR-100-LT、ImageNet-LT和CelebA-5等长尾基准数据集上达到最先进性能。

ABSTRACT

Despite remarkable progress on visual recognition tasks, deep neural-nets still struggle to generalize well when training data is scarce or highly imbalanced, rendering them extremely vulnerable to real-world examples. In this paper, we present a surprisingly simple yet highly effective method to mitigate this limitation: using pure noise images as additional training data. Unlike the common use of additive noise or adversarial noise for data augmentation, we propose an entirely different perspective by directly training on pure random noise images. We present a new Distribution-Aware Routing Batch Normalization layer (DAR-BN), which enables training on pure noise images in addition to natural images within the same network. This encourages generalization and suppresses overfitting. Our proposed method significantly improves imbalanced classification performance, obtaining state-of-the-art results on a large variety of long-tailed image classification datasets (CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT, Places-LT, and CelebA-5). Furthermore, our method is extremely simple and easy to use as a general new augmentation tool (on top of existing augmentations), and can be incorporated in any training scheme. It does not require any specialized data generation or training procedures, thus keeping training fast and efficient.

研究动机与目标

• 解决在高度类别不平衡数据集上训练的深度学习模型泛化能力差的问题，特别是当少数类样本极少时。
• 克服现有方法（如重加权和重采样）常导致过拟合或信息丢失的局限性。
• 探究以往被认为无用的纯随机噪声图像是否可作为有效的数据增强手段，以提升模型鲁棒性和泛化能力。
• 开发一种新的归一化技术，通过处理其分布偏移，实现对自然图像和纯噪声图像的稳定联合训练。

提出的方法

• 提出OPeN（使用纯噪声图像进行过采样），即在每个类别中添加固定数量的纯随机噪声图像到训练集中，其数量与类别频率成反比。
• 提出一种新型批量归一化层——分布感知路由批量归一化（DAR-BN），对自然图像和纯噪声图像分别应用独立的归一化统计量。
• 利用从自然图像激活中学习到的仿射参数（gamma和beta）对噪声图像激活进行变换，确保缩放和偏移的一致性。
• 使用标准交叉熵损失进行模型训练，训练批次中同时包含真实图像和纯噪声图像，其中噪声从与训练集均值和方差匹配的高斯分布中采样。
• 将OPeN作为即插即用的增强方法，兼容现有数据增强流程，除将标准BN替换为DAR-BN外，无需修改训练过程。
• 在每个训练批次中采用1:4的噪声与真实图像比例，确保足够的噪声表示，同时避免过度影响网络学习。

实验结果

研究问题

• RQ1 在纯随机噪声图像上进行训练是否能提升深度神经网络的泛化能力，特别是在长尾数据集中少数类的表现？
• RQ2 自然图像与纯噪声图像之间的分布偏移是否阻碍模型训练，能否被有效缓解？
• RQ3 在类别不平衡图像分类基准上，OPeN与现有最先进方法相比，在准确率和鲁棒性方面表现如何？
• RQ4 纯噪声图像是否可作为通用数据增强技术，超越类别不平衡设置的应用场景？
• RQ5 所提出的DAR-BN层是否能有效支持在同一个网络中对两个不同数据域（自然图像 vs. 噪声）实现稳定训练？

主要发现

• OPeN在多个长尾基准数据集上达到最先进性能，在CIFAR-10-LT（IR=100）上达到84.64%的准确率，较标准BN提升3.2%。
• 在CIFAR-100-LT（IR=100）上，OPeN达到51.50%的准确率，较标准BN提升2.3%，较辅助BN提升1.37%。
• 当用作通用增强方法时，OPeN在CIFAR-10上较基线增强方法提升+2.38%，在CIFAR-100上提升+6.34%；较AutoAugment分别提升+0.9%和+1.5%。
• 消融实验证实，DAR-BN显著优于标准BN和辅助BN，证明其在处理域偏移方面的有效性。
• 该方法简单高效，无需专门的数据生成或训练流程，可轻松集成到任何现有训练管道中。
• OPeN的成功表明，纯噪声可作为一种强大且被低估的数据增强形式，即使在平衡数据集中也能提升泛化能力。