[论文解读] Reduction of Class Activation Uncertainty with Background Information

H M Dipu Kabir|arXiv (Cornell University)|May 5, 2023

Fault Detection and Control Systems被引用 8

一句话总结

论文引入一个背景类以提升泛化并降低对背景激活的不确定性，在多项数据集上实现具有竞争力或SOTA的结果，且计算成本低于多任务学习。

ABSTRACT

Multitask learning is a popular approach to training high-performing neural networks with improved generalization. In this paper, we propose a background class to achieve improved generalization at a lower computation compared to multitask learning to help researchers and organizations with limited computation power. We also present a methodology for selecting background images and discuss potential future improvements. We apply our approach to several datasets and achieve improved generalization with much lower computation. Through the class activation mappings (CAMs) of the trained models, we observed the tendency towards looking at a bigger picture with the proposed model training methodology. Applying the vision transformer with the proposed background class, we receive state-of-the-art (SOTA) performance on CIFAR-10C, Caltech-101, and CINIC-10 datasets. Example scripts are available in the `CAM' folder of the following GitHub Repository: github.com/dipuk0506/UQ

研究动机与目标

• 推动泛化能力的提升，减少最终类别分数中对背景噪声的依赖。
• 提出背景类作为多任务学习的轻量级替代方案，以获得更好的头部层泛化。
• 证明背景类训练在计算成本低于多任务学习的前提下提升模型性能。
• 为背景类构建和与迁移学习及变换器的整合提供指南。

提出的方法

• 在最终分类头中增加一个背景类以扩展输出空间，使其多一个类别。
• 在进行迁移学习时保持前部层的泛化性，更新带有额外背景类的头部。
• 从公开数据集生成背景类，确保不含目标类别内容，包含多样纹理和单色选项。
• 利用CAM分析来推动更广泛的特征使用并降低背景引发的错分风险。
• 在多个数据集（STL-10、Oxford-102、CUB-200-2011、FGVC Aircraft、KMNIST、EMNIST、CINIC-10、Caltech-101）上采用迁移学习、多任务学习与所提背景法进行评估。
• 尝试变换器架构（ViT-L/16）及如Spinal FC等变体，以评估背景训练带来的增益。

实验结果

研究问题

• RQ1 在训练时添加背景类是否能提升跨数据集的泛化并稳定类激活映射（CAM）？
• RQ2 背景类方法与迁移学习和多任务学习在准确性和计算效率方面的对比？
• RQ3 如何优化背景类构建的指南（大小、内容、多样性）以实现对头部层学习的鲁棒性？

主要发现

• 背景类训练在准确率上高于标准迁移学习，且常常略超越多任务学习，同时显著降低训练时间。
• 带背景类的基于变换器的模型在若干数据集（如STL-10、CINIC-10）中实现了接近SOTA的结果（在报道的实验中）。
• 包含背景数据有助于头部层将特征泛化到更大空间区域，降低对背景伪影的依赖。
• 该方法使用公开数据集构造背景类，不需要冻结初始层，实现端到端训练。