[论文解读] Semi-supervised Image Classification with Grad-CAM Consistency

Juyong Lee, Seunghyuk Cho|arXiv (Cornell University)|Aug 31, 2021

Domain Adaptation and Few-Shot Learning参考文献 17被引用 6

一句话总结

该论文提出了一种半监督图像分类方法，通过在数据增强下强制Grad-CAM注意力图的一致性，提升了模型的泛化能力和适应性。通过在标准一致性训练中添加Grad-CAM一致性损失，该方法在CIFAR-10上实现了最高1.44%的准确率提升，优于基线伪标签方法，尤其是在针对更深网络层以实现更好的特征级对齐时表现更优。

ABSTRACT

Consistency training, which exploits both supervised and unsupervised learning with different augmentations on image, is an effective method of utilizing unlabeled data in semi-supervised learning (SSL) manner. Here, we present another version of the method with Grad-CAM consistency loss, so it can be utilized in training model with better generalization and adjustability. We show that our method improved the baseline ResNet model with at most 1.44 % and 0.31 $\pm$ 0.59 %p accuracy improvement on average with CIFAR-10 dataset. We conducted ablation study comparing to using only psuedo-label for consistency training. Also, we argue that our method can adjust in different environments when targeted to different units in the model. The code is available: https://github.com/gimme1dollar/gradcam-consistency-semi-sup.

研究动机与目标

• 通过利用Grad-CAM注意力图一致性作为正则化信号，提升半监督图像分类性能。
• 通过整合基于梯度的显著性图一致性，超越标准伪标签方法，提升模型泛化能力。
• 通过允许在不同网络层应用Grad-CAM一致性损失，提升训练的适应性。
• 探究注意力图一致性是否优于仅依赖标签一致性的性能。
• 评估目标层选择对不同数据集和标签分布下模型性能的影响。

提出的方法

• 该方法引入了一种Grad-CAM一致性损失，通过最小化原始输入与增强输入在指定目标层上的Grad-CAM图之间的L2距离来实现。
• 该损失与标准监督交叉熵损失及伪标签一致性损失结合，形成多目标训练目标。
• Grad-CAM图通过计算目标层激活图相对于最终类别得分的梯度来生成。
• Grad-CAM计算的目标层可灵活选择，从而在训练过程中实现分层引导。
• 模型使用标准数据增强（裁剪、旋转、颜色抖动）进行训练，并在预测和Grad-CAM注意力图上均强制一致性。
• 训练过程采用三种损失的加权组合：监督损失、伪标签一致性损失和Grad-CAM一致性损失，其中超参数为α、β、γ。

实验结果

研究问题

• RQ1 与标准一致性训练相比，在数据增强下强制Grad-CAM一致性是否能提升半监督图像分类性能？
• RQ2 Grad-CAM一致性目标层的选择如何影响模型准确率和泛化能力？
• RQ3 当不使用伪标签时，Grad-CAM一致性本身是否能提升模型性能？
• RQ4 未标记数据的数量如何影响Grad-CAM一致性损失的有效性？
• RQ5 基于层选择，Grad-CAM一致性在细粒度分类还是粗粒度分类任务中更有效？

主要发现

• 在CIFAR-10上，使用2500张标记图像和10000张未标记图像时，所提方法相比基线ResNet模型最高实现了1.44%的准确率提升。
• 在不同数据比例下，平均准确率提升了0.31% ± 0.59%，表现出一致的增益。
• 消融实验表明，仅使用Grad-CAM一致性损失即可优于基线伪标签方法，在0.5比例时提升0.70%，在2.0比例时提升0.85%。
• 当目标层为第三残差块（第3层）时性能最佳，在未标记/标记数据比为1.0时达到90.41%的准确率。
• 随着未标记数据增多，模型泛化能力得到提升，表明Grad-CAM一致性起到了强正则化作用。
• 相比浅层，目标深层（如第4层）时性能更优，表明全局特征对齐对分类更有利。