[论文解读] The Utility of Feature Reuse: Transfer Learning in Data-Starved Regimes

Shadman, Rashik, M. G. Sarwar Murshed+3 more|arXiv (Cornell University)|Feb 29, 2020

Domain Adaptation and Few-Shot Learning参考文献 14被引用 5

一句话总结

本文研究了在每类样本少于100个的样本稀缺场景下，使用过参数化的卷积神经网络进行迁移学习的效果。结果表明，来自ImageNet预训练模型的特征复用显著提升了在分布外数据上的分类准确率与泛化能力，视觉解释进一步证实了迁移学习后模型对相关特征的关注度提高。

ABSTRACT

The use of transfer learning with deep neural networks has increasingly become widespread for deploying well-tested computer vision systems to newer domains, especially those with limited datasets. We describe a transfer learning use case for a domain with a data-starved regime, having fewer than 100 labeled target samples. We evaluate the effectiveness of convolutional feature extraction and fine-tuning of overparameterized models with respect to the size of target training data, as well as their generalization performance on data with covariate shift, or out-of-distribution (OOD) data. Our experiments demonstrate that both overparameterization and feature reuse contribute to the successful application of transfer learning in training image classifiers in data-starved regimes. We provide visual explanations to support our findings and conclude that transfer learning enhances the performance of CNN architectures in data-starved regimes.

研究动机与目标

• 研究在每类样本少于100个的极端数据受限场景下迁移学习的有效性。
• 评估过参数化与特征复用在低数据场景下实现图像分类迁移学习成功的关键作用。
• 评估模型在协变量偏移与分布外（OOD）条件下的泛化性能。
• 使用Grad-CAM提供视觉解释，以验证模型预测并确认迁移学习的优势。
• 对比多种预训练架构下的微调与特征提取策略，以识别性能驱动因素。

提出的方法

• 在每类样本少于100个的新图像分类任务上，对多个ImageNet预训练CNN架构（如Inception v3、DenseNet161、ResNet152、VGG11、SqueezeNet v1）进行微调。
• 采用完整微调与特征提取（仅训练最后的分类层）两种方式训练模型，以比较性能与泛化能力。
• 在分布内与分布外（OOD）测试集上评估模型，以衡量其在分布偏移下的鲁棒性。
• 应用梯度加权类激活映射（Grad-CAM）可视化VGG11第11层的注意力图，对比预训练模型与微调后模型的差异。
• 使用PyTorch与NVIDIA RTX 2080 GPU在受控条件下训练与评估模型。
• 对比不同参数量模型（如SqueezeNet与VGG11）的性能，以分离模型大小对迁移性能的影响。

实验结果

研究问题

• RQ1 在每类样本少于100个的样本稀缺场景下，迁移学习在多大程度上提升了分类准确率？
• RQ2 在使用迁移学习的低数据场景下，过参数化如何影响模型性能与泛化能力？
• RQ3 在实现新型图像分类任务的有效迁移学习中，特征复用与模型容量各自贡献如何？
• RQ4 通过视觉解释揭示，迁移学习如何影响模型注意力与特征定位？
• RQ5 在性能与分布偏移鲁棒性方面，微调与特征提取等不同迁移策略如何比较？

主要发现

• 所有测试架构在使用迁移学习后均表现出显著的准确率提升：ResNet152在迁移学习下达到100%验证准确率，而未使用迁移学习时低于80%。
• DenseNet161在迁移学习下达到100%验证准确率，而未使用迁移学习时性能低于90%，表明其对迁移学习存在强烈依赖。
• SqueezeNet v1在未使用迁移学习时准确率仅为44%，经迁移学习后提升至90%，凸显了在小样本场景下特征复用的关键作用。
• 在OOD数据上，使用迁移学习的模型准确率保持在80%以上（如DenseNet161为83%），而未使用迁移学习的模型准确率低于60%，表明其鲁棒性显著提升。
• 使用Grad-CAM的视觉解释证实，微调后的模型能聚焦于相关TEL区域（热力图中显示为红、黄、绿色区域），而预训练模型则错误地关注了无关区域。
• 迁移学习带来的性能增益与模型大小无显著关联——VGG11（参数量为SqueezeNet的100倍）在OOD准确率上并未优于SqueezeNet，表明特征复用而非模型大小是主导因素。