[论文解读] VIPriors 1: Visual Inductive Priors for Data-Efficient Deep Learning Challenges

Robert-Jan Bruintjes, Attila Lengyel+3 more|arXiv (Cornell University)|Mar 5, 2021

Advanced Neural Network Applications参考文献 72被引用 11

一句话总结

本论文介绍了VIPriors挑战赛的首个版本，聚焦于数据高效的深度学习，通过将训练数据限制在极小的子集（例如每类仅50张图像）并禁止使用预训练模型。表现最佳的解决方案通过广泛的数据增强、模型集成和新颖的网络架构实现了高准确率，其中最佳图像分类模型在5万张图像的ImageNet子集上达到了73%的top-1准确率，展示了在无预训练情况下强大的数据效率。

ABSTRACT

We present the first edition of "VIPriors: Visual Inductive Priors for Data-Efficient Deep Learning" challenges. We offer four data-impaired challenges, where models are trained from scratch, and we reduce the number of training samples to a fraction of the full set. Furthermore, to encourage data efficient solutions, we prohibited the use of pre-trained models and other transfer learning techniques. The majority of top ranking solutions make heavy use of data augmentation, model ensembling, and novel and efficient network architectures to achieve significant performance increases compared to the provided baselines.

研究动机与目标

• 通过设计训练数据严重受限的挑战赛，解决深度学习中的数据效率差距问题。
• 推动视觉归纳偏置的研究，以实现在数据和计算资源有限条件下的优异性能。
• 鼓励在不依赖预训练的前提下，于数据增强、网络架构设计和训练技术方面的创新。
• 为关键计算机视觉任务（图像分类、目标检测、实例分割和动作识别）提供数据高效学习的基准。
• 通过提供低资源、易访问的挑战赛，支持中小型机构和企业，无需依赖大规模数据集或GPU。

提出的方法

• 设计了四项挑战赛，训练数据大幅减少：ImageNet每类仅50张图像，COCO目标检测约6,000张图像，Cityscapes实例分割200张训练图像，UCF101动作识别约4,800段视频片段。
• 所有模型均从零开始训练，严格禁止使用预训练、迁移学习或外部数据。
• 参赛者使用先进的数据增强策略，如Cutmix、随机裁剪、水平翻转和帧跳过，以合成性地扩展训练数据。
• 顶尖解决方案采用包含16个或更多模型的模型集成，以提升泛化能力和鲁棒性。
• 采用新型且高效的网络架构（如Dual Selective Kernel网络、ResNeSt以及带TSM模块的SlowFast）以在数据稀缺条件下提升特征学习能力。
• 在测试阶段应用数据增强技术，如排序池化和时序中心差分卷积，进一步提升性能。

实验结果

研究问题

• RQ1 在极小数据集上从零开始训练时，数据增强和模型集成在实现高性能方面的有效性如何？
• RQ2 在无预训练条件下，新型高效神经网络架构在低数据场景下能否显著优于标准架构？
• RQ3 双流（RGB + Flow）视频模型能否仅用4,800段训练视频片段在动作识别任务中实现强性能？
• RQ4 视觉归纳偏置（如运动和空间结构）在计算机视觉任务中如何促进数据效率？
• RQ5 中心损失和树监督等损失函数在数据稀缺条件下对泛化能力的提升作用如何？

主要发现

• 表现最佳的图像分类模型在5万张图像的ImageNet子集上达到了73.03%的top-1准确率，显著优于基线模型。
• 所有挑战赛的顶尖解决方案均严重依赖数据增强技术，尤其是Cutmix和随机裁剪，以提升泛化能力和类别平衡。
• 在所有任务中，采用16个或更多模型的模型集成是顶尖选手的普遍策略，显著提升了准确率。
• 最佳动作识别解决方案采用双流RGB+Flow结构，结合I3D和C3D网络，在4,800段视频的UCF101子集上达到90.83%的准确率。
• 尽管使用了如DSK-net和改进的HANet等新型架构，性能提升主要仍源于成熟技术如数据增强和模型集成。
• 结果表明，虽然新型架构有所帮助，但数据效率的最大提升仍来自系统性地应用数据增强和集成方法。