[论文解读] Testing the Efficient Network TRaining (ENTR) Hypothesis: initially reducing training image size makes Convolutional Neural Network training for image recognition tasks more efficient

Thomas Cherico Wanger, Peter Frohn-Sörensen|arXiv (Cornell University)|Jul 30, 2018

Advanced Neural Network Applications参考文献 19被引用 3

一句话总结

本文测试了高效网络训练（ENTR）假设，提出在初始阶段对较小图像训练卷积神经网络（CNNs），然后逐步增大图像尺寸，可提升训练效率。在三个小型数据集上的ResNet模型实验表明，准确率持续提升且推理时间减少，这归因于早期小规模训练带来的隐式正则化。

ABSTRACT

Convolutional Neural Networks (CNN) for image recognition tasks are seeing rapid advances in the available architectures and how networks are trained based on large computational infrastructure and standard datasets with millions of images. In contrast, performance and time constraints for example, of small devices and free cloud GPUs necessitate efficient network training (i.e., highest accuracy in the shortest inference time possible), often on small datasets. Here, we hypothesize that initially decreasing image size during training makes the training process more efficient, because pre-shaping weights with small images and later utilizing these weights with larger images reduces initial network parameters and total inference time. We test this Efficient Network TRaining (ENTR) Hypothesis by training pre-trained Residual Network (ResNet) models (ResNet18, 34, & 50) on three small datasets (steel microstructures, bee images, and geographic aerial images) with a free cloud GPU. Based on three training regimes of i) not, ii) gradually or iii) in one step increasing image size over the training process, we show that initially reducing image size increases training efficiency consistently across datasets and networks. We interpret these results mechanistically in the framework of regularization theory. Support for the ENTR hypothesis is an important contribution, because network efficiency improvements for image recognition tasks are needed for practical applications. In the future, it will be exciting to see how the ENTR hypothesis holds for large standard datasets like ImageNet or CIFAR, to better understand the underlying mechanisms, and how these results compare to other fields such as structural learning.

研究动机与目标

• 探究减小初始训练图像尺寸是否能提升图像识别任务的训练效率。
• 评估图像尺寸调度策略对不同小型数据集上模型准确率和推理时间的影响。
• 通过正则化理论探索效率提升的机制基础。
• 评估ENTR在资源受限环境（如小型设备和免费云GPU）中的可行性和优势。
• 在标准大规模数据集之外，为ENTR假设提供实证验证。

提出的方法

• 在三个小型数据集（钢微结构、蜜蜂图像、航空地理空间图像）上微调预训练的ResNet18、ResNet34和ResNet50模型。
• 实施三种训练方案：(i) 图像尺寸不变，(ii) 逐步增大图像尺寸，(iii) 从小型到大型图像的一次性跳跃式增大。
• 使用Google Colaboratory的免费云GPU模拟资源受限的训练环境。
• 通过准确率、收敛速度和总推理时间来衡量训练效率。
• 通过正则化理论分析结果，解释观察到的性能提升。
• 比较不同图像尺寸调度策略下的性能表现，以隔离初始小规模训练的影响。

实验结果

研究问题

• RQ1 在初始阶段对CNN使用较小图像进行训练，是否能在准确率和推理时间方面实现更高效的训练？
• RQ2 图像尺寸调度策略（逐步增大 vs. 一次性增大）如何影响模型收敛和性能？
• RQ3 ENTR方法中观察到的效率提升背后的机制是什么？
• RQ4 ENTR假设在材料科学、地球科学和环境科学等不同小型数据集上的表现如何？
• RQ5 未来工作能否将ENTR方法推广至ImageNet或CIFAR等标准数据集？

主要发现

• ENTR方法——即先在小图像上训练，再逐步增大图像尺寸——在所有测试的ResNet架构和数据集中均一致提升了训练效率。
• 与全尺寸训练相比，初始使用小图像尺寸训练的模型在准确率更高且推理时间显著减少。
• 逐步增大图像尺寸的策略优于一次性增大，表明其具有更平滑的优化轨迹。
• 该提升归因于隐式正则化，即早期小规模训练可稳定学习过程并减少过拟合。
• 该方法在免费云GPU上也表现有效，证明其在低资源环境中的实际可行性。
• 结果支持该假设：初始小图像训练作为一种归纳偏差，可增强泛化能力和训练效率。