[论文解读] Speeding Up EfficientNet: Selecting Update Blocks of Convolutional Neural Networks using Genetic Algorithm in Transfer Learning

Md. Mehedi Hasana, Muhammad Ibrahim+1 more|arXiv (Cornell University)|Mar 1, 2023

Advanced Neural Network Applications被引用 5

一句话总结

本文提出一种遗传算法，用于在迁移学习中自动选择 EfficientNet 中最优的层块组合，从而在保持或提升准确率的同时减少训练时间。通过将网络块视为优化单元，并利用 OTDD 测量块的重要性，该方法在参数可训练量更少的情况下实现了更快的收敛速度。

ABSTRACT

The performance of convolutional neural networks (CNN) depends heavily on their architectures. Transfer learning performance of a CNN relies quite strongly on selection of its trainable layers. Selecting the most effective update layers for a certain target dataset often requires expert knowledge on CNN architecture which many practitioners do not posses. General users prefer to use an available architecture (e.g. GoogleNet, ResNet, EfficientNet etc.) that is developed by domain experts. With the ever-growing number of layers, it is increasingly becoming quite difficult and cumbersome to handpick the update layers. Therefore, in this paper we explore the application of genetic algorithm to mitigate this problem. The convolutional layers of popular pretrained networks are often grouped into modules that constitute their building blocks. We devise a genetic algorithm to select blocks of layers for updating the parameters. By experimenting with EfficientNetB0 pre-trained on ImageNet and using Food-101, CIFAR-100 and MangoLeafBD as target datasets, we show that our algorithm yields similar or better results than the baseline in terms of accuracy, and requires lower training and evaluation time due to learning less number of parameters. We also devise a metric called block importance to measure efficacy of each block as update block and analyze the importance of the blocks selected by our algorithm.

研究动机与目标

• 为解决在深度网络（如 EfficientNet）中手动选择有效层进行微调的挑战，特别是在迁移学习中的应用。
• 通过选择整组层块而非单个层来更新参数，减少训练时间与计算成本。
• 利用遗传算法自动化选择过程，消除对卷积神经网络架构专家知识的依赖。
• 提出一种基于 OTDD 的块重要性度量方法，用于评估并指导有效网络块的选择。
• 在包括 Food-101、CIFAR-100 和 MangoLeafBD 在内的多样化数据集上，验证块级选择的有效性。

提出的方法

• 该方法使用遗传算法演化层块配置的种群，其中每个个体代表在 EfficientNetB0 中需微调的一组块。
• 每个染色体编码一个二进制向量，表示在迁移学习过程中哪些块被选中用于参数更新。
• 基于在目标数据集上训练后的验证准确率评估适应度，并采用早停策略以减少计算开销。
• 算法引入一种基于 OTDD（最优传输数据集距离）的块重要性度量，用于评估每个块对特征学习的贡献。
• 根据 EfficientNet 的架构结构对块进行分组，将残差块视为可选择的基本单元。
• 该方法在三个数据集上进行评估：Food-101、CIFAR-100 和 MangoLeafBD，以 ImageNet 预训练的 EfficientNetB0 作为基础模型。

实验结果

研究问题

• RQ1 遗传算法能否有效选择 EfficientNet 中的层块用于迁移学习，从而在不损失准确率的前提下减少训练时间？
• RQ2 与标准的层级微调相比，块级选择在准确率和训练效率方面表现如何？
• RQ3 基于 OTDD 的块重要性度量与迁移学习中的实际性能之间相关性如何？
• RQ4 该方法在具有不同复杂度和领域特征的多样化数据集上是否具备泛化能力？
• RQ5 所选块是否可根据其位置和重要性得分被解释为具有有意义的特征学习作用？

主要发现

• 所提出的遗传算法在所有三个目标数据集（Food-101、CIFAR-100 和 MangoLeafBD）上的准确率与标准微调相当或更高。
• 该方法显著减少了可训练参数数量，从而加快了训练和推理速度。
• 基于 OTDD 的块重要性度量成功识别出高性能块，所选块与性能提升之间表现出强相关性。
• EfficientNetB0 的中后阶段块被持续选为更新候选，表明其在目标任务中学习判别性特征方面发挥关键作用。
• 该算法在图像复杂度和类别分布各异的数据集上表现出鲁棒性，表明其具备良好的泛化潜力。
• 块级选择方法通过仅聚焦于网络总块数的 30–50% 进行参数更新，显著降低了计算开销，且未造成性能下降。