[论文解读] Rethinking Channel Dimensions for Efficient Model Design

Dongyoon Han, Sangdoo Yun+2 more|arXiv (Cornell University)|Jul 2, 2020

Advanced Neural Network Applications参考文献 81被引用 13

一句话总结

本文提出了一种线性、基于层索引的通道配置方法，用于高效神经网络设计，替代传统的分阶段通道扩展方式。通过分析特征秩并在FLOP约束下进行搜索，作者表明，这种简单的重参数化方法显著提升了ImageNet和迁移任务上的准确率，优于当前最先进模型（包括基于NAS和EfficientNet的变体），且参数量和FLOPs更少。

ABSTRACT

Designing an efficient model within the limited computational cost is challenging. We argue the accuracy of a lightweight model has been further limited by the design convention: a stage-wise configuration of the channel dimensions, which looks like a piecewise linear function of the network stage. In this paper, we study an effective channel dimension configuration towards better performance than the convention. To this end, we empirically study how to design a single layer properly by analyzing the rank of the output feature. We then investigate the channel configuration of a model by searching network architectures concerning the channel configuration under the computational cost restriction. Based on the investigation, we propose a simple yet effective channel configuration that can be parameterized by the layer index. As a result, our proposed model following the channel parameterization achieves remarkable performance on ImageNet classification and transfer learning tasks including COCO object detection, COCO instance segmentation, and fine-grained classifications. Code and ImageNet pretrained models are available at https://github.com/clovaai/rexnet.

研究动机与目标

• 探究传统的分阶段通道配置是否限制了轻量级网络的模型准确率。
• 在固定计算成本下，识别出一种更有效的通道配置以提升性能。
• 开发一种可泛化于不同模型架构和任务的参数化通道配置方法。
• 在ImageNet和下游迁移学习任务上验证所提配置的有效性。

提出的方法

• 作者通过分析输出特征的秩来估计层的表达能力，使用随机生成网络的平均秩来指导通道扩展设计。
• 在FLOP约束下进行网络架构搜索，重点在于通道配置而非模块结构搜索。
• 发现最优通道配置为块索引的线性函数，随后用于参数化整个网络。
• 所提出的ReXNet模型将此线性通道参数化应用于MobileNetV2，实现了高效且准确的网络设计。
• 通过消融实验、秩可视化以及在COCO和细粒度数据集上的迁移学习验证了该方法。
• 在固定深度和FLOP约束下重复搜索过程，确认了线性配置在不同计算预算下的鲁棒性。

实验结果

研究问题

• RQ1 尽管计算效率高，传统的分阶段通道配置是否仍限制了轻量级模型的准确率？
• RQ2 能否通过特征秩分析与架构搜索发现更优的通道配置？
• RQ3 以块索引为自变量的线性函数是否比分段常数或分阶段配置更优的通道维度参数化方式？
• RQ4 所提出的通道配置如何通过特征秩衡量提升模型表达能力？
• RQ5 该配置能否使模型在ImageNet上达到最先进性能，并成功迁移至目标检测和细粒度分类等下游任务？

主要发现

• 所提出的ReXNet采用线性通道参数化，在ImageNet上达到77.6%的top-1准确率，优于EfficientNet-B0（77.3%）及其他基于NAS的模型。
• ReXNet（×1.0）在Food-101、Stanford Cars、FGVC Aircraft和Oxford Flowers-102上的微调性能超越ResNet50，尽管参数量仅为后者的1/5。
• 在COCO实例分割任务上，ReXNet（×0.9）相比EfficientNet-B0在mask AP上提升+0.6pp，在bbox AP上提升+0.5pp，且参数更少、FLOPs更低。
• ReXNet（×2.2）相比ResNet50在mask AP上提升+3.2pp，在bbox AP上提升+3.5pp，同时降低计算复杂度。
• 秩可视化结果表明，ReXNet的核范数更高，奇异值更大，表明其模型表达能力更强。
• 在固定深度和FLOP约束下进行的架构搜索始终将线性通道配置列为最优方案，证实了该方法的鲁棒性。