[论文解读] Rethinking the Number of Channels for the Convolutional Neural Network

Hui Zhu, Zhulin An+4 more|arXiv (Cornell University)|Sep 4, 2019

Advanced Neural Network Applications参考文献 22被引用 6

一句话总结

本文提出了一种基于函数保持变换的功能增量搜索方法，以高效优化卷积神经网络中的通道数。通过在控制模型参数的前提下快速探索宽度配置，该方法在仅使用0.4–1.3 GPU天计算资源的情况下，在CIFAR-10上提升准确率约0.5%，在CIFAR-100上提升约2.33%，同时参数量更少。

ABSTRACT

Latest algorithms for automatic neural architecture search perform remarkable but few of them can effectively design the number of channels for convolutional neural networks and consume less computational efforts. In this paper, we propose a method for efficient automatic architecture search which is special to the widths of networks instead of the connections of neural architecture. Our method, functionally incremental search based on function-preserving, will explore the number of channels rapidly while controlling the number of parameters of the target network. On CIFAR-10 and CIFAR-100 classification, our method using minimal computational resources (0.4~1.3 GPU-days) can discover more efficient rules of the widths of networks to improve the accuracy by about 0.5% on CIFAR-10 and a~2.33% on CIFAR-100 with fewer number of parameters. In particular, our method is suitable for exploring the number of channels of almost any convolutional neural network rapidly.

研究动机与目标

• 解决现有神经架构搜索（NAS）方法在优化卷积神经网络通道数时效率低下且计算成本过高的问题。
• 开发一种高效探索网络宽度（通道数）而非连接性的方法，实现更快且参数可控的搜索。
• 发现能提升标准基准测试（如CIFAR-10和CIFAR-100）性能的改进型非单调通道宽度规则。
• 验证该方法在ResNet、VGG和PyramidNet等多样化架构上的泛化能力。
• 为最优通道分布模式提供经验性见解，以提升泛化能力和参数效率。

提出的方法

• 提出一种基于函数保持变换的功能增量搜索策略，实现快速且稳定的网络宽度搜索。
• 采用类似Net2Net的知识蒸馏方法，将预训练教师网络的知识迁移至通道数经过修改的学生网络。
• 系统性地以函数等价方式增加或修改通道数，以在搜索过程中保持网络行为不变。
• 采用一种兼顾准确率、参数量和FLOPs的适应度评估函数，引导搜索向高效架构方向发展。
• 将搜索应用于残差块及其他标准模块，使该方法可应用于几乎所有CNN架构。
• 仅使用单张NVIDIA Titan Xp GPU，在极低计算资源下完成搜索，耗时0.4至1.3 GPU天。

实验结果

研究问题

• RQ1 是否可以通过函数保持的搜索方法，在不依赖对连接结构进行昂贵架构搜索的前提下，高效优化CNN的通道数？
• RQ2 在CIFAR-10和CIFAR-100上，提升准确率并减少模型参数量的最优非单调通道宽度模式是什么？
• RQ3 仅聚焦于宽度（通道数）的搜索是否在效率和性能上优于传统NAS方法？
• RQ4 所发现的通道规则是否能在ResNet、VGG和PyramidNet等不同架构间实现泛化？
• RQ5 与标准的递增或金字塔形模式相比，使用波动或递减通道模式是否能带来性能提升？

主要发现

• 所提方法在CIFAR-10上将Top-1准确率提升约0.5%，在CIFAR-100上提升约2.33%，同时减少参数量。
• 搜索过程仅需0.4至1.3 GPU天，相比标准NAS方法显著降低了计算成本。
• 非单调通道宽度模式（如波动或递减宽度）在准确率-参数比方面优于标准的递增或金字塔形模式。
• 该方法成功为ResNet-18、ResNet-34、VGG-16、SE-ResNet-50和PyramidNet-110发现高效通道配置。
• 所发现的ResNet-18和PyramidNet-110通道模式在性能上优于原始模型及基线的递增/递减配置。
• 该方法实现了高效且参数可控的搜索，可直接应用于广泛现有的CNN架构，无需架构重新设计。