[论文解读] MUXConv: Information Multiplexing in Convolutional Neural Networks

Zhichao Lu, Kalyanmoy Deb+1 more|arXiv (Cornell University)|Mar 31, 2020

Advanced Neural Network Applications参考文献 51被引用 5

一句话总结

MUXConv 引入了一种新型卷积层，通过空间和通道复用提升空间与通道维度之间的信息流动，从而实现高效、紧凑且精确的模型。MUXNets 基于 MUXConv 构建，并通过多目标进化算法搜索得到，其在 ImageNet 上达到与 MobileNetV3 相当的精度（75.3% top-1）和 FLOPs（218M），但模型尺寸缩小为 1.6 倍，且在 ImageNet、ChestX-Ray14 和 PASCAL VOC 2007 上的精度、效率和紧凑性方面均优于其他移动端模型。

ABSTRACT

Convolutional neural networks have witnessed remarkable improvements in computational efficiency in recent years. A key driving force has been the idea of trading-off model expressivity and efficiency through a combination of $1 imes 1$ and depth-wise separable convolutions in lieu of a standard convolutional layer. The price of the efficiency, however, is the sub-optimal flow of information across space and channels in the network. To overcome this limitation, we present MUXConv, a layer that is designed to increase the flow of information by progressively multiplexing channel and spatial information in the network, while mitigating computational complexity. Furthermore, to demonstrate the effectiveness of MUXConv, we integrate it within an efficient multi-objective evolutionary algorithm to search for the optimal model hyper-parameters while simultaneously optimizing accuracy, compactness, and computational efficiency. On ImageNet, the resulting models, dubbed MUXNets, match the performance (75.3% top-1 accuracy) and multiply-add operations (218M) of MobileNetV3 while being 1.6$ imes$ more compact, and outperform other mobile models in all the three criteria. MUXNet also performs well under transfer learning and when adapted to object detection. On the ChestX-Ray 14 benchmark, its accuracy is comparable to the state-of-the-art while being $3.3 imes$ more compact and $14 imes$ more efficient. Similarly, detection on PASCAL VOC 2007 is 1.2% more accurate, 28% faster and 6% more compact compared to MobileNetV2. Code is available from https://github.com/human-analysis/MUXConv

研究动机与目标

• 为解决深度可分离卷积和 1×1 卷积中空间与通道交互被解耦导致的信息流动欠佳问题。
• 设计一种计算高效的卷积层，以恢复并增强跨通道与空间的特征交互。
• 开发一种多目标神经架构搜索（NAS）框架，联合优化精度、模型紧凑性和计算效率。
• 在 ImageNet、ChestX-Ray14、PASCAL VOC 2007 和 ADE20K 等多样化基准上评估 MUXNets 在迁移学习和语义分割任务中的表现。
• 证明在移动端 CNN 设计中，紧凑性无需以牺牲效率和精度为代价。

提出的方法

• MUXConv 通过空间重排与逆重排实现空间复用，在应用深度可分离或分组卷积前提取多尺度特征。
• 通道复用采用受 ShuffleNet 启发的通道重排机制，实现跨通道信息流动，克服深度可分离卷积的局限性。
• 该层将深度可分离/分组卷积与可学习的重排操作相结合，在保持计算效率的同时提升表征能力。
• 采用基于种群的多目标进化算法搜索 MUXConv 的最优超参数（分组因子 G 和丢弃率 L），同时优化精度、FLOPs 和模型大小。
• 搜索过程将多目标问题分解为单目标子问题，协同求解以提升效率与收敛性。
• 最终得到的 MUXNets 在图像分类、目标检测、语义分割和迁移学习等任务上，在多个基准上进行了评估。

实验结果

研究问题

• RQ1 能否设计一种卷积层，在不增加计算成本的前提下，改善空间与通道维度之间的信息流动？
• RQ2 是否可能在保持显著更小模型尺寸的同时，实现在移动端 CNN 中最先进的精度与效率？
• RQ3 多目标 NAS 框架能否有效平衡移动端模型设计中的精度、紧凑性与计算效率？
• RQ4 与先前的移动端模型相比，MUXNet 在分布偏移和模型鲁棒性评估下的表现如何？
• RQ5 MUXNets 在迁移学习和语义分割等密集预测任务中的泛化能力达到何种程度？

主要发现

• 在 ImageNet 上，MUXNet 实现 75.3% top-1 精度和 218M FLOPs，与 MobileNetV3 相当，但模型尺寸缩小为 1.6 倍。
• 在 ChestX-Ray14 上，MUXNet 实现了最先进的精度，且相比先前模型更紧凑 3.3 倍，计算效率提升 14 倍。
• 在 PASCAL VOC 2007 目标检测任务中，MUXNet 比 MobileNetV2 更准确 1.2%，推理速度提升 28%，模型更小 6%。
• 在 ADE20K 语义分割任务中，MUXNet-m 搭配 PPM 头实现 35.80% mIoU 和 0.2B FLOPs，效率优于 MobileNetV2，同时保持具有竞争力的精度。
• 在 ImageNet-V2 和 ImageNet-C 上，MUXNet-m 展现出强大的泛化能力与鲁棒性，在分布偏移和数据损坏下均保持有竞争力的性能。
• 定性分析表明，MUXNet-m 在 ChestX-Ray14 上学习到具有判别性的、与类别相关的激活图，与真实标注区域一致。