[论文解读] Neural Architecture Search for Lightweight Non-Local Networks

Yingwei Li, Xiaojie Jin+8 more|arXiv (Cornell University)|Apr 4, 2020

Advanced Neural Network Applications参考文献 50被引用 4

一句话总结

该论文提出AutoNL，一种通过可微神经架构搜索优化轻量级非局部（LightNL）模块在移动端神经网络中位置与配置的方法。相比标准非局部模块，其计算量降低400倍，并支持端到端搜索，最终在350M FLOPs下实现77.7%的ImageNet top-1准确率，超越MobileNetV3、MnasNet和FBNet，且FLOPs更低、搜索速度更快（仅需32 GPU小时）。

ABSTRACT

Non-Local (NL) blocks have been widely studied in various vision tasks. However, it has been rarely explored to embed the NL blocks in mobile neural networks, mainly due to the following challenges: 1) NL blocks generally have heavy computation cost which makes it difficult to be applied in applications where computational resources are limited, and 2) it is an open problem to discover an optimal configuration to embed NL blocks into mobile neural networks. We propose AutoNL to overcome the above two obstacles. Firstly, we propose a Lightweight Non-Local (LightNL) block by squeezing the transformation operations and incorporating compact features. With the novel design choices, the proposed LightNL block is 400x computationally cheaper} than its conventional counterpart without sacrificing the performance. Secondly, by relaxing the structure of the LightNL block to be differentiable during training, we propose an efficient neural architecture search algorithm to learn an optimal configuration of LightNL blocks in an end-to-end manner. Notably, using only 32 GPU hours, the searched AutoNL model achieves 77.7% top-1 accuracy on ImageNet under a typical mobile setting (350M FLOPs), significantly outperforming previous mobile models including MobileNetV2 (+5.7%), FBNet (+2.8%) and MnasNet (+2.1%). Code and models are available at https://github.com/LiYingwei/AutoNL.

研究动机与目标

• 为解决非局部（NL）模块在移动端视觉系统中计算成本过高的问题，该问题限制了其在资源受限环境中的部署。
• 克服在移动端神经网络中手动选择NL模块最优位置与配置的挑战，因复杂度过高而难以实现。
• 设计一种与搜索兼容、计算高效的NL模块，在显著降低FLOPs的同时保持性能。
• 开发一种可微神经架构搜索算法，以端到端方式联合优化LightNL模块的放置位置、通道采样率与空间步长。
• 在移动端设置下实现ImageNet上的最先进性能，同时最小化搜索成本与FLOP预算。

提出的方法

• 提出一种轻量级非局部（LightNL）模块，用深度可分离卷积和小型紧凑操作替代重计算操作（如全矩阵乘法和标准1×1卷积）。
• 引入LightNL模块结构的可微松弛，支持基于梯度的优化，实现对离散选择（如通道采样率25%或12.5%，空间步长1或2）的优化。
• 构建一个可微搜索空间，每个潜在插入点包含五种候选配置：LightNL是否存在、通道采样、空间采样。
• 采用多目标损失函数，结合交叉熵与计算成本，引导搜索过程在高准确率与低FLOPs之间取得平衡。
• 在单次前向传播中复用中间亲和矩阵，用于多个候选配置，减少冗余计算，加速搜索过程。
• 在ImageNet上以MobileNetV2模块为基干架构，执行端到端搜索，联合优化深度乘数、扩展比与SE模块比例。

实验结果

研究问题

• RQ1 能否设计出计算效率足够高、可在移动端设备上部署而不损失性能的非局部模块？
• RQ2 在移动端神经网络中插入非局部模块的最优配置（位置、通道采样率、空间步长）是什么？
• RQ3 可微神经架构搜索能否有效用于联合优化轻量级非局部模块的结构与放置？
• RQ4 在相同FLOP预算下，NAS优化的LightNL模块模型性能与手工设计的移动端模型及其他NAS模型相比如何？
• RQ5 能否在保持高质量模型发现能力的前提下，加速搜索过程？

主要发现

• 所提出的LightNL模块相比标准非局部模块计算量降低400倍，同时保持性能，使其具备移动端部署可行性。
• AutoNL-S在仅267M FLOPs下实现76.5%的ImageNet top-1准确率，优于MobileNetV3（356M FLOPs下76.6%准确率），FLOPs减少25%。
• AutoNL-L在353M FLOPs下实现77.7%的top-1准确率，相比MobileNetV3提升1.1%，相比FBNet提升2.8%，且FLOP成本相近。
• AutoNL-L相比EfficientNet-B0提升1.4%的top-1准确率，同时FLOPs减少10%，展现出更优的效率-准确率权衡。
• 搜索过程仅耗时32 GPU小时，相比MixNet所需的91,000 GPU小时快2,800倍，且准确率更高。
• 在极低FLOP设置下（如192×192输入、0.5深度乘数），AutoNL-S实现69.6%的top-1准确率，较MobileNetV2高5.7%，较FBNet高3.7%。