[论文解读] Rethinking Bottleneck Structure for Efficient Mobile Network Design

Daquan Zhou, Qibin Hou+3 more|arXiv (Cornell University)|Jul 5, 2020

COVID-19 diagnosis using AI参考文献 43被引用 14

一句话总结

该论文提出了一种新颖的沙漏模块架构，通过在高维特征空间中应用深度可分离卷积，并在高维表示之间使用捷径连接，重新思考了高效移动端网络中的瓶颈设计。该方法在 ImageNet 上实现了 74.02% 的 top-1 准确率，参数量为 3.5M，浮点运算量为 300M FLOPs，性能优于各类变体和 MobileNetV2，准确率提升超过 1.7 个百分点，同时保持了高效性。

ABSTRACT

The inverted residual block is dominating architecture design for mobile networks recently. It changes the classic residual bottleneck by introducing two design rules: learning inverted residuals and using linear bottlenecks. In this paper, we rethink the necessity of such design changes and find it may bring risks of information loss and gradient confusion. We thus propose to flip the structure and present a novel bottleneck design, called the sandglass block, that performs identity mapping and spatial transformation at higher dimensions and thus alleviates information loss and gradient confusion effectively. Extensive experiments demonstrate that, different from the common belief, such bottleneck structure is more beneficial than the inverted ones for mobile networks. In ImageNet classification, by simply replacing the inverted residual block with our sandglass block without increasing parameters and computation, the classification accuracy can be improved by more than 1.7% over MobileNetV2. On Pascal VOC 2007 test set, we observe that there is also 0.9% mAP improvement in object detection. We further verify the effectiveness of the sandglass block by adding it into the search space of neural architecture search method DARTS. With 25% parameter reduction, the classification accuracy is improved by 0.13% over previous DARTS models. Code can be found at: https://github.com/zhoudaquan/rethinking_bottleneck_design.

研究动机与目标

• 解决瓶颈结构在低维特征空间中应用深度可分离卷积导致的移动端网络性能下降问题。
• 探究将深度可分离卷积重新定位到更高维特征表示中是否能改善特征学习和模型准确率。
• 评估在高维特征之间建立捷径连接是否相比标准残差连接能提升性能。
• 证明所提出的沙漏模块在移动端设置下能够超越现有模块（如倒残差块和标准瓶颈块）的性能。

提出的方法

• 提出一种沙漏模块，其顺序与典型瓶颈结构相反：在降低通道维度之前，先在高维特征空间中应用深度可分离卷积。
• 使用两个逐点卷积——一个在深度可分离卷积之前，一个在之后——以保留空间和通道信息。
• 在高维表示之间引入捷径连接，以维持梯度流动和特征完整性。
• 采用改进的残差块结构，将深度可分离卷积置于高维瓶颈中，而非低维瓶颈中。
• 通过在 ImageNet 上对不同卷积位置和捷径配置的变体进行消融实验验证设计。
• 将沙漏模块集成到神经架构搜索（NAS）中，使用 DARTS 替换标准算子，以评估其泛化能力和性能提升。

实验结果

研究问题

• RQ1 与低维空间中的放置相比，在高维特征空间中放置深度可分离卷积是否能提升移动端网络瓶颈的性能？
• RQ2 捷径连接的放置位置——在高维或低维特征之间——如何影响模型准确率和特征表示？
• RQ3 重新设计的瓶颈模块是否能在移动端网络的效率和准确率方面超越标准倒残差块？
• RQ4 在神经架构搜索空间中引入沙漏模块，能在多大程度上提升最终架构的性能和参数效率？

主要发现

• 所提出的沙漏模块在 ImageNet 上实现了 74.02% 的 top-1 准确率，显著优于基线模型 MobileNetV2（72.3%）和所有变体。
• 在低维空间中应用深度可分离卷积的变体（图 S1(a)）准确率下降至 68.90%，证实了高维特征学习的重要性。
• 在瓶颈中增加第二个深度可分离卷积（图 S1(b)）使准确率提升至 70.11%，表明更多空间编码有助于性能提升，但仍不及沙漏模块。
• 即使参数量相近且 FLOPs 更高，将深度可分离卷积移至瓶颈位置的变体（图 S1(c)）仅达到 69.26% 的准确率，表明高维快捷连接更具优势。
• 在基于 DARTS 的 NAS 中集成沙漏模块后，CIFAR-10 上的测试误差降低至 2.98%，参数量仅为 2.45M，优于原始 DARTS 和倒残差变体。
• 消融研究证实，两个关键设计原则——高维快捷连接和高维深度可分离卷积——共同驱动了性能的提升。