[论文解读] SM-NAS: Structural-to-Modular Neural Architecture Search for Object Detection

Lewei Yao, Hang Xu+3 more|arXiv (Cornell University)|Nov 22, 2019

Advanced Neural Network Applications参考文献 55被引用 14

一句话总结

SM-NAS 提出了一种两阶段、多目标的神经架构搜索框架，联合优化目标检测中的模块组合与单个模块架构，在检测数据集上直接从零开始搜索，无需 ImageNet 预训练，实现了最先进的速度-精度权衡。其在 COCO 上相比 FPN 和 Mask R-CNN 等 SOTA 模型，将推理时间减半的同时 mAP 提升 1%，并在相似延迟下达到 46% mAP。

ABSTRACT

The state-of-the-art object detection method is complicated with various modules such as backbone, feature fusion neck, RPN and RCNN head, where each module may have different designs and structures. How to leverage the computational cost and accuracy trade-off for the structural combination as well as the modular selection of multiple modules? Neural architecture search (NAS) has shown great potential in finding an optimal solution. Existing NAS works for object detection only focus on searching better design of a single module such as backbone or feature fusion neck, while neglecting the balance of the whole system. In this paper, we present a two-stage coarse-to-fine searching strategy named Structural-to-Modular NAS (SM-NAS) for searching a GPU-friendly design of both an efficient combination of modules and better modular-level architecture for object detection. Specifically, Structural-level searching stage first aims to find an efficient combination of different modules; Modular-level searching stage then evolves each specific module and pushes the Pareto front forward to a faster task-specific network. We consider a multi-objective search where the search space covers many popular designs of detection methods. We directly search a detection backbone without pre-trained models or any proxy task by exploring a fast training from scratch strategy. The resulting architectures dominate state-of-the-art object detection systems in both inference time and accuracy and demonstrate the effectiveness on multiple detection datasets, e.g. halving the inference time with additional 1% mAP improvement compared to FPN and reaching 46% mAP with the similar inference time of MaskRCNN.

研究动机与目标

• 为解决现有 NAS 方法仅聚焦于单一组件（如主干网络或颈部结构）而缺乏对完整检测流程的整体优化问题。
• 开发一种从粗到精的搜索策略，首先识别高效的模块组合，然后对单个模块进行演化以提升性能。
• 实现在检测数据集上直接从零开始训练，无需依赖 ImageNet 预训练或代理任务。
• 通过联合考虑输入尺寸、模块组合与内部架构，实现在真实硬件上的最优速度-精度权衡。
• 展示所搜索架构在 COCO、VOC 和 BDD 等多样化数据集上的可迁移性与鲁棒性。

提出的方法

• 两阶段搜索流程：第一阶段为结构级搜索，用于识别最优模块组合（主干、颈部、RPN、检测头）与输入尺寸；第二阶段为模块级搜索，用于演化单个组件。
• 多目标 NAS 方法，同时优化推理延迟与 mAP，获得高效且任务特定的 Pareto 前沿设计。
• 采用带部分顺序剪枝（Partial Order Pruning）的进化算法，高效探索大规模搜索空间。
• 分布式训练系统，用于并行化与加速搜索过程。
• 提出一种新型训练策略，结合组归一化、权重标准化、更大的批量大小与更高的初始学习率，以有效实现从零开始训练检测网络。
• 在检测数据集（COCO、VOC、BDD）上直接进行搜索，无需 ImageNet 预训练，实现任务特定的架构优化。

实验结果

研究问题

• RQ1 是否能够通过联合优化模块组合与内部架构的整体 NAS 框架，在目标检测中超越仅针对组件的搜索方法？
• RQ2 是否可行通过一种避免使用 ImageNet 预训练与代理任务的搜索策略，实现检测网络从零开始的有效训练？
• RQ3 在实时目标检测中，输入尺寸、模块组合与内部架构设计如何共同影响速度-精度权衡？
• RQ4 在某一数据集（如 COCO）上搜索得到的架构，能在多大程度上泛化到其他数据集（如 VOC、BDD）？
• RQ5 在 Pareto 最优检测器中，会涌现出哪些架构模式？在 FLOPs 约束下，深度、宽度与通道分布如何与 mAP 相关联？

主要发现

• SM-NAS 在 COCO 上相比 FPN 实现了 1% 的 mAP 提升，同时将推理时间减半，展现出更优的速度-精度权衡。
• E2 模型在与 Mask R-CNN 相当的推理延迟下达到 46% mAP，同时在速度与精度上均优于 Mask R-CNN。
• 在 Pascal VOC 上，E0 将推理时间减少 44%（21.5ms vs. 38.4ms），同时将 mAP 从 80.4% 提升至 81.4%。
• 在 BDD 上，E3 的推理速度比使用 ResNet-101 的 FPN 快 17.4ms，mAP 从 36.9% 提升至 39.6%。
• 搜索过程表明，最优架构在 FLOPs 约束下倾向于在早期阶段采用更浅的深度与更高的通道容量，而在高层阶段则采用更长的结构。
• 采用组归一化、权重标准化、更大的批量大小与更高的学习率的训练策略，可实现从零开始的有效训练，在 COCO 上仅用 16 个周期即达到 37.5% mAP。