[论文解读] OPANAS: One-Shot Path Aggregation Network Architecture Search for Object Detection

Tingting Liang, Yongtao Wang+3 more|arXiv (Cornell University)|Mar 8, 2021

Advanced Neural Network Applications参考文献 33被引用 5

一句话总结

OPANAS 提出了一种用于目标检测的一次性神经架构搜索框架，设计了一种新型的密集连接搜索空间，包含六种异构信息路径（自顶向下、自底向上、融合-分裂、尺度均衡、跳跃连接、无），以发现最优的特征金字塔网络（FPNs）。通过采用公平采样和边重要性加权训练超网络，并利用进化算法搜索最优子网络，OPANAS 仅用 4 个 GPU 天的搜索成本，在 MS-COCO 上实现了 52.2% mAP 的最先进精度（7.6 FPS），在效率和精度上均优于以往的 NAS 方法。

ABSTRACT

Recently, neural architecture search (NAS) has been exploited to design feature pyramid networks (FPNs) and achieved promising results for visual object detection. Encouraged by the success, we propose a novel One-Shot Path Aggregation Network Architecture Search (OPANAS) algorithm, which significantly improves both searching efficiency and detection accuracy. Specifically, we first introduce six heterogeneous information paths to build our search space, namely top-down, bottom-up, fusing-splitting, scale-equalizing, skip-connect and none. Second, we propose a novel search space of FPNs, in which each FPN candidate is represented by a densely-connected directed acyclic graph (each node is a feature pyramid and each edge is one of the six heterogeneous information paths). Third, we propose an efficient one-shot search method to find the optimal path aggregation architecture, that is, we first train a super-net and then find the optimal candidate with an evolutionary algorithm. Experimental results demonstrate the efficacy of the proposed OPANAS for object detection: (1) OPANAS is more efficient than state-of-the-art methods (e.g., NAS-FPN and Auto-FPN), at significantly smaller searching cost (e.g., only 4 GPU days on MS-COCO); (2) the optimal architecture found by OPANAS significantly improves main-stream detectors including RetinaNet, Faster R-CNN and Cascade R-CNN, by 2.3-3.2 % mAP comparing to their FPN counterparts; and (3) a new state-of-the-art accuracy-speed trade-off (52.2 % mAP at 7.6 FPS) at smaller training costs than comparable state-of-the-arts. Code will be released at https://github.com/VDIGPKU/OPANAS.

研究动机与目标

• 为解决现有基于 NAS 的 FPN 在目标检测中效率低下且适应性有限的问题，这些方法通常需要过多计算资源，或仅针对特定训练设置设计。
• 设计一个更丰富、更灵活的 FPN 搜索空间，支持超越简单链式聚合的多样化信息流动模式。
• 开发一种高效的单次 NAS 方法，实现快速且准确地发现最优 FPN 架构，并在不同检测器之间具备强泛化能力。
• 提升超网络性能与实际子网络精度之间的相关性，确保架构搜索的可靠性。

提出的方法

• 搜索空间被定义为一个密集连接的有向无环图（DAG），其中每个节点代表一个特征金字塔层级，每条边对应六种异构信息路径中的一种：自顶向下、自底向上、融合-分裂、尺度均衡、跳跃连接和无。
• 设计了四种带参数的路径（自顶向下、自底向上、融合-分裂、尺度均衡）和两种无参路径（跳跃连接、无），以实现丰富、可解释且高效的特征聚合。
• 通过公平采样和边重要性加权训练超网络，以稳定训练过程并提升超网络与子网络性能之间的相关性。
• 采用进化算法从训练好的超网络中搜索最优子网络，实现对架构空间的全局探索。
• 该方法采用单次范式：仅需一次训练超网络，随后无需重新训练即可搜索最优架构。

Figure 1: Different FPN architectures: (a) FPN [ 17 ] , (b) PANet [ 21 ] , (c) Libra R-CNN [ 23 ] , (d) SEPC-Neck [ 28 ] , (e) BiFPN [ 25 ] , and (f) our searched optimal FPN.

实验结果

研究问题

• RQ1 是否一个具有更丰富、密集连接的 FPN 搜索空间的一次性 NAS 框架，能在准确率和效率上均超越现有基于 NAS 的 FPN？
• RQ2 引入多种异构信息路径（如自顶向下、自底向上、融合-分裂）对最终 FPN 架构的性能有何影响？
• RQ3 边重要性加权与公平采样在多大程度上提升了单次 NAS 中超网络排序的可靠性？
• RQ4 所提方法是否能在显著降低搜索成本的前提下，实现目标检测中准确率-速度的 SOTA 平衡？

主要发现

• OPANAS 在 MS-COCO 上实现了 52.2% mAP 的精度，推理速度达 7.6 FPS，创下基于 FPN 检测器的最先进准确率-速度平衡记录。
• 该方法将 MS-COCO 上的搜索成本降低至仅 4 个 GPU 天，显著低于 NAS-FPN 和 Auto-FPN 等先前方法。
• OPANAS 在 RetinaNet、Faster R-CNN 和 Cascade R-CNN 上分别比其 FPN 对应模型提升了 2.3–3.2% mAP，展现出强大的泛化能力。
• 所搜索到的架构在 COCO minival 上实现 39.6% mAP，仅需 197G FLOPs 和 3550 万参数，优于相同搜索空间下的 SPOS（38.4%）、DARTS（39.1%）和 Fair DARTS（39.4%）。
• 在采用公平采样和边重要性加权后，超网络与子网络性能的相关性达到 0.6145，显著提升了标准单次 NAS 中的可靠性。

Figure 2: 1. Single-path FPN super-net from SPOS search space [ 12 ] . 2. Our OPANAS: (a) super-net training, i.e. , the optimization of super-net weights; (b) optimal sub-net search with an evolutionary algorithm; (c) the searched optimal architecture. Note that two information paths (skip-connect