[论文解读] NAS-FCOS: Fast Neural Architecture Search for Object Detection

Ning Wang, Yang Gao+5 more|arXiv (Cornell University)|Jun 11, 2019

Advanced Neural Network Applications参考文献 33被引用 25

一句话总结

该论文提出NAS-FCOS，一种用于目标检测的快速且内存高效的神经架构搜索框架，通过定制的强化学习范式优化无锚点FCOS检测器的特征金字塔网络（FPN）和预测头。通过采用轻量级代理任务、渐进式搜索和判别性评估，仅用8块V100 GPU在4天内即发现SOTA架构，在FLOPs和内存相当的情况下，COCO数据集上相比现有模型实现1.5–3.5 AP的提升。

ABSTRACT

The success of deep neural networks relies on significant architecture engineering. Recently neural architecture search (NAS) has emerged as a promise to greatly reduce manual effort in network design by automatically searching for optimal architectures, although typically such algorithms need an excessive amount of computational resources, e.g., a few thousand GPU-days. To date, on challenging vision tasks such as object detection, NAS, especially fast versions of NAS, is less studied. Here we propose to search for the decoder structure of object detectors with search efficiency being taken into consideration. To be more specific, we aim to efficiently search for the feature pyramid network (FPN) as well as the prediction head of a simple anchor-free object detector, namely FCOS, using a tailored reinforcement learning paradigm. With carefully designed search space, search algorithms and strategies for evaluating network quality, we are able to efficiently search a top-performing detection architecture within 4 days using 8 V100 GPUs. The discovered architecture surpasses state-of-the-art object detection models (such as Faster R-CNN, RetinaNet and FCOS) by 1.5 to 3.5 points in AP on the COCO dataset, with comparable computation complexity and memory footprint, demonstrating the efficacy of the proposed NAS for object detection.

研究动机与目标

• 为解决现有神经架构搜索（NAS）方法在目标检测中，尤其是复杂多头架构下的高计算成本和低效问题。
• 在保持高精度的前提下，减少搜索时间和内存使用，以搜索最优FPN和预测头结构，适用于单阶段目标检测器。
• 开发一种代理训练方案，避免完整主干网络微调，实现在不牺牲搜索质量的前提下加快评估速度。
• 展示所搜索架构在多种主干网络（如MobileNetV2、ResNet、ResNeXt）上的有效性与泛化能力，实现一致的AP提升。

提出的方法

• 设计一种轻量级代理任务，跳过主干网络微调，显著降低评估时间，同时与完整COCO训练性能保持强相关性。
• 采用基于验证损失的强化学习搜索策略，其奖励函数在早期搜索阶段表现出优于直接使用AP作为奖励的收敛性。
• 构建渐进式搜索策略，先搜索FPN（f），再联合搜索FPN与头（f + h），有效减少搜索空间膨胀，提升效率。
• 定义一个包含标准卷积和可变形卷积的搜索空间，用于FPN和头，实现架构多样性，同时保持计算可行性。
• 以简化版无锚点单阶段检测器（FCOS）作为基础框架，降低复杂度，加速搜索过程中的训练。
• 引入判别性评估标准，优先选择在小验证集上表现优异的架构，从而减少搜索中的误报。

实验结果

研究问题

• RQ1 能否在不依赖完整训练评估的前提下，通过快速且内存高效的NAS框架，有效搜索出高性能的FPN与预测头架构？
• RQ2 使用验证损失作为代理奖励，与直接使用AP作为奖励相比，在搜索收敛性和最终模型精度方面有何差异？
• RQ3 与从一开始就联合搜索相比，渐进式搜索（先FPN后头）在搜索效率和性能方面提升程度如何？
• RQ4 可变形卷积和头模块中的参数共享在所搜索架构中对性能提升的贡献有多大？
• RQ5 所发现的架构是否能在不同主干网络（如ResNet、MobileNetV2）上实现良好泛化，同时保持一致的AP提升？

主要发现

• NAS-FCOS仅用8块V100 GPU在4天内即发现性能最优的目标检测架构，在COCO数据集上相比Faster R-CNN、RetinaNet和FCOS等SOTA模型实现1.5–3.5 AP的提升。
• 搜索过程在图6中显示代理任务奖励与最终COCO AP之间具有强相关性，验证了所提代理评估方案的有效性。
• 使用验证损失作为强化学习奖励时，性能提升趋势稳定且清晰；而直接使用AP作为奖励则在早期搜索轮次中表现出较差的收敛性。
• 联合搜索FPN与头（f + h）可获得最佳性能（ResNet-50下AP = 39.8），优于分步搜索和DeformFPN-FCOS基线（AP = 38.4）。
• 所搜索架构在不同主干网络上泛化良好：NAS-FCOS搭配ResNeXt-101时，相比NAS-FPN实现1.3 AP的提升，且仅消耗1/3的FLOPs。
• FPN通道数为128、头通道数为256的模型在性能与推理成本之间实现了良好的准确率-计算权衡。