[论文解读] SpineNet: Learning Scale-Permuted Backbone for Recognition and Localization

Xianzhi Du, Tsung-Yi Lin+6 more|arXiv (Cornell University)|Dec 10, 2019

Advanced Neural Network Applications参考文献 48被引用 21

一句话总结

SpineNet 提出了一种具有可学习跨尺度连接的尺度置换主干网络架构，通过神经架构搜索（NAS）发现，适用于目标检测与识别任务。其在 COCO 数据集上达到 52.1% AP（无测试时增强），比 ResNet-FPN 提升约 3% AP，同时 FLOPs 减少 10–20%，并在具有挑战性的 iNaturalist 细粒度数据集上将 top-1 准确率提升 5%。

ABSTRACT

Convolutional neural networks typically encode an input image into a series of intermediate features with decreasing resolutions. While this structure is suited to classification tasks, it does not perform well for tasks requiring simultaneous recognition and localization (e.g., object detection). The encoder-decoder architectures are proposed to resolve this by applying a decoder network onto a backbone model designed for classification tasks. In this paper, we argue encoder-decoder architecture is ineffective in generating strong multi-scale features because of the scale-decreased backbone. We propose SpineNet, a backbone with scale-permuted intermediate features and cross-scale connections that is learned on an object detection task by Neural Architecture Search. Using similar building blocks, SpineNet models outperform ResNet-FPN models by ~3% AP at various scales while using 10-20% fewer FLOPs. In particular, SpineNet-190 achieves 52.5% AP with a MaskR-CNN detector and achieves 52.1% AP with a RetinaNet detector on COCO for a single model without test-time augmentation, significantly outperforms prior art of detectors. SpineNet can transfer to classification tasks, achieving 5% top-1 accuracy improvement on a challenging iNaturalist fine-grained dataset. Code is at: https://github.com/tensorflow/tpu/tree/master/models/official/detection.

研究动机与目标

• 解决在目标检测等多尺度识别与定位任务中，传统尺度递减主干网络的局限性。
• 通过在不同尺度间保留空间信息，提升小目标与细粒度识别的特征表示能力。
• 设计一种主干网络架构，通过跨尺度的可学习连接实现高效的多尺度特征融合。
• 证明单一架构可在检测与分类任务中均超越现有主干网络。
• 探索神经架构搜索在发现高效、高性能多尺度视觉任务主干网络方面的潜力。

提出的方法

• 提出一种尺度置换元架构，其中中间特征图分辨率不单调递减，允许在网络深度中实现动态尺度变化。
• 引入跨尺度连接，实现不同分辨率层级之间的特征融合，增强多尺度表征能力。
• 使用神经架构搜索（NAS）联合优化每个模块的块排序与输入连接，搜索空间基于 ResNet 残差瓶颈块构建。
• 直接在 COCO 目标检测任务上端到端训练主干网络，采用 RetinaNet，无需额外解码器网络。
• 通过调整模块类型与尺度的搜索空间修改，实现效率提升，且不损失性能。
• 通过改进的训练策略（引入 Swish 激活函数、随机深度与标签平滑）将学习到的 SpineNet 架构迁移至图像分类任务。

实验结果

研究问题

• RQ1 尺度置换主干网络架构是否能在目标检测任务中超越传统尺度递减主干网络？
• RQ2 通过 NAS 学习跨尺度连接是否能提升识别与定位任务中的多尺度特征表征能力？
• RQ3 单一 SpineNet 架构是否能在目标检测与图像分类任务中均达到最先进性能？
• RQ4 在 iNaturalist-2017 等细粒度分类基准上，SpineNet 相较于 ResNet 的表现如何？
• RQ5 检测与分类任务中的性能提升，究竟在多大程度上源于更优的特征表征，而非架构效率？

主要发现

• SpineNet-190 在 COCO 上使用 Mask R-CNN 达到 52.5% AP，使用 RetinaNet 达到 52.1% AP，显著优于此前方法，且无需测试时增强。
• SpineNet-49S 在 33.8B FLOPs 下达到 39.5% AP，优于 R50-FPN（96.8B FLOPs 下 40.4% AP）。
• SpineNet-49XS 仅使用 0.17B FLOPs 即达到 17.5% AP，在移动端检测任务中优于 MobileNetV2 与 MobileNetV3。
• 在 iNaturalist-2017 上，SpineNet-49 在 iNaturalist-bbox 上达到 63.9% Top-1 准确率，较 ResNet-50 提升 4.3%。
• SpineNet-49 在 iNaturalist-2017 上相较 ResNet-50 提升 5% Top-1 准确率，归因于对局部特征捕捉能力的增强与更紧凑的表征。
• 通过改进的训练策略，SpineNet 在 ImageNet 上实现 1% Top-1 准确率提升，在 iNaturalist-2017 上实现 3–4% 准确率提升。