[论文解读] ScaleNAS: One-Shot Learning of Scale-Aware Representations for Visual Recognition

Hsin-Pai Cheng, Feng Liang+6 more|arXiv (Cornell University)|Nov 30, 2020

Human Pose and Action Recognition参考文献 35被引用 6

一句话总结

ScaleNAS 提出了一种一次性神经架构搜索方法，用于在视觉识别中学习尺度感知表征，无需微调即可高效发现多尺度、高分辨率神经架构。该方法在人体姿态估计（COCO 上达到 71.6% AP）和语义分割任务中均实现了最先进性能，准确率更高且计算成本更低。

ABSTRACT

Scale variance among different sizes of body parts and objects is a challenging problem for visual recognition tasks. Existing works usually design dedicated backbone or apply Neural architecture Search(NAS) for each task to tackle this challenge. However, existing works impose significant limitations on the design or search space. To solve these problems, we present ScaleNAS, a one-shot learning method for exploring scale-aware representations. ScaleNAS solves multiple tasks at a time by searching multi-scale feature aggregation. ScaleNAS adopts a flexible search space that allows an arbitrary number of blocks and cross-scale feature fusions. To cope with the high search cost incurred by the flexible space, ScaleNAS employs one-shot learning for multi-scale supernet driven by grouped sampling and evolutionary search. Without further retraining, ScaleNet can be directly deployed for different visual recognition tasks with superior performance. We use ScaleNAS to create high-resolution models for two different tasks, ScaleNet-P for human pose estimation and ScaleNet-S for semantic segmentation. ScaleNet-P and ScaleNet-S outperform existing manually crafted and NAS-based methods in both tasks. When applying ScaleNet-P to bottom-up human pose estimation, it surpasses the state-of-the-art HigherHRNet. In particular, ScaleNet-P4 achieves 71.6% AP on COCO test-dev, achieving new state-of-the-art result.

研究动机与目标

• 解决人体姿态估计与语义分割等视觉识别任务中的尺度差异问题。
• 克服现有神经架构搜索（NAS）与手工设计架构在搜索成本高和设计灵活性有限方面的局限。
• 开发一种一次性学习框架，无需微调即可同时发现多个高性能架构。
• 实现在多种硬件平台与任务需求下直接部署高效、尺度感知模型。

提出的方法

• 提出一种灵活的多尺度特征聚合搜索空间，支持任意数量的模块与跨尺度特征融合。
• 采用分组采样策略，高效训练多尺度超网络，将搜索成本降低至 O(1)。
• 引入一种具有阶段内交叉与变异的进化搜索算法，以探索多样化的架构拓扑。
• 采用一次性训练结合知识蒸馏，将超网络性能迁移至精英子网络。
• 利用在 ImageNet 上预训练并基于任务特定数据集（Cityscapes、COCO）微调的超网络，实现精英架构的直接部署。
• 应用基于 MSE 损失与 Cityscapes 预训练教师模型的知识蒸馏，提升准确率而无需额外训练。

实验结果

研究问题

• RQ1 一次性 NAS 框架能否在多个视觉识别任务中有效发现尺度感知表征？
• RQ2 具有跨尺度融合与可变深度的灵活多尺度搜索空间在高分辨率任务上如何提升性能？
• RQ3 分组采样与进化搜索在多大程度上可降低搜索成本，同时保持高准确率？
• RQ4 精英模型在模块数量、融合操作与 FLOPs 之间的权衡方面具有怎样的架构模式？

主要发现

• ScaleNet-P4 在 COCO test-dev 上达到 71.6% AP，创下多人姿态估计的新 SOTA 记录。
• ScaleNet-S1 在 Cityscapes 验证集上 mIoU 比 HRNet、Auto-DeepLab 和动态路由方法高出 1.3%–1.7%，且 FLOPs 更低。
• 分组采样生成的帕累托前沿在架构搜索效率与准确率上始终优于随机搜索与夹心规则。
• 更大规模的精英模型所需特征融合操作数量是残差块的两倍，表明深层模型的设计优先级已从模块转向融合。
• 知识蒸馏带来适度的准确率增益（80.4% mIoU 对比无 KD 时的 80.2%），表明其有益但并非性能提升的主要驱动力。
• 分析表明，网络的后期阶段比早期阶段更依赖特征融合，支持分层多尺度聚合的设计理念。