[论文解读] Pose Neural Fabrics Search

Sen Yang, Wankou Yang+1 more|arXiv (Cornell University)|Sep 16, 2019

Human Pose and Action Recognition参考文献 71被引用 12

一句话总结

该论文提出了一种名为姿态神经织物搜索（Pose Neural Fabrics Search, PoseNFS）的部件特定神经架构搜索框架，利用人体结构先验知识，自动为不同身体部位发现独特的神经架构。通过引入可微分的、基于单元的神经织物搜索空间，并采用基于梯度的同步优化方法，PoseNFS在MPII和COCO关键点检测基准上实现了最先进性能，且参数量和FLOPs均低于现有方法。

ABSTRACT

Neural Architecture Search (NAS) technologies have emerged in many domains to jointly learn the architectures and weights of the neural network. However, most existing NAS works claim they are task-specific and focus only on optimizing a single architecture to replace a human-designed neural network, in fact, their search processes are almost independent of domain knowledge of the tasks. In this paper, we propose Pose Neural Fabrics Search (PoseNFS). We explore a new solution for NAS and human pose estimation task: part-specific neural architecture search, which can be seen as a variant of multi-task learning. Firstly, we design a new neural architecture search space, Cell-based Neural Fabric (CNF), to learn micro as well as macro neural architecture using a differentiable search strategy. Then, we view locating human keypoints as multiple disentangled prediction sub-tasks, and then use prior knowledge of body structure as guidance to search for multiple part-specific neural architectures for different human parts. After search, all these part-specific CNFs have distinct micro and macro architecture parameters. The results show that such knowledge-guided NAS-based architectures have obvious performance improvements to a hand-designed part-based baseline model. The experiments on MPII and MS-COCO datasets demonstrate that PoseNFS\footnote{Code is available at \url{https://github.com/yangsenius/PoseNFS}} can achieve comparable performance to some efficient and state-of-the-art methods.

研究动机与目标

• 解决现有神经架构搜索方法忽略任务特定领域知识的问题，尤其是在人体姿态估计等密集预测任务中。
• 开发一种联合优化不同人体部位微架构与宏架构的搜索框架，利用结构先验知识。
• 通过为每个身体部位学习专用神经架构，提升基于部件的姿态估计模型性能。
• 在保持标准基准上竞争力准确率的同时，降低计算成本与模型复杂度。

提出的方法

• 提出一种基于单元的神经织物（Cell-based Neural Fabric, CNF）搜索空间，以可微分的连续形式编码微架构与宏架构参数，支持基于梯度的搜索。
• 引入基于梯度的同步优化策略，在避免搜索后重新离散化的同时，降低搜索时间和计算成本。
• 将人体姿态估计建模为多任务学习问题，每个身体部位对应一个解耦的子任务，并由人体结构的解剖学先验知识引导。
• 使用关键点在图像位置的向量表示，以增强部件特定架构中的空间建模与特征学习。
• 将来自主干网络（如MobileNet-v2、HRNet）的共享特征金字塔作为输入，送入多个具有不同操作组合的部件特定CNF。
• 在搜索完成后应用剪枝与模型压缩技术，进一步减小模型大小与FLOPs，同时保持准确率无显著下降。

实验结果

研究问题

• RQ1 人体结构的先验知识是否能提升人体姿态估计的神经架构搜索性能？
• RQ2 可微分且可扩展的搜索空间（CNF）是否能有效学习部件特定网络的微架构与宏架构？
• RQ3 在关键点检测任务中，部件特定的架构搜索是否优于共享架构或人工设计的架构？
• RQ4 与最先进模型相比，该方法是否能在更低FLOPs与参数量下实现具有竞争力的性能？

主要发现

• 在MPII数据集上，PoseNFS实现了91.0 AP，FLOPs为9.4G，尽管未使用知识蒸馏或集成方法，性能与FPD（91.1 AP，9.0G FLOPs）相当。
• 在COCO test-dev2017上，模型在验证集上达到72.3 AP（真实框），73.0 AP（检测框），单张GPU上推理速度约为20 FPS。
• AP-FLOPs曲线显示，该模型在准确率与效率之间实现了有利的权衡，性能优于或匹配多个最先进方法。
• 实验表明，将关键点表示为向量实体可有效提升搜索空间中的特征学习与空间建模能力。
• 消融实验证实，使用先验知识相比人工设计的基于部件的基线模型，能带来显著的性能提升。
• 即使从连续参数空间采样架构，搜索过程仍保持稳定与高效，验证了超网络与子网络之间不存在‘不一致性间隙’。