[论文解读] NAS-Count: Counting-by-Density with Neural Architecture Search

Yutao Hu, Xiaolong Jiang+5 more|arXiv (Cornell University)|Feb 29, 2020

Video Surveillance and Tracking Methods参考文献 90被引用 5

一句话总结

NAS-Count 提出了一种端到端的神经架构搜索框架，可自动设计多尺度编码器-解码器网络（AMSNet）和尺度金字塔池化损失（SPPLoss）用于基于密度的人群计数。通过利用两级搜索空间和可微架构搜索，该方法在四个基准数据集上实现了最先进性能，具有更高的精度和更优的密度图质量，优于人工设计的模型。

ABSTRACT

Most of the recent advances in crowd counting have evolved from hand-designed density estimation networks, where multi-scale features are leveraged to address the scale variation problem, but at the expense of demanding design efforts. In this work, we automate the design of counting models with Neural Architecture Search (NAS) and introduce an end-to-end searched encoder-decoder architecture, Automatic Multi-Scale Network (AMSNet). Specifically, we utilize a counting-specific two-level search space. The encoder and decoder in AMSNet are composed of different cells discovered from micro-level search, while the multi-path architecture is explored through macro-level search. To solve the pixel-level isolation issue in MSE loss, AMSNet is optimized with an auto-searched Scale Pyramid Pooling Loss (SPPLoss) that supervises the multi-scale structural information. Extensive experiments on four datasets show AMSNet produces state-of-the-art results that outperform hand-designed models, fully demonstrating the efficacy of NAS-Count.

研究动机与目标

• 自动化多尺度人群计数模型的设计，减少对人工网络结构设计的依赖。
• 通过端到端搜索网络架构和损失函数，解决人群计数中的尺度变化问题。
• 设计一种面向计数任务的两级搜索空间，平衡特征提取与融合，以提升性能。
• 通过搜索多尺度监督机制，克服 MSE 损失中的像素级孤立问题。
• 证明 NAS 可在像素级回归任务（如人群计数）中超越手工设计的模型。

提出的方法

• 采用可微的一次性搜索策略，通过基于梯度的优化实现快速架构搜索。
• 设计两级搜索空间：微观级别搜索发现具有空洞卷积和有限池化的多尺度单元，以保留空间分辨率；宏观级别搜索探索多路径编码器-解码器架构以实现特征融合。
• 网络架构 AMSNet 由搜索得到的单元构成，整合了多尺度特征提取与分层融合。
• 与网络联合搜索自动化的尺度金字塔池化损失（SPPLoss），以监督密度图中的多尺度结构信息。
• SPPLoss 使用搜索得到的操作构建金字塔池化结构，以增强对标准 MSE 损失的监督能力。
• 通过针对人群计数任务定制的改进版 PC-DARTS 框架，联合进行 AMSNet 与 SPPLoss 的端到端搜索。

实验结果

研究问题

• RQ1 神经架构搜索能否有效应用于人群计数-by-density 这类具有尺度变化的像素级回归任务？
• RQ2 如何设计两级搜索空间，以联合优化网络架构和损失函数，实现更好的多尺度特征学习？
• RQ3 通过自动搜索得到的损失函数（SPPLoss）能否在监督密度图结构信息方面超越人工设计的损失？
• RQ4 NAS-Count 是否在标准人群计数基准上优于手工设计的模型？
• RQ5 搜索过程能否生成一个紧凑且准确的模型，具备在多样化数据集上的泛化能力？

主要发现

• AMSNet 在 ShanghaiTech Part_A 和 Part_B 数据集上达到最先进性能，MAE 最低，MSE 竞争性最优。
• 在 UCF_CC_50 数据集上，AMSNet 实现第二低的 MAE 和 MSE，MSE 表现优于 CAN，且 MAE 低于大多数方法。
• 在 UCF-QNRF 上（最具挑战性的数据集，存在极端密度变化），AMSNet 实现第二低的 MAE 和 MSE，展现出对尺度变化的强鲁棒性。
• 在 WorldExpo’10 数据集上，AMSNet 在五个场景中平均 MAE 排名第二，且在三个独立场景中排名第一。
• AMSNet 在密度图质量方面表现最佳，PSNR 达 86.4，SSIM 达 0.987，分别优于第二好的方法 4.4% 和 7.2%。
• AMSNet_light（通道数为 256 的轻量化版本）实现第三低的模型参数量，同时生成最高质量的密度图，证明了其高效性与有效性。