[论文解读] PDANet: Pyramid Density-aware Attention Net for Accurate Crowd Counting

Saeed Amirgholipour, Xiangjian He+3 more|arXiv (Cornell University)|Jan 16, 2020

Video Surveillance and Tracking Methods参考文献 51被引用 8

一句话总结

PDANet 提出了一种金字塔密度感知注意力网络，通过利用多尺度特征、空间与通道注意力机制，以及一种根据输入场景密度动态选择高密度或低密度分支的密度感知解码器，实现了精确的群体计数。该方法在 UCF-Crowd50 上将 MAE 降低超过 35%，并在 ShanghaiTech、WorldExpo10 和 UCSD 等多个基准数据集上超越了现有方法，达到最先进性能。

ABSTRACT

Crowd counting, i.e., estimating the number of people in a crowded area, has attracted much interest in the research community. Although many attempts have been reported, crowd counting remains an open real-world problem due to the vast scale variations in crowd density within the interested area, and severe occlusion among the crowd. In this paper, we propose a novel Pyramid Density-Aware Attention-based network, abbreviated as PDANet, that leverages the attention, pyramid scale feature and two branch decoder modules for density-aware crowd counting. The PDANet utilizes these modules to extract different scale features, focus on the relevant information, and suppress the misleading ones. We also address the variation of crowdedness levels among different images with an exclusive Density-Aware Decoder (DAD). For this purpose, a classifier evaluates the density level of the input features and then passes them to the corresponding high and low crowded DAD modules. Finally, we generate an overall density map by considering the summation of low and high crowded density maps as spatial attention. Meanwhile, we employ two losses to create a precise density map for the input scene. Extensive evaluations conducted on the challenging benchmark datasets well demonstrate the superior performance of the proposed PDANet in terms of the accuracy of counting and generated density maps over the well-known state of the arts.

研究动机与目标

• 解决群体计数中极端密度变化的挑战，现有方法通常假设图像中拥挤程度均匀。
• 通过根据局部拥挤程度自适应调整网络行为，提升稀疏与密集群体场景下的计数精度。
• 设计一种轻量化、高效的网络架构，避免基于补丁或多列处理带来的冗余计算。
• 利用空间与通道注意力增强特征表示，抑制噪声并突出相关群体模式。
• 开发一种密度感知解码器，根据场景分类动态将特征路由至相应分支。

提出的方法

• 使用 VGG16 作为编码器提取分层特征，随后通过全局平均池化、1×1 卷积和感受野为 3×3 的空洞卷积堆叠，实现多尺度特征学习。
• 在不同网络层应用通道注意力与空间注意力模块，以增强判别性特征并抑制无关或噪声激活。
• 引入分类头以预测输入图像的整体拥挤程度，指导特征路由至高密度或低密度解码分支。
• 采用双分支解码器（DAD），为高密度与低密度区域分别设置独立头部，实现场景类型自适应的特征学习。
• 通过 Sigmoid 门控注意力机制融合两分支输出，学习空间自适应权重以生成最终密度图。
• 采用包含 L1 和 L2 损失的联合损失函数进行训练，以生成精确密度图并提升计数准确性。

实验结果

研究问题

• RQ1 单一深度神经网络架构能否有效处理单张图像内的极端密度变化？
• RQ2 将特征动态路由至专用解码分支是否能提升群体计数的准确性？
• RQ3 注意力机制与多尺度特征在稀疏与密集群体场景下的性能提升程度如何？
• RQ4 密度感知分类器在多样化群体计数基准上的泛化能力是否得到增强？
• RQ5 所提出的用于融合多尺度密度图的门控机制是否优于标准融合策略，带来更优的最终计数结果？

主要发现

• 在 ShanghaiTech-A 数据集上，PDANet 的 MAE 为 58.5，MSE 为 93.4，优于最先进方法如 PaDNet、ADCrowdNet 和 HA_CNN。
• 在 ShanghaiTech-B 数据集上，PDANet 的 MAE 为 7.1，MSE 为 10.9，展现出在密集场景下的强大性能。
• 在 WorldExpo10 数据集上，PDANet 的平均 MAE 为 6.0，较之前最先进方法（CAN）提升 1.4 MAE 点。
• 在最具挑战性的 UCF-Crowd50 数据集上，与 PaDNet 相比，PDANet 将 MAE 降低超过 35%，达到 119.8 MAE 和 159 MSE。
• 在 UCSD 数据集上，PDANet 的 MAE 为 0.93，MSE 为 1.21，排名第二，结果与最佳性能的 PaDNet 模型极为接近。
• 消融实验表明，金字塔特征、注意力模块与密度感知解码器的组合对性能提升至关重要。