[论文解读] PCC Net: Perspective Crowd Counting via Spatial Convolutional Network

Junyu Gao, Qi Wang+1 more|arXiv (Cornell University)|May 24, 2019

Video Surveillance and Tracking Methods参考文献 39被引用 4

一句话总结

该论文提出PCC Net，一种用于视角感知人群计数的多任务深度学习框架，整合了密度图估计、随机高层密度分类和前景/背景分割。通过引入方向性视角编码模块（DULR）并利用多尺度特征学习，PCC Net在Shanghai Tech数据集上达到最先进性能，在其他四个数据集上也取得具有竞争力的结果，显著提升了高度拥挤场景中的计数准确性，并减少了对背景区域的误估。

ABSTRACT

Crowd counting from a single image is a challenging task due to high appearance similarity, perspective changes and severe congestion. Many methods only focus on the local appearance features and they cannot handle the aforementioned challenges. In order to tackle them, we propose a Perspective Crowd Counting Network (PCC Net), which consists of three parts: 1) Density Map Estimation (DME) focuses on learning very local features for density map estimation; 2) Random High-level Density Classification (R-HDC) extracts global features to predict the coarse density labels of random patches in images; 3) Fore-/Background Segmentation (FBS) encodes mid-level features to segments the foreground and background. Besides, the DULR module is embedded in PCC Net to encode the perspective changes on four directions (Down, Up, Left and Right). The proposed PCC Net is verified on five mainstream datasets, which achieves the state-of-the-art performance on the one and attains the competitive results on the other four datasets. The source code is available at https://github.com/gjy3035/PCC-Net.

研究动机与目标

• 解决单张图像人群计数中视角失真、外观相似性高以及人群严重拥挤的挑战。
• 通过提升前景-背景区分能力，减少将背景区域（如树木、结构物）误估为人群的情况。
• 显式编码四个方向（上、下、左、右）的视角变化，以增强密度图的一致性。
• 通过分层特征学习与多任务监督，改善极端拥挤区域的局部密度估计。
• 开发一种灵活的数据增强训练策略，利用随机图像块进行高层密度分类。

提出的方法

• PCC Net采用三个并行分支：密度图估计（DME）用于像素级密度预测，随机高层密度分类（R-HDC）用于随机图像块的粗粒度密度标注，前景/背景分割（FBS）用于区分头部区域与背景。
• DULR模块被嵌入DME和FBS分支中，通过建模四个方向（下、上、左、右）的定向特征来编码视角变化。
• R-HDC在训练过程中采用动态采样策略：从完整图像中提取随机块并分配粗粒度密度标签，从而在无需预定义训练集的情况下实现多样化且自适应的监督。
• FBS利用图像形态学操作生成头部区域的伪分割掩码，因为原始数据集缺乏此类标注，从而提升前景与背景之间的特征区分能力。
• 多任务学习通过共享主干网络联合优化，DME使用L1损失，R-HDC使用交叉熵损失，FBS使用二元交叉熵损失，实现任务间的特征迁移。
• 模型在五个基准数据集上端到端训练，超参数针对ROI数量（20）进行调优，以平衡收敛速度与稳定性。

实验结果

研究问题

• RQ1 多任务学习框架是否能通过联合建模局部密度估计、全局上下文和前景-背景分割来提升人群计数的准确性？
• RQ2 方向性视角编码模块（DULR）在缓解2D人群图像中因视角失真导致的误差方面效果如何？
• RQ3 与固定训练集相比，使用随机动态采样的图像块进行高层分类是否能提升模型泛化能力？
• RQ4 前景/背景分割在多大程度上可减少将非人类物体（如树木、电线杆）误估为人群的情况？
• RQ5 在缺乏真实标注的情况下，生成有效伪分割掩码的形态学参数最优配置是什么？

主要发现

• PCC Net在Shanghai Tech B数据集上实现了10.9的最先进平均绝对误差（MAE），优于先前方法。
• 在Shanghai Tech A数据集上，PCC Net的MAE为73.4，MSE为124.0，当使用最优分割参数时，显著优于NoSeg基线模型（MAE 79.3，MSE 129.5）。
• DULR模块有效编码了视角变化，减少了密集区域的过估计——视觉对比中红框区域误差更低，证明了其有效性。
• 采用20个随机ROI的R-HDC模块实现了更快的收敛与更稳定的训练，其训练动态与最终性能优于5或300个ROI的配置。
• FBS分支有效降低了背景误估：PCC Net能正确识别树木与结构物为非人群，而CP-CNN与CSRNet则常将其误认为人群。
• 在10–60像素的分割掩码参数范围内性能稳定，最优结果出现在50–60像素之间；极端值（如150像素）因损失判别性特征学习而降低性能。