[论文解读] Rethinking Counting and Localization in Crowds:A Purely Point-Based Framework

Qingyu Song, Changan Wang+7 more|arXiv (Cornell University)|Jul 27, 2021

Video Surveillance and Tracking Methods参考文献 46被引用 23

一句话总结

本文提出了一种纯点基框架，用于联合人群计数与定位，引入了点对点网络（P2PNet），直接将头部位置预测为点，绕过易出错的中间表示。通过新颖的密度归一化平均精度（nAP）指标以及使用匈牙利算法进行的一对一匹配，实现了最先进的计数精度和更优的定位性能。

ABSTRACT

Localizing individuals in crowds is more in accordance with the practical demands of subsequent high-level crowd analysis tasks than simply counting. However, existing localization based methods relying on intermediate representations ( extit{i.e.}, density maps or pseudo boxes) serving as learning targets are counter-intuitive and error-prone. In this paper, we propose a purely point-based framework for joint crowd counting and individual localization. For this framework, instead of merely reporting the absolute counting error at image level, we propose a new metric, called density Normalized Average Precision (nAP), to provide more comprehensive and more precise performance evaluation. Moreover, we design an intuitive solution under this framework, which is called Point to Point Network (P2PNet). P2PNet discards superfluous steps and directly predicts a set of point proposals to represent heads in an image, being consistent with the human annotation results. By thorough analysis, we reveal the key step towards implementing such a novel idea is to assign optimal learning targets for these proposals. Therefore, we propose to conduct this crucial association in an one-to-one matching manner using the Hungarian algorithm. The P2PNet not only significantly surpasses state-of-the-art methods on popular counting benchmarks, but also achieves promising localization accuracy. The codes will be available at: https://github.com/TencentYoutuResearch/CrowdCounting-P2PNet.

研究动机与目标

• 为解决现有人群计数方法依赖密度图或伪边界框所带来的直观性差与易出错的问题。
• 通过直接使用点标注作为学习目标，提出一种更直观且准确的联合计数与个体定位方法。
• 提出一种综合评估指标，兼顾定位与计数误差，尤其在不同人群密度下表现更优。
• 设计一种简单但高效的深度学习架构 P2PNet，在推理阶段直接预测带置信度分数的点基头部位置。
• 证明通过匈牙利算法实现预测与真实点之间的一对一匹配，对提升定位精度与 nAP 至关重要。

提出的方法

• 该框架使用点标注作为真实目标，并在推理过程中直接预测一组点提议，表示个体头部位置。
• 提出一种新型评估指标——密度归一化平均精度（nAP），用于联合评估定位与计数性能，可处理密度变化并惩罚重复预测。
• 点对点网络（P2PNet）通过单尺度特征图回归点坐标与置信度分数，参考点从网格或布局中采样。
• 其核心创新在于使用匈牙利算法实现预测点提议与真实点之间的一对一匹配，确保最优关联，避免模糊或冲突的监督。
• 未匹配的提议被分类为负样本，模型通过此可微匹配过程端到端训练，从而同时提升定位与计数精度。
• 该方法避免了密度图或伪框等中间表示，简化了流程并减少了误差传播。

实验结果

研究问题

• RQ1 纯点基框架是否能在保持简洁与高效的同时，在人群计数与个体定位上均超越现有方法？
• RQ2 如何设计一种综合评估指标，以联合评估定位与计数性能，尤其在不同人群密度下？
• RQ3 在训练过程中，应采用何种最优策略将预测点提议与真实点关联，以避免计数的过估计或欠估计？
• RQ4 与一对多或多对一关联相比，通过匈牙利算法实现的一对一匹配是否能显著提升定位精度？
• RQ5 当结合恰当的目标分配策略与新型评估指标时，基于简单单尺度特征图的架构能否实现最先进性能？

主要发现

• P2PNet 在所有主要基准上均达到最先进性能，在 ShanghaiTech PartA 上相比第二好的方法 ADSCNet，MAE 降低 4.8%，MSE 降低 12.9%。
• 在 UCF_CC_50 数据集上，P2PNet 的 MAE 达到 85.32，显著优于此前最佳方法 ADSCNet，且相比第二好的方法误差减少 2.1。
• 在具有挑战性的 UCF-QNRF 数据集上，P2PNet 的 MAE 为 85.32，低于此前最佳方法 AMSNet，展现出在多样化人群密度下的强大泛化能力。
• 在 NWPU-Crowd 数据集上，P2PNet 取得最佳整体 MAE，相比第二好的方法 DM-Count 实现 12.4% 的降低，尽管仅使用单尺度特征图。
• 消融实验表明，通过匈牙利算法实现的一对一匹配显著提升了 nAP，当步长为 4 时，nAPδ 达到最高值 66.8，表明定位精度更优。
• 网格布局的参考点略优于中心布局，nAPδ 分别为 64.4 与 61.7，因其更密集的采样更有利于拥挤区域。