[论文解读] Revisiting Crowd Counting: State-of-the-art, Trends, and Future Perspectives

Muhammad Asif Khan, Hamid Menouar+1 more|arXiv (Cornell University)|Sep 14, 2022

Video Surveillance and Tracking Methods被引用 5

一句话总结

本文对2020至2023年期间最先进的人群计数方法进行了全面且最新的综述，重点聚焦于基于CNN和Transformer的模型架构、损失函数、评估指标及模型设计趋势。该文按基准数据集上的性能对主流模型进行了排名，并识别出关键挑战，包括模型复杂度、域泛化能力，以及在实际部署中准确率与效率之间的权衡。

ABSTRACT

Crowd counting is an effective tool for situational awareness in public places. Automated crowd counting using images and videos is an interesting yet challenging problem that has gained significant attention in computer vision. Over the past few years, various deep learning methods have been developed to achieve state-of-the-art performance. The methods evolved over time vary in many aspects such as model architecture, input pipeline, learning paradigm, computational complexity, and accuracy gains etc. In this paper, we present a systematic and comprehensive review of the most significant contributions in the area of crowd counting. Although few surveys exist on the topic, our survey is most up-to date and different in several aspects. First, it provides a more meaningful categorization of the most significant contributions by model architectures, learning methods (i.e., loss functions), and evaluation methods (i.e., evaluation metrics). We chose prominent and distinct works and excluded similar works. We also sort the well-known crowd counting models by their performance over benchmark datasets. We believe that this survey can be a good resource for novice researchers to understand the progressive developments and contributions over time and the current state-of-the-art.

研究动机与目标

• 提供2020至2023年期间人群计数领域最具影响力的进展的系统性、最新综述。
• 根据上海Tech、UCSD和Mall等主要基准数据集上的性能，对最先进模型进行分类与排名。
• 分析新兴趋势，包括基于Transformer的模型、新型损失函数和评估指标，超越传统CNN的进展。
• 识别关键研究空白，如跨场景泛化能力差，以及模型复杂度持续增加但准确率提升有限的问题。
• 通过提出面向特定应用场景的模型设计、域自适应方法以及通用人群计数模型可行性等见解，为未来研究提供指导。

提出的方法

• 按模型架构（如CNN、Transformer）、学习范式（损失函数）和评估指标对人群计数研究进行分类。
• 仅选择并分析最具影响力且具有显著差异性的贡献，排除冗余或相似工作。
• 在标准数据集（ShanghaiTech、UCSD、Mall）上对模型进行基准测试，并根据性能（MSE、MAE）进行排名，以反映当前最先进水平。
• 分析架构趋势，包括深层与浅层模型的对比，并评估准确率与推理效率之间的权衡。
• 通过回顾微调和迁移学习方法，探究域自适应与跨场景泛化的作用。
• 从性能、参数量和计算效率角度，对比基于CNN和视觉Transformer的模型。

Figure 2 : Ground Truth generation for crowd counting models.

实验结果

研究问题

• RQ1 2020至2023年间，人群计数在架构和训练方法方面有哪些最重要的进展？
• RQ2 新型损失函数和评估指标在多大程度上提升了模型性能与泛化能力？
• RQ3 基于Transformer的模型在人群计数中相比CNN的性能优势有多大？其效率权衡如何？
• RQ4 为何尽管准确率提升有限，模型复杂度仍持续增加？这对实际部署有何影响？
• RQ5 能否开发出通用人群计数模型？还是针对特定应用场景的模型设计在多样化部署场景中更为有效？

主要发现

• 尽管视觉Transformer参数量极高（如ViT-base含8600万参数），但在大规模人群计数基准上尚未展现出显著优于CNN的准确率提升。
• 浅层模型在稀疏人群数据集（如UCSD、Mall、ShanghaiTech Part B）上表现已足够良好，表明深层架构并非总是必需。
• 近期模型虽在准确率上取得微小提升，但模型复杂度显著增加，凸显了对训练与推理效率更优基准测试的迫切需求。
• 跨场景泛化仍是主要挑战，大多数模型仅在其训练域上表现良好，在未见场景或监控类型上表现不佳。
• 面向特定应用场景的模型设计趋势日益明显——轻量化模型适用于边缘设备，而密集模型则适用于基于服务器的高精度场景。
• 现代人群计数架构中缺乏清晰的设计模式，使得难以理解哪些组件真正驱动了性能提升，从而阻碍了创新与可复现性。

Figure 3 : Density maps with different scale ( $\sigma$ ) values.