[论文解读] NWPU-Crowd: A Large-Scale Benchmark for Crowd Counting.

Qi Wang, Junyu Gao+2 more|arXiv (Cornell University)|Jan 10, 2020

Video Surveillance and Tracking Methods参考文献 30被引用 30

一句话总结

本论文提出了 NWPU-Crowd，一个大规模基准数据集，包含 5,109 幅图像和 213 万条标注的人头，用于人群计数与定位研究。该数据集具有极端的密度变化范围（0–20,033）和多样的光照条件，通过公开的基准网站支持对基于 CNN 的方法进行严格评估，显著推动了人群计数研究的最先进水平。

ABSTRACT

In the last decade, crowd counting and localization attract much attention of researchers due to its wide-spread applications, including crowd monitoring, public safety, space design, etc. Many Convolutional Neural Networks (CNN) are designed for tackling this task. However, currently released datasets are so small-scale that they can not meet the needs of the supervised CNN-based algorithms. To remedy this problem, we construct a large-scale congested crowd counting and localization dataset, NWPU-Crowd, consisting of 5,109 images, in a total of 2,133,375 annotated heads with points and boxes. Compared with other real-world datasets, it contains various illumination scenes and has the largest density range (0~20,033). Besides, a benchmark website is developed for impartially evaluating the different methods, which allows researchers to submit the results of the test set. Based on the proposed dataset, we further describe the data characteristics, evaluate the performance of some mainstream state-of-the-art (SOTA) methods, and analyze the new problems that arise on the new data. What's more, the benchmark is deployed at \url{this https URL}, and the dataset/code/models/results are available at \url{this https URL}.

研究动机与目标

• 为解决现有人群计数数据集规模过小、无法支持深度 CNN 方法训练与评估的问题。
• 提供一个大规模、多样化且逼真的数据集，涵盖极端密度变化和多变的光照条件。
• 建立一个公开的基准网站，对标准化测试集上的人群计数方法进行公正评估。
• 通过所提出的数据集分析在高密度、复杂场景中出现的新挑战。
• 通过共享数据、代码和结果，促进最先进人群计数模型的开发与比较。

提出的方法

• 构建大规模人群计数数据集 NWPU-Crowd，包含 5,109 幅真实世界图像，对个体人头进行点标注和框标注。
• 在多样化场景中对 2,133,375 个人头进行标注，涵盖极端拥挤和不同光照条件。
• 设计基准网站以托管测试集，并支持对提交方法的标准化、公正评估。
• 收集具有最大报告密度范围（0 至 20,033）的数据，以挑战现有模型。
• 在新数据集上评估多种最先进（SOTA）人群计数模型，以识别性能差距和新型失效模式。
• 将数据集、代码、模型和结果部署在公开 URL 上，实现开放获取与可复现性。

实验结果

研究问题

• RQ1 现有最先进人群计数模型在像 NWPU-Crowd 这样大规模、高密度且多样化的现实世界数据集上的表现如何？
• RQ2 在极端密度和复杂光照条件下，出现了哪些当前模型未能充分解决的新挑战？
• RQ3 所提出的基准如何实现人群计数方法的公平且可复现的评估？
• RQ4 NWPU-Crowd 的关键数据特征是什么，使其在规模、多样性与密度范围方面区别于现有数据集？
• RQ5 同时包含点标注与框标注如何提升人群计数模型的评估与定位能力？

主要发现

• NWPU-Crowd 数据集包含 5,109 幅图像和 2,133,375 个标注人头，是迄今为止最大且最多样化的人群计数数据集。
• 该数据集覆盖前所未有的密度范围（0 至 20,033），暴露出在较小、较稀疏数据上训练的现有模型的局限性。
• 在基准上的评估显示，多个 SOTA 模型在高密度和低光照场景中性能显著下降，表明存在新型失效模式。
• 基准网站支持标准化和公正的评估，促进方法间的可复现性与公平比较。
• 该数据集与基准促进了对人群计数中新挑战的发现，如严重遮挡和极端密度变化。
• 在公开 URL 上提供代码、模型与结果，增强了透明度，并加速了该领域研究的进展。