[论文解读] Plug-and-Play Rescaling Based Crowd Counting in Static Images

Usman Sajid, Guanghui Wang|arXiv (Cornell University)|Jan 6, 2020

Video Surveillance and Tracking Methods参考文献 43被引用 7

一句话总结

本文提出一种即插即用的补丁重标度模块（PRM），用于静态图像中的人群计数，该模块基于四分类动态重标度图像补丁，以应对人群多样性并剔除杂乱背景区域。该方法在RMSE上实现最高达10.4%的相对性能提升，并在跨数据集上展现出优越的泛化能力，通过减少复杂背景导致的过估计现象。

ABSTRACT

Crowd counting is a challenging problem especially in the presence of huge crowd diversity across images and complex cluttered crowd-like background regions, where most previous approaches do not generalize well and consequently produce either huge crowd underestimation or overestimation. To address these challenges, we propose a new image patch rescaling module (PRM) and three independent PRM employed crowd counting methods. The proposed frameworks use the PRM module to rescale the image regions (patches) that require special treatment, whereas the classification process helps in recognizing and discarding any cluttered crowd-like background regions which may result in overestimation. Experiments on three standard benchmarks and cross-dataset evaluation show that our approach outperforms the state-of-the-art models in the RMSE evaluation metric with an improvement up to 10.4%, and possesses superior generalization ability to new datasets.

研究动机与目标

• 解决静态图像中因杂乱、类似人群的背景区域导致的人群过估计问题。
• 克服现有方法在多样化人群密度和复杂背景下的泛化能力局限。
• 开发一种轻量化、模块化的解决方案，替代计算量大的多列或多回归器架构。
• 通过基于内容分类的智能补丁重标度，提升人群计数的准确性和鲁棒性。
• 通过在标准基准上的跨数据集评估，证明其优越的泛化能力。

提出的方法

• 提出一种补丁重标度模块（PRM），将图像补丁分类为四种类别：低人群（LC）、高人群（HC）、中等人群（MC）和无人群（NC）。
• 使用四分类头将每个补丁路由至相应的PRM重标度操作（LC或HC），或在分类为NC时将其丢弃。
• 根据补丁的分类结果应用特定于尺度的重标度，以增强特征表示，实现更精确的密度估计。
• 将PRM作为即插即用模块集成到三种不同的人群计数框架中：CC-1P、CC-2P和CC-Mod，支持模块化与端到端训练。
• 在推理阶段丢弃无人群补丁（NC），以防止过估计，尤其在模拟密集人群的区域中。
• 使用RMSE和MAE作为主要指标，在三个标准基准上对框架进行训练与评估。

实验结果

研究问题

• RQ1 一种轻量化、模块化的补丁重标度机制是否能有效减少由杂乱、类似人群的背景区域引起的人群计数过估计？
• RQ2 与最先进模型相比，PRM模块在多样化人群密度和复杂场景下的泛化能力如何提升？
• RQ3 四分类补丁分类（LC、HC、MC、NC）在多大程度上提升了人群计数的准确性和鲁棒性？
• RQ4 在准确性和计算效率方面，即插即用的PRM是否优于多列或多回归器架构？
• RQ5 当在某一数据集上训练并在另一数据集上测试时，PRM在跨数据集泛化方面的有效性如何？

主要发现

• 所提方法在标准基准上相对于最先进模型，RMSE的相对提升最高达10.4%。
• 在UCF-QNRF数据集上，跨数据集评估中MAE从301降至219，RMSE从457降至305，展现出强大的泛化能力。
• 在各数据集中，PRM模块应用于至少14.25%至最多29.4%的测试补丁，表明其被频繁且有效地使用。
• 平均而言，30.9%至36.2%的测试补丁被分类为无人群（NC）并被丢弃，从而防止潜在的过估计。
• 消融实验表明，若移除PRM，CC-2P框架的RMSE将上升38.3%，MAE将上升43.75%，证明其关键作用。
• 定性结果表明，该方法生成的人群计数结果远比直接回归和密度图估计基线方法更接近真实值。