[论文解读] Wisdom of (Binned) Crowds: A Bayesian Stratification Paradigm for Crowd Counting

Sravya Vardhani Shivapuja, Mansi Pradeep Khamkar+3 more|arXiv (Cornell University)|Aug 19, 2021

Video Surveillance and Tracking Methods参考文献 6被引用 4

一句话总结

本文提出一种贝叶斯分层范式，通过将计数范围分箱并应用分层感知的采样与损失函数，以解决人群计数中性能评估偏差的问题。该方法在不同数据集上将误差标准差降低高达40%，从而实现对不同人群密度下更可靠、更细致的性能评估。

ABSTRACT

Datasets for training crowd counting deep networks are typically heavy-tailed in count distribution and exhibit discontinuities across the count range. As a result, the de facto statistical measures (MSE, MAE) exhibit large variance and tend to be unreliable indicators of performance across the count range. To address these concerns in a holistic manner, we revise processes at various stages of the standard crowd counting pipeline. To enable principled and balanced minibatch sampling, we propose a novel smoothed Bayesian sample stratification approach. We propose a novel cost function which can be readily incorporated into existing crowd counting deep networks to encourage strata-aware optimization. We analyze the performance of representative crowd counting approaches across standard datasets at per strata level and in aggregate. We analyze the performance of crowd counting approaches across standard datasets and demonstrate that our proposed modifications noticeably reduce error standard deviation. Our contributions represent a nuanced, statistically balanced and fine-grained characterization of performance for crowd counting approaches. Code, pretrained models and interactive visualizations can be viewed at our project page https://deepcount.iiit.ac.in/

研究动机与目标

• 解决人群计数数据集中由于计数分布呈现重尾和不连续性，导致标准性能指标（如MAE）方差过高的问题。
• 缓解训练和评估过程中因计数分布偏斜导致的mini-batch采样数据不平衡问题。
• 构建一个原则性、统计平衡的评估框架，按分层（分箱）报告性能，并以有意义的方式聚合结果。
• 提出一种新颖的分箱感知损失函数，以鼓励模型在所有计数范围内稳健学习，而不仅限于高频范围。
• 使终端用户和研究人员能够基于特定人群密度范围内的性能比较模型，而非仅依赖聚合指标。

提出的方法

• 提出一种平滑的贝叶斯样本分层方法，以贝叶斯最优性为准则，将计数范围划分为平衡的分层。
• 通过从每个分箱中均匀选择样本，实现分层感知的mini-batch采样，确保训练过程中各类分层的均衡表示。
• 设计一种新颖的分箱感知损失函数，根据目标计数的真实分箱对预测误差进行惩罚，促进各分层间的均衡优化。
• 使用分层多项式似然模型确定最优分箱，即使在数据稀疏的情况下也能确保分箱的稳定与可靠。
• 采用分层MAE报告性能，并通过一种原则性加权平均方案聚合结果，综合考虑分箱频率与大小。
• 将所提流程集成到现有深度计数网络中，仅需极少的架构修改，实现即插即用的性能提升。

实验结果

研究问题

• RQ1 人群计数的重尾分布在多大程度上影响标准评估指标（如MAE）的方差与可靠性？
• RQ2 贝叶斯样本分层能否改善人群计数训练中mini-batch采样的平衡性与代表性？
• RQ3 与标准训练相比，分箱感知损失函数在多大程度上降低了不同计数范围内的误差方差？
• RQ4 所提出的评估框架如何实现对不同人群密度下模型更细致、更可靠的比较？
• RQ5 似然模型的选择（如泊松分布与分层多项式）是否对分箱与评估过程的稳定性与性能具有关键影响？

主要发现

• 所提出的贝叶斯分层方法相比标准评估，将误差标准差降低了高达40%；最佳设置（分箱损失+轮转采样）在NWPU数据集上标准差为205.0±76.7，而默认无分箱设置下为376.4±71.7。
• 在NWPU数据集上，DM-Count采用该方法后，合并MAE为88.1±236.7，标准差为236.7，显著优于默认设置下的71.7±376.4，表现更稳定。
• 分层多项式似然模型的性能优于泊松分箱，尽管合并MAE略高，但标准差更低（236.7 vs. 441.2），结果更稳定。
• 分箱感知损失函数显著降低了误差偏差，尤其在低密度与高密度分层中表现突出，提升了模型在全计数范围内的鲁棒性。
• 所提出的评估框架实现了有意义的分层模型比较，揭示出SFA-Net与BL等模型在特定计数范围内的表现优于聚合指标所反映的结果。
• 超参数搜索表明，λ1=1且λ2=1时，在合并MAE与标准差之间达到最佳平衡（NWPU上为76.7±205.0），优于其他配置。