[论文解读] Structured Inhomogeneous Density Map Learning for Crowd Counting

Hanhui Li, Xiangjian He+5 more|arXiv (Cornell University)|Jan 20, 2018

Video Surveillance and Tracking Methods参考文献 25被引用 12

一句话总结

本文通过将二维密度图扩展为三维，提出了一种用于人群计数的结构化非均匀密度图学习方法，其中第三维编码密度等级。该方法使用单一的密度感知网络（DAN），提升了训练稳定性，并在ShanghaiTech A和B等高密度挑战性数据集上实现了最先进性能，Part B的平均绝对误差（MAE）为81.8。

ABSTRACT

In this paper, we aim at tackling the problem of crowd counting in extremely high-density scenes, which contain hundreds, or even thousands of people. We begin by a comprehensive analysis of the most widely used density map-based methods, and demonstrate how easily existing methods are affected by the inhomogeneous density distribution problem, e.g., causing them to be sensitive to outliers, or be hard to optimized. We then present an extremely simple solution to the inhomogeneous density distribution problem, which can be intuitively summarized as extending the density map from 2D to 3D, with the extra dimension implicitly indicating the density level. Such solution can be implemented by a single Density-Aware Network, which is not only easy to train, but also can achieve the state-of-art performance on various challenging datasets.

研究动机与目标

• 解决深度网络在高密度人群计数中因非均匀密度分布而导致的性能不佳问题。
• 指出非均匀密度分布会引起梯度爆炸和对异常值敏感等优化问题。
• 通过将二维密度图转换为三维结构化图，隐式编码密度等级，提出一种简单而有效的解决方案。
• 设计一种可训练的单一密度感知网络（DAN），同时执行密度估计回归与密度等级分类。
• 证明所提方法在基准数据集上实现最先进性能，且具有更强的鲁棒性与泛化能力。

提出的方法

• 通过将密度范围划分为离散等级（例如，[9, 25, 49, 81]），将二维真实密度图转换为三维结构化密度图。
• 定义一个多级损失函数，结合回归损失（Huber损失）与分类损失，使网络同时学习密度估计与等级分类。
• 采用改进的VGG-16主干网络，加入跳跃连接与批量归一化，以稳定训练并防止梯度爆炸。
• 采用多分支结构，每个分支专门预测特定密度等级的密度图，实现局部化学习并提升泛化能力。
• 在损失函数中引入加权策略，优先关注更难样本（如高密度区域），以增强模型鲁棒性。
• 采用端到端优化策略，结合L2与Huber损失，实现即使在高密度场景下也能稳定收敛。

实验结果

研究问题

• RQ1 为何深层网络尽管具有强大的表示能力，却在高密度人群计数中难以泛化？
• RQ2 人群图像中非均匀密度分布如何影响深度学习模型的优化过程？
• RQ3 将二维密度图转换为三维结构化图是否能降低异常值影响并提升训练稳定性？
• RQ4 是否可能通过单一统一网络而非复杂的多子网架构实现最先进性能？
• RQ5 密度等级数量（分支数）如何影响模型的性能与鲁棒性？

主要发现

• 人群图像中的非均匀密度分布导致梯度爆炸与收敛困难，尤其在深层网络中更为显著，原因在于极端异常值与非均匀密度变化。
• 直接使用ℓ₂损失训练VGG-16会导致梯度爆炸，证实异常值与非均匀密度分布引发的训练不稳定性。
• 所提出的密度感知网络（DAN）结合Huber损失与多分支结构，成功训练深层网络，并在ShanghaiTech Part B上实现MAE为81.8。
• DAN-1-H（使用Huber损失）的MAE为87.0，而DAN-1（使用加权损失）提升至84.3，证明损失加权策略的有效性。
• 随着分支数量增加（如4个分支，阈值为[9, 49, 121, 25]），性能进一步提升，因模型能更精确逼近理想模板并集成更多局部模型。
• 定性结果表明，预测的结构化密度图被清晰划分为4个等级，验证了模型同时执行回归与分类的能力。