[论文解读] Stacked Pooling: Improving Crowd Counting by Boosting Scale Invariance

Siyu Huang, Xi Li+3 more|arXiv (Cornell University)|Aug 22, 2018

Evacuation and Crowd Dynamics参考文献 38被引用 24

一句话总结

本文通过利用跨尺度视觉相似性，提出堆叠池化（stacked pooling）和多核池化（multi-kernel pooling），以增强人群计数中的尺度不变性。通过使用更大、多感受野的池化核——尤其是通过堆叠池化——该方法提升了在尺度变化下的特征一致性，在ShanghaiTech-B和UCF-QNRF等基准数据集上，性能优于原始池化方法。

ABSTRACT

In this work, we explore the cross-scale similarity in crowd counting scenario, in which the regions of different scales often exhibit high visual similarity. This feature is universal both within an image and across different images, indicating the importance of scale invariance of a crowd counting model. Motivated by this, in this paper we propose simple but effective variants of pooling module, i.e., multi-kernel pooling and stacked pooling, to boost the scale invariance of convolutional neural networks (CNNs), benefiting much the crowd density estimation and counting. Specifically, the multi-kernel pooling comprises of pooling kernels with multiple receptive fields to capture the responses at multi-scale local ranges. The stacked pooling is an equivalent form of multi-kernel pooling, while, it reduces considerable computing cost. Our proposed pooling modules do not introduce extra parameters into model and can easily take place of the vanilla pooling layer in implementation. In empirical study on two benchmark crowd counting datasets, the stacked pooling beats the vanilla pooling layer in most cases.

研究动机与目标

• 解决由于人群个体大小和密度差异导致的人群计数中显著的尺度变化问题。
• 强调跨图像间跨尺度视觉相似性在人群计数模型中尺度不变性的重要性。
• 在不增加模型参数或超参数的前提下，提升CNN对尺度变化的鲁棒性。
• 开发高效、非参数化的池化模块，可无缝替换现有架构中的标准池化层。

提出的方法

• 引入多核池化，通过并行应用多个池化核（如2×2、4×4、8×8）来捕捉多尺度局部响应。
• 提出堆叠池化作为多核池化的等效、计算高效的替代方案，通过顺序堆叠较小的池化操作实现。
• 确保所提出的池化模块为非参数化，不引入额外可学习参数或超参数。
• 将池化模块集成到现有CNN架构（如Base-M Net、Wide-Net、Deep-Net）中，作为原始池化层的即插即用替代品。
• 使用指数移动平均（EMA）平滑技术可视化并比较训练与验证的学习曲线。
• 通过变化比率度量γ量化尺度不变性，该度量衡量在缩放输入下特征图的一致性。

实验结果

研究问题

• RQ1 人群图像中的跨尺度视觉相似性如何影响人群计数模型对尺度不变性的需求？
• RQ2 能否通过增强池化模块来提升尺度不变性，而无需增加参数或提升模型复杂度？
• RQ3 在人群计数基准测试中，堆叠池化与原始池化及多核池化相比，在性能和泛化能力方面表现如何？
• RQ4 池化核大小对CNN在显著尺度变化下的尺度不变性有何影响？
• RQ5 所提出方法在高密度人群场景中是否表现出特定优势？

主要发现

• 在ShanghaiTech-B和UCF-QNRF数据集上的大多数实验中，堆叠池化均优于原始池化，表现出更强的泛化能力和鲁棒性。
• 与原始池化相比，堆叠池化的特征图变化比率γ显著降低，尤其在高密度图像中，表明其具有更强的尺度不变性。
• 在高密度图像中，堆叠池化中核集合K = {2,4,8}的性能明显优于单个核K = {2}，证实其在严重尺度变化下的有效性。
• 学习曲线显示，尽管训练平均绝对误差（MAE）略高，但基于堆叠池化的模型在早期训练阶段即展现出比原始池化模型更好的泛化能力。
• 堆叠池化模块在更深、更宽的网络（如Deep-Net）中仍保持优异性能，表明其在实际应用中的可扩展性和实用性。
• 消融研究证实，更大的池化感受野可增强尺度不变性，而堆叠池化以更低的计算成本有效捕获了这一优势。