[论文解读] Scale-Aware Network with Regional and Semantic Attentions for Crowd Counting under Cluttered Background

Qiaosi Yi, Yunxing Liu+4 more|arXiv (Cornell University)|Jan 5, 2021

Video Surveillance and Tracking Methods参考文献 56被引用 8

一句话总结

该论文提出了一种尺度感知人群计数网络（SACCN），通过整合区域注意力和语义注意力机制，提升了在杂乱背景和尺度变化情况下的计数准确性。通过采用带有非对称多尺度模块的U型编码器-解码器架构、基于区域注意力的密集连接与跳跃连接，以及双注意力模块（RAM和SAM），SACCN在多个基准数据集上实现了最先进性能，在ShanghaiTech数据集上的MAE降低至6.8，MSE降低至10.5。

ABSTRACT

Crowd counting is an important task that shown great application value in public safety-related fields, which has attracted increasing attention in recent years. In the current research, the accuracy of counting numbers and crowd density estimation are the main concerns. Although the emergence of deep learning has greatly promoted the development of this field, crowd counting under cluttered background is still a serious challenge. In order to solve this problem, we propose a ScaleAware Crowd Counting Network (SACCN) with regional and semantic attentions. The proposed SACCN distinguishes crowd and background by applying regional and semantic self-attention mechanisms on the shallow layers and deep layers, respectively. Moreover, the asymmetric multi-scale module (AMM) is proposed to deal with the problem of scale diversity, and regional attention based dense connections and skip connections are designed to alleviate the variations on crowd scales. Extensive experimental results on multiple public benchmarks demonstrate that our proposed SACCN achieves satisfied superior performances and outperform most state-of-the-art methods. All codes and pretrained models will be released soon.

研究动机与目标

• 解决在真实场景中因背景杂乱和显著尺度变化而持续存在的人员计数挑战。
• 提升在复杂视觉环境中人群密度估计与总人数预测的准确性。
• 通过在浅层和深层网络级别使用注意力机制，增强对前景（人群）与背景的区分能力，从而改善特征表示。
• 通过新颖的非对称多尺度模块以及U-Net结构中的注意力引导特征重用，减轻尺度变化的影响。
• 通过集成的架构创新，在公开人群计数基准上实现最先进性能。

提出的方法

• 提出一种具有U型编码器-解码器结构的尺度感知人群计数网络（SACCN），以实现在不同尺度间有效复用特征。
• 在浅层引入区域注意力模块（RAM），结合空间注意力与通道注意力，突出人群区域。
• 在深层设计语义注意力模块（SAM），利用空间与通道自注意力机制，增强人群与背景之间的语义区分能力。
• 采用非对称多尺度模块（AMM），通过1×3与3×1或1×5与5×1卷积操作，以更少参数高效捕捉多尺度特征。
• 在编码器中引入基于区域注意力的密集连接，并在编码器与解码器之间采用基于区域注意力的跳跃连接，以改善特征聚合。
• 采用多阶段特征融合策略，利用不同分辨率特征之间的互补信息，提升对尺度变化的鲁棒性。

实验结果

研究问题

• RQ1 如何在浅层与深层有效应用注意力机制，以区分人群与杂乱背景？
• RQ2 非对称多尺度卷积在降低模型复杂度的同时，能在多大程度上提升特征表示能力？
• RQ3 基于区域注意力的密集连接与跳跃连接在提升特征复用能力并改善尺度变化人群场景下的性能方面有何作用？
• RQ4 RAM、SAM、AMM以及连接模块在缓解背景杂乱与尺度变化影响方面，各自及联合贡献如何？
• RQ5 统一的网络架构是否能在具有挑战性的现实条件下，于多个公开基准上实现卓越性能？

主要发现

• 所提出的SACCN在ShanghaiTech数据集上实现了6.8的平均绝对误差（MAE）和10.5的均方误差（MSE），优于大多数最先进方法。
• 消融实验表明，移除RAM或SAM会导致性能显著下降，证明二者在人群与背景区分中的关键作用。
• 在AMM中使用非对称卷积在减少模型参数的同时保持性能，证明其在效率方面优于标准的3×3或5×5卷积。
• 移除密集连接或跳跃连接会导致准确率下降，证实其在缓解梯度消失和增强特征表示方面的重要性。
• 可视化结果表明，SACCN生成的密度图与真实值相比显著更接近，尤其在杂乱和尺度多样的区域表现更优。
• RAM、SAM、AMM以及注意力引导连接模块的组合实现了最佳性能，各组件在应对杂乱背景与尺度变化方面均发挥独特作用。