[论文解读] Region-Aware Network: Model Human's Top-Down Visual Perception Mechanism for Crowd Counting

Yuehai Chen, Jing Yang+4 more|arXiv (Cornell University)|Jun 23, 2021

Video Surveillance and Tracking Methods参考文献 55被引用 23

一句话总结

该论文提出RANet，一种区域感知反馈网络，用于建模人类自上而下的视觉感知以实现人群计数。通过生成优先图来突出显示人群区域，并利用区域感知模块计算特征与优先图之间的全局相似性，该模型增强了上下文建模能力并扩大了感受野，尽管面临背景噪声和尺度变化的挑战，仍在多个人群计数基准上实现了最先进性能。

ABSTRACT

Background noise and scale variation are common problems that have been long recognized in crowd counting. Humans glance at a crowd image and instantly know the approximate number of human and where they are through attention the crowd regions and the congestion degree of crowd regions with a global receptive field. Hence, in this paper, we propose a novel feedback network with Region-Aware block called RANet by modeling humans Top-Down visual perception mechanism. Firstly, we introduce a feedback architecture to generate priority maps that provide prior about candidate crowd regions in input images. The prior enables the RANet pay more attention to crowd regions. Then we design Region-Aware block that could adaptively encode the contextual information into input images through global receptive field. More specifically, we scan the whole input images and its priority maps in the form of column vector to obtain a relevance matrix estimating their similarity. The relevance matrix obtained would be utilized to build global relationships between pixels. Our method outperforms state-of-the-art crowd counting methods on several public datasets.

研究动机与目标

• 为解决人群计数中背景噪声和尺度变化的问题，这些问题会阻碍现有深度学习方法的性能。
• 建模类人自上而下的视觉感知，即通过人群区域的先验知识引导注意力。
• 通过利用全局上下文信息扩展有效感受野，以改进特征表示。
• 在标准人群计数基准上实现最先进性能。

提出的方法

• 提出一种反馈架构，通过生成优先图来指示可能的人群区域，从而减少背景干扰。
• 引入区域感知模块，通过将展平的输入图像和优先图作为列向量测量相似性，计算相关性矩阵。
• 利用相关性矩阵重新加权特征，编码全局上下文信息并增强远距离像素之间的关系。
• 采用全局感受野机制，以更好地处理密集人群场景中的尺度变化。
• 结合基于注意力的特征优化与全局上下文聚合，以提升密度估计性能。
• 采用标准回归损失端到端训练，用于密度图预测。

实验结果

研究问题

• RQ1 建模人类自上而下的视觉感知是否能提升复杂场景下的人群计数准确性？
• RQ2 如何在人群计数网络中有效建模全局上下文和长距离依赖关系？
• RQ3 一种能生成优先图的反馈机制是否能增强对人群区域的注意力并抑制背景噪声？
• RQ4 扩展有效感受野在多大程度上能提升对尺度可变人群场景的性能？
• RQ5 通过基于相似性的机制整合全局上下文，是否优于局部或逐像素注意力机制在人群计数中的表现？

主要发现

• RANet在多个公开人群计数数据集（包括UCF-QNRF、ShanghaiTech和UCSD）上实现了最先进性能。
• 所提出的带优先图的反馈网络显著减少了对背景杂乱区域的注意力，提升了模型鲁棒性。
• 区域感知模块通过建模全局关系有效扩展了有效感受野，增强了尺度泛化能力。
• 定量结果表明，所有基准上的MAE和MSE均一致提升，误差率低于先前的最先进方法。
• 消融实验证实，优先图生成和全局上下文建模两个组件对性能提升均至关重要。
• 该方法在高度密集的场景中表现出强大的泛化能力，尤其在尺度变化和遮挡最严重的情况下。