[论文解读] Pedestrian Attribute Recognition in Video Surveillance Scenarios Based on View-attribute Attention Localization

Wei‐Chen Chen, Xinyi Yu+1 more|arXiv (Cornell University)|Jun 11, 2021

Video Surveillance and Tracking Methods参考文献 52被引用 4

一句话总结

本文提出了一种名为视图-属性注意力定位（VALA）的新方法，用于视频监控中的行人属性识别。该方法通过利用视图特定注意力和区域注意力，提升了属性定位与识别的准确性。通过将视图预测与注意力机制相结合，VALA在RAP、RAPv2和PA-100K数据集上实现了最先进性能，通过联合视图与空间注意力监督，展现出卓越的定位与识别能力。

ABSTRACT

Pedestrian attribute recognition in surveillance scenarios is still a challenging task due to the inaccurate localization of specific attributes. In this paper, we propose a novel view-attribute localization method based on attention (VALA), which utilizes view information to guide the recognition process to focus on specific attributes and attention mechanism to localize specific attribute-corresponding areas. Concretely, view information is leveraged by the view prediction branch to generate four view weights that represent the confidences for attributes from different views. View weights are then delivered back to compose specific view-attributes, which will participate and supervise deep feature extraction. In order to explore the spatial location of a view-attribute, regional attention is introduced to aggregate spatial information and encode inter-channel dependencies of the view feature. Subsequently, a fine attentive attribute-specific region is localized, and regional weights for the view-attribute from different spatial locations are gained by the regional attention. The final view-attribute recognition outcome is obtained by combining the view weights with the regional weights. Experiments on three wide datasets (RAP, RAPv2, and PA-100K) demonstrate the effectiveness of our approach compared with state-of-the-art methods.

研究动机与目标

• 解决在监控条件下行人属性识别中属性定位不准确的挑战。
• 通过利用多视图信息与注意力机制，聚焦于相关身体区域，提升识别性能。
• 开发一个统一框架，通过注意力监督联合优化视图估计与属性定位。
• 通过建模通道间依赖关系与属性特定区域的空间注意力，增强特征表示。

提出的方法

• 一个视图预测分支生成四个视图权重，分别代表从不同视角（正面、背面、左侧、右侧）对属性的置信度。
• 视图权重与特征图融合，形成视图-属性表示，通过注意力监督引导深层特征提取。
• 区域注意力应用于编码视图特定特征中的空间依赖关系与通道间关系，以定位与属性相关的区域。
• 通过区域注意力生成空间感知的区域权重，从而精炼属性特定身体部位的定位。
• 通过加权融合机制结合视图权重与区域权重，实现最终的属性识别。
• 模型在三个基准数据集（RAP、RAPv2和PA-100K）上进行端到端训练，同时接受来自视图与属性定位的监督。

实验结果

研究问题

• RQ1 如何有效利用多视图信息以提升行人识别中的属性定位？
• RQ2 注意力机制是否能增强监控视频中属性特定身体部位的定位？
• RQ3 来自视图预测与区域注意力的联合监督在多大程度上提升了识别准确率？
• RQ4 所提出的视图-属性注意力机制与传统注意力或定位方法相比，在标准基准上的表现如何？

主要发现

• VALA在RAP、RAPv2和PA-100K数据集上均实现了最先进性能，在属性识别准确率方面优于现有方法。
• 视图权重与区域注意力的融合显著提升了与属性相关身体部位的定位精度。
• 视图预测分支通过提供置信度感知的指导，增强了模型在不同行人视角下的鲁棒性。
• 消融实验证实，视图监督与区域注意力均对性能提升有显著贡献。
• 由于采用基于注意力的定位与视图感知特征学习，该方法在多样化监控场景中表现出强大的泛化能力。