[论文解读] Weakly-supervised Learning of Mid-level Features for Pedestrian Attribute Recognition and Localization

Kai Yu, Biao Leng+3 more|arXiv (Cornell University)|Nov 17, 2016

Advanced Neural Network Applications参考文献 16被引用 12

一句话总结

该论文提出了一种弱监督框架 WPAL-network，通过在 GoogLeNet 中引入新型检测层，仅使用图像级别标签即可发现与中层属性相关的特征。通过回归检测响应幅度并融合由相关性强度加权的激活图，该方法在无需边界框标注的情况下，实现了具有竞争力的行人属性识别与定位，展示了对眼镜、背包等细粒度属性的有效定位。

ABSTRACT

State-of-the-art methods treat pedestrian attribute recognition as a multi-label image classification problem. The location information of person attributes is usually eliminated or simply encoded in the rigid splitting of whole body in previous work. In this paper, we formulate the task in a weakly-supervised attribute localization framework. Based on GoogLeNet, firstly, a set of mid-level attribute features are discovered by novelly designed detection layers, where a max-pooling based weakly-supervised object detection technique is used to train these layers with only image-level labels without the need of bounding box annotations of pedestrian attributes. Secondly, attribute labels are predicted by regression of the detection response magnitudes. Finally, the locations and rough shapes of pedestrian attributes can be inferred by performing clustering on a fusion of activation maps of the detection layers, where the fusion weights are estimated as the correlation strengths between each attribute and its relevant mid-level features. Extensive experiments are performed on the two currently largest pedestrian attribute datasets, i.e. the PETA dataset and the RAP dataset. Results show that the proposed method has achieved competitive performance on attribute recognition, compared to other state-of-the-art methods. Moreover, the results of attribute localization are visualized to understand the characteristics of the proposed method.

研究动机与目标

• 解决在低分辨率、姿态多变及遮挡的监控图像中进行行人属性识别的挑战。
• 实现在无需边界框标注情况下的行人属性弱监督定位，因为边界框标注对于细粒度属性而言成本高且易产生歧义。
• 发现与属性高度相关的中层语义特征，以提升识别与定位性能。
• 使模型即使在裁剪图像中行人位置或姿态不规则时，也能聚焦于相关身体部位。
• 通过激活图融合与相关性加权，估计属性的粗略形状与信息区域。

提出的方法

• 在 GoogLeNet 中间层引入检测层，仅使用图像级别标签学习用于属性的中层特征。
• 采用基于最大池化的弱监督目标检测技术，在无边界框监督的情况下训练检测层。
• 使用灵活的空间金字塔池化（FSPP）对帽子等属性施加空间约束，提升定位准确性。
• 通过回归学习到的中层特征的检测响应幅度来预测属性标签。
• 通过聚类融合后的激活图来推断属性位置与粗略形状，其中融合权重为属性与中层检测器之间的相关性强度。
• 通过组合学习到的中层特征的存在可能性图，估计行人的信息区域，增强对背景与姿态变化的鲁棒性。

实验结果

研究问题

• RQ1 通过弱监督方式发现的中层特征是否能提升行人属性识别的准确性？
• RQ2 所提方法是否能在无边界框标注的情况下成功定位细粒度属性（如眼镜、帽子、鞋子）？
• RQ3 使用相关性加权的激活图融合在估计属性形状与位置方面有多有效？
• RQ4 低层与高层检测器对属性识别的贡献程度如何？低层特征是否能提升对细粒度属性的性能？
• RQ5 当行人在裁剪图像中位置异常或部分遮挡时，模型是否仍能保持鲁棒性？

主要发现

• 所提出的 WPAL-network 在 PETA 和 RAP 数据集上实现了具有竞争力的属性识别性能，尽管仅使用图像级别标签，其表现仍优于或匹配当前最先进方法。
• 该方法成功实现了对眼镜、帽子、鞋子等细粒度属性的定位，如定性结果所示，证明了其在弱监督下的有效定位能力。
• 即使人物在图像中旋转或偏离中心位置，模型也能通过融合中层特征的存在可能性图准确估计行人身体区域。
• 高层检测器对属性预测贡献最大，但低层检测器也发挥了有意义的作用，这一点在特定属性的相关性矩阵中排名靠前的低层通道中得到验证。
• 相关性强度矩阵显示，'戴眼镜'和'上半身：红色'等属性与特定中层特征检测器强相关，验证了模型的可解释性。
• 定位失败案例主要源于遮挡或属性定义模糊，表明引入上下文或关系建模仍有改进空间。