[论文解读] PSC-Net: Learning Part Spatial Co-occurrence for Occluded Pedestrian Detection

Jin Xie, Yanwei Pang+4 more|arXiv (Cornell University)|Jan 25, 2020

Advanced Neural Network Applications参考文献 55被引用 5

一句话总结

PSC-Net 提出了一种基于图卷积网络（GCN）的部件空间共现（PSC）模块，显式建模行人身体部件之间的互部件及部件内部的空间关系，以提升遮挡情况下的行人检测性能。该方法无需部件标注或可见边界框（VBB）监督，即在 CityPersons（HO set）和 Caltech（HO set）上实现了最先进性能，相较于之前的 SOTA 方法，平均漏检率分别降低了 4.0% 和 3.1%。

ABSTRACT

Detecting pedestrians, especially under heavy occlusions, is a challenging computer vision problem with numerous real-world applications. This paper introduces a novel approach, termed as PSC-Net, for occluded pedestrian detection. The proposed PSC-Net contains a dedicated module that is designed to explicitly capture both inter and intra-part co-occurrence information of different pedestrian body parts through a Graph Convolutional Network (GCN). Both inter and intra-part co-occurrence information contribute towards improving the feature representation for handling varying level of occlusions, ranging from partial to severe occlusions. Our PSC-Net exploits the topological structure of pedestrian and does not require part-based annotations or additional visible bounding-box (VBB) information to learn part spatial co-occurrence. Comprehensive experiments are performed on two challenging datasets: CityPersons and Caltech datasets. The proposed PSC-Net achieves state-of-the-art detection performance on both. On the heavy occluded ( extbf{HO}) set of CityPerosns test set, our PSC-Net obtains an absolute gain of 4.0\% in terms of log-average miss rate over the state-of-the-art with same backbone, input scale and without using additional VBB supervision. Further, PSC-Net improves the state-of-the-art from 37.9 to 34.8 in terms of log-average miss rate on Caltech ( extbf{HO}) test set.

研究动机与目标

• 为解决在自动驾驶和监控等真实场景中检测严重遮挡行人这一长期存在的挑战。
• 通过显式建模身体部件之间及部件内部的空间共现关系，提升遮挡行人特征表示能力。
• 设计一种利用行人拓扑结构的模块，而无需依赖基于部件的标注或可见边界框（VBB）信息。
• 在标准基准上实现最先进性能，尤其在严重遮挡条件下表现优异。
• 证明空间共现学习可提升行人检测的鲁棒性，超越仅依赖部件检测分数的方法。

提出的方法

• PSC-Net 框架在两阶段 Faster R-CNN 主干网络中集成了基于图卷积网络（GCNs）的专用部件空间共现（PSC）模块。
• PSC 模块通过构建图结构来建模空间共现关系，其中节点代表身体部件（如头部、躯干、四肢），边编码空间邻接关系。
• 通过将身体部件内部的子区域（如头部中的眼睛和耳朵）视为子图中的节点，实现对部件内部共现关系的建模，支持细粒度的空间推理。
• GCN 在图结构上处理特征表示，聚合上下文信息，从而在遮挡情况下增强特征鲁棒性。
• 训练过程中仅使用标准的完整人体边界框标注，避免了对部件级别标注或 VBB 监督的需求。
• PSC 模块被集成到 RPN 和 ROI Head 阶段，使共现感知特征能够指导候选框生成与分类。

实验结果

研究问题

• RQ1 显式建模行人身体部件之间及部件内部的空间共现关系，是否能提升严重遮挡情况下的检测性能？
• RQ2 基于 GCN 的模块是否能在无需部件级别标注或可见边界框（VBB）监督的情况下，学习到有效的共现模式？
• RQ3 引入人体的拓扑结构是否能带来更鲁棒的特征表示，从而提升遮挡行人检测性能？
• RQ4 数据驱动方法是否能超越仅依赖部件检测分数或注意力机制的现有方法？
• RQ5 所提出的 PSC-Net 在不同基准（如 CityPersons 和 Caltech）上，是否在不同遮挡水平下均具备良好的泛化能力？

主要发现

• 在 CityPersons（HO）测试集上，PSC-Net 实现了 37.4 的平均对数漏检率，相较于相同主干网络和输入尺度下的先前 SOTA 方法 MGAN [34]，绝对提升了 4.0%。
• 在 Caltech（HO）测试集上，PSC-Net 将平均对数漏检率从 37.9 降低至 34.8，创下新的 SOTA 性能记录。
• 即使未使用 VBB 监督，PSC-Net 在 CityPersons（HO）集上仍比 MGAN [34] 提升 3.6%，在 Caltech（HO）集上提升 3.1%。
• PSC-Net 在 CityPersons 的 R 和 HO 两个测试集上均表现优异，平均对数漏检率分别为 10.6 和 50.2，优于在相同设置下的 Adaptive-NMS 和 MGAN。
• 图 5 的定性结果表明，PSC-Net 在严重遮挡情况下产生的检测结果比 AR-Ped [3] 和 MGAN [34] 更为准确和完整。
• 消融实验验证了互部件与部件内部共现建模对性能提升均有显著贡献，证实了 PSC 模块设计的有效性。