[论文解读] VLPD: Context-Aware Pedestrian Detection via Vision-Language Semantic Self-Supervision

Mengyin Liu, Jie Jiang+2 more|arXiv (Cornell University)|Apr 6, 2023

Video Surveillance and Tracking Methods被引用 6

一句话总结

本文提出VLPD，一种用于上下文感知行人检测的视觉-语言自监督方法，通过基于CLIP的跨模态映射生成上下文物体的伪语义标签，实现在无需人工标注的情况下显式建模语义上下文。通过结合自监督视觉-语言语义（VLS）分割与原型语义对比（PSC）学习，VLPD在CityPersons和Caltech基准上达到最先进性能，尤其在检测小尺度及严重遮挡行人方面表现优异。

ABSTRACT

Detecting pedestrians accurately in urban scenes is significant for realistic applications like autonomous driving or video surveillance. However, confusing human-like objects often lead to wrong detections, and small scale or heavily occluded pedestrians are easily missed due to their unusual appearances. To address these challenges, only object regions are inadequate, thus how to fully utilize more explicit and semantic contexts becomes a key problem. Meanwhile, previous context-aware pedestrian detectors either only learn latent contexts with visual clues, or need laborious annotations to obtain explicit and semantic contexts. Therefore, we propose in this paper a novel approach via Vision-Language semantic self-supervision for context-aware Pedestrian Detection (VLPD) to model explicitly semantic contexts without any extra annotations. Firstly, we propose a self-supervised Vision-Language Semantic (VLS) segmentation method, which learns both fully-supervised pedestrian detection and contextual segmentation via self-generated explicit labels of semantic classes by vision-language models. Furthermore, a self-supervised Prototypical Semantic Contrastive (PSC) learning method is proposed to better discriminate pedestrians and other classes, based on more explicit and semantic contexts obtained from VLS. Extensive experiments on popular benchmarks show that our proposed VLPD achieves superior performances over the previous state-of-the-arts, particularly under challenging circumstances like small scale and heavy occlusion. Code is available at https://github.com/lmy98129/VLPD.

研究动机与目标

• 解决在复杂城市场景中检测行人时，因人类形态物体及遮挡/小尺度行人导致的误报和漏检问题。
• 克服先前上下文感知检测器依赖昂贵人工标注或隐式局部上下文建模的局限性。
• 通过利用视觉-语言模型进行自监督学习，实现显式、语义感知的上下文理解，消除对额外标注的需求。
• 通过基于原型的对比学习，利用语义感知特征增强行人与混淆性上下文元素（如交通标志、灯柱）之间的判别能力。

提出的方法

• 提出一种自监督视觉-语言语义（VLS）分割方法，利用视觉-语言模型（如CLIP）的跨模态映射为上下文物体生成伪语义标签，实现行人检测与语义分割的联合学习。
• 利用CLIP的视觉-语言对齐能力，将像素级特征映射到语义类别（如“交通标志”、“灯柱”）的语言嵌入，生成无需人工标注的上下文物体伪标签。
• 引入原型语义对比（PSC）学习，将像素级行人特征视为查询，基于VLS预测的上下文语义，将其拉近至正样本语义类别（如“人”）的原型，同时推远至负样本原型（如“标志”、“灯柱”）。
• 通过像素级聚合计算类别特定原型，利用显式语义线索实现行人与上下文物体之间的全局判别。
• 采用多任务损失端到端训练模型，损失函数包含检测损失（如边界框预测）以及自监督分割与对比学习损失。
• 利用预训练的CLIP作为视觉编码器初始化模型，并在伪标签生成过程中支持零样本迁移至语义类别。

实验结果

研究问题

• RQ1 能否有效利用视觉-语言模型在无需人工标注上下文数据的情况下，为行人检测生成语义上下文标签？
• RQ2 显式语义上下文建模是否能提升在小尺度或严重遮挡行人等挑战性场景下的检测性能？
• RQ3 基于原型的对比学习是否能增强行人与场景中混淆性非人类物体之间的判别能力？
• RQ4 通过视觉-语言对齐实现的自监督上下文建模是否优于依赖弱监督或潜在上下文表示的现有方法？

主要发现

• VLPD在CityPersons基准上达到新的最先进水平，Reasonable子集错误率降至9.4%，Small子集为10.9%，优于SMPD和EGCL等先前方法。
• 在Caltech基准上，VLPD在Reasonable子集错误率为2.3%，在Heavy Occlusion子集为37.7%，优于使用额外标注的PedHunter和DMSFLN等方法。
• 该方法在最具挑战性的子集上显著提升性能，尤其在严重遮挡（CityPersons中HO子集错误率为34.9%）和小尺度检测（错误率10.9%）场景下表现稳健，展现出对尺度与遮挡的强鲁棒性。
• 消融实验表明，VLS与PSC组件均不可或缺：VLS提供准确的语义上下文标签，PSC增强特征判别能力。
• VLPD在无需任何人工标注上下文标签的情况下取得上述结果，证明了视觉-语言自监督在上下文建模中的有效性。
• 模型在不同基准间泛化能力强，在CityPersons和Caltech上均保持优异性能，表明所提出的自监督框架具备良好的可迁移性与鲁棒性。