[论文解读] Scene-Specific Pedestrian Detection Based on Parallel Vision

Wenwen Zhang, Kunfeng Wang+3 more|arXiv (Cornell University)|Dec 23, 2017

Advanced Neural Network Applications参考文献 4被引用 4

一句话总结

本文提出一种基于ACP的并行视觉方法，通过在特定场景的虚拟重建中生成合成的、精确标注的行人数据，实现通用行人检测器在真实场景中的性能提升。通过利用增强现实技术模拟逼真的场景和行人运动，该方法显著提高了检测准确率，尤其在Town Center和Atrium等复杂环境中表现突出，证明了虚拟世界生成的合成数据可有效实现领域自适应，而无需真实标注数据。

ABSTRACT

As a special type of object detection, pedestrian detection in generic scenes has made a significant progress trained with large amounts of labeled training data manually. While the models trained with generic dataset work bad when they are directly used in specific scenes. With special viewpoints, flow light and backgrounds, datasets from specific scenes are much different from the datasets from generic scenes. In order to make the generic scene pedestrian detectors work well in specific scenes, the labeled data from specific scenes are needed to adapt the models to the specific scenes. While labeling the data manually spends much time and money, especially for specific scenes, each time with a new specific scene, large amounts of images must be labeled. What's more, the labeling information is not so accurate in the pixels manually and different people make different labeling information. In this paper, we propose an ACP-based method, with augmented reality's help, we build the virtual world of specific scenes, and make people walking in the virtual scenes where it is possible for them to appear to solve this problem of lacking labeled data and the results show that data from virtual world is helpful to adapt generic pedestrian detectors to specific scenes.

研究动机与目标

• 为解决特定真实场景中行人检测缺乏标注训练数据的问题，该问题限制了通用检测器的性能。
• 通过生成大规模、像素级精确的合成数据，克服新场景中人工标注成本高且不一致的难题。
• 利用虚拟世界模拟，实现通用行人检测器向特定场景的有效领域自适应。
• 验证基于增强现实的虚拟场景生成的合成数据能否实现与真实数据相当的检测性能提升。
• 建立一种基于并行视觉原理的可扩展、低成本的场景特定检测器适应流水线。

提出的方法

• 利用真实世界摄像头数据和深度信息，重建特定场景（如Town Center、Atrium、PETS 2009）的三维几何结构。
• 在三维虚拟场景中使用三维人体模型和逼真的行走行为，模拟行人运动。
• 通过基于顶点的三维渲染技术，从多个视角生成合成视频序列，生成带有精确边界框标注的图像。
• 将渲染得到的图像及其对应的真值标签作为行人检测器的训练数据。
• 在虚拟场景生成的合成数据上训练DPM和Faster R-CNN模型，并在Town Center、Atrium和PETS 2009的真实测试集上进行评估。
• 应用ACP（人工社会、计算实验、并行执行）理论，在虚拟世界中模拟和优化检测流水线。

实验结果

研究问题

• RQ1 能否通过特定场景的虚拟重建生成的合成数据，提升通用行人检测器的性能？
• RQ2 在场景特定检测任务中，基于虚拟场景合成数据训练的模型性能与在通用数据集（如Pascal VOC 2007）上训练的模型相比如何？
• RQ3 虚拟场景生成的合成数据在多大程度上缩小了通用场景与特定场景之间的领域差距？
• RQ4 虚拟世界模拟能否在复杂或杂乱场景中实现与人工标注相当的标注精度？
• RQ5 在新部署环境中，使用虚拟场景是否能消除对昂贵人工标注的需求？

主要发现

• 在Town Center虚拟场景中，使用合成数据训练的Faster R-CNN模型平均精度（mAP）达到79.2%，而使用Pascal VOC 2007数据训练的模型仅为45.2%，性能提升达34个百分点。
• 在Atrium数据集中，合成数据将mAP从47.5%（Pascal VOC）提升至67%，提升12.5个百分点，证明了其强大的领域自适应能力。
• 在PETS 2009数据集中，由于行人外观与Pascal VOC相似，性能提升较小（仅0.9个百分点），表明合成数据在领域差距较大的场景中效益最显著。
• DPM模型也表现出显著提升：在Town Center上，mAP从30.8%提升至34.2%；在Atrium上，从45.4%提升至56.2%，验证了跨模型的一致性改进。
• 精确率-召回率曲线表明，合成数据在所有三个评估场景中均持续优于通用数据，尤其在复杂、杂乱环境中优势明显。
• 结果验证了：通过高精度三维渲染与标注的虚拟世界模拟，可作为行人检测领域自适应中人工数据采集的可行、可扩展的替代方案。