[论文解读] Training and Testing Object Detectors with Virtual Images

Yonglin Tian, Xuan Li+2 more|arXiv (Cornell University)|Dec 22, 2017

Advanced Neural Network Applications参考文献 28被引用 3

一句话总结

本文提出了一种基于并行视觉范式的框架，利用计算机图形学生成具有精确标注的虚拟数据集，证明将这些合成图像与真实数据集结合可提升目标检测器的性能。此外，研究还表明，经过精心设计的虚拟数据集可有效测试模型在小目标尺寸和高遮挡等挑战性条件下的鲁棒性。

ABSTRACT

In the area of computer vision, deep learning has produced a variety of state-of-the-art models that rely on massive labeled data. However, collecting and annotating images from the real world has a great demand for labor and money investments and is usually too passive to build datasets with specific characteristics, such as small area of objects and high occlusion level. Under the framework of Parallel Vision, this paper presents a purposeful way to design artificial scenes and automatically generate virtual images with precise annotations. A virtual dataset named ParallelEye is built, which can be used for several computer vision tasks. Then, by training the DPM (Deformable Parts Model) and Faster R-CNN detectors, we prove that the performance of models can be significantly improved by combining ParallelEye with publicly available real-world datasets during the training phase. In addition, we investigate the potential of testing the trained models from a specific aspect using intentionally designed virtual datasets, in order to discover the flaws of trained models. From the experimental results, we conclude that our virtual dataset is viable to train and test the object detectors.

研究动机与目标

• 解决真实世界数据集在目标检测中的局限性，例如标注成本高、多样性有限，以及缺乏特定特征（如小目标尺寸或高遮挡）的问题。
• 通过生成具有受控环境与物体级别变化的精确标注虚拟图像，克服人工标注的主观性与不一致性。
• 开发一个专为在特定挑战性视觉条件下训练和测试目标检测器而设计的虚拟数据集（ParallelEye）。
• 研究使用合成数据集不仅用于训练，也用于在受控场景中评估模型鲁棒性的可行性。
• 证明将虚拟数据集与真实数据集结合可提升检测器性能，并且虚拟数据集能够暴露模型在特定条件下的弱点。

提出的方法

• 使用先进的计算机图形技术设计人工场景，生成具有受控属性（如目标尺寸、遮挡水平和纹理变化）的虚拟图像。
• 自动为虚拟场景中的所有物体生成精确的边界框标注，确保高质量的监督数据。
• 构建包含多样化配置的ParallelEye虚拟数据集，包括强调小目标的子数据集（ParallelEye_01）、中等遮挡（ParallelEye_02）和高遮挡（ParallelEye_03）。
• 使用ParallelEye与真实世界数据集（KITTI、VOC、COCO）的组合训练目标检测器（DPM和Faster R-CNN），以评估性能提升。
• 在真实世界基准（如KITTI）和专门设计的虚拟测试集上测试训练后的模型，以评估其在特定条件下的鲁棒性。
• 使用平均精度（AP）作为主要指标，比较不同训练与测试配置下的模型性能。

实验结果

研究问题

• RQ1 在并行视觉框架下生成的虚拟数据集，与真实世界数据集结合后，是否能提升目标检测器的性能？
• RQ2 包含特定特征（如小目标尺寸、高遮挡）的合成数据，对检测器泛化能力与鲁棒性有何影响？
• RQ3 在多大程度上，专门设计的虚拟数据集可作为诊断工具，用于评估模型在处理罕见或挑战性视觉条件时的弱点？
• RQ4 当从训练数据中移除小目标或遮挡目标时，模型在具有类似特征的虚拟数据集上的性能会受到何种影响？
• RQ5 虚拟数据集是否可用于系统性评估模型在受控极端视觉条件下（在真实世界数据集中不常见）的行为？

主要发现

• 使用VGG-16训练Faster R-CNN时，结合ParallelEye与真实世界数据集（KITTI）将KITTI测试集的AP从0.741提升至0.757；使用ResNet-50时，AP从0.785提升至0.798。
• 在KITTI与ParallelEye的混合数据集上训练DPM，性能从仅使用KITTI的0.516 AP提升至0.527 AP，表明合成数据带来了一致的性能增益。
• 在ParallelEye_01（小目标）上测试时，使用完整KITTI数据集训练的模型AP为0.485，但当训练数据中移除小目标后，AP显著下降至0.256，表明对小目标检测具有高度敏感性。
• 在ParallelEye_03（高遮挡）上，完整数据训练的模型AP为0.585，但当遮挡目标被排除在训练之外时，AP下降至0.467，表现出20.2%的AP下降率，凸显模型对遮挡的脆弱性。
• 当移除小目标时，AP下降率在ParallelEye_01上最高（47.2%），表明模型在低面积场景下对小目标训练数据最为敏感。
• 结果表明，虚拟数据集不仅在训练中有效，还可作为强大的诊断工具，用于识别模型在特定受控视觉条件下存在的弱点。