[论文解读] Training Object Detectors on Synthetic Images Containing Reflecting Materials

Sebastian Hartwig, Timo Ropinski|arXiv (Cornell University)|Mar 29, 2019

3D Surveying and Cultural Heritage被引用 5

一句话总结

本文研究了在包含镜面（反光）材质（如浴室洁具）的合成图像上训练目标检测器，采用三种渲染策略：非物理BRDF结合环境贴图、领域随机化以及基于物理的蒙特卡洛光线追踪。主要发现是，只有将照片级真实感渲染与领域随机化相结合，才能使检测器有效泛化到真实世界图像，从而在高度相似物体（如马桶、小便池和 bidet）的子类检测中取得优异性能。

ABSTRACT

One of the grand challenges of deep learning is the requirement to obtain large labeled training data sets. While synthesized data sets can be used to overcome this challenge, it is important that these data sets close the reality gap, i.e., a model trained on synthetic image data is able to generalize to real images. Whereas, the reality gap can be considered bridged in several application scenarios, training on synthesized images containing reflecting materials requires further research. Since the appearance of objects with reflecting materials is dominated by the surrounding environment, this interaction needs to be considered during training data generation. Therefore, within this paper we examine the effect of reflecting materials in the context of synthetic image generation for training object detectors. We investigate the influence of rendering approach used for image synthesis, the effect of domain randomization, as well as the amount of used training data. To be able to compare our results to the state-of-the-art, we focus on indoor scenes as they have been investigated extensively. Within this scenario, bathroom furniture is a natural choice for objects with reflecting materials, for which we report our findings on real and synthetic testing data.

研究动机与目标

• 为解决训练适用于镜面材质的鲁棒目标检测器的挑战，此类材质会反射环境，从而增加检测难度。
• 探究合成数据是否能弥合高反射性物体（如不锈钢或镀铬浴室洁具）的现实差距。
• 评估不同渲染技术（非物理BRDF、领域随机化、基于物理的光线追踪）在合成数据上训练检测器的有效性。
• 仅使用合成训练数据，实现在真实图像中对高度相似的浴室物体（如马桶、小便池、bidet）进行子类检测。
• 验证训练检测器在真实世界数据上的泛化能力，超越其训练分布。

提出的方法

• 采用三种图像合成策略：(1) 基于BRDF的渲染结合环境贴图，(2) 领域随机化以使模型暴露于多样化环境，(3) 结合领域随机化的基于物理的蒙特卡洛光线追踪。
• 训练数据通过具有镜面材质的浴室家具3D模型生成，渲染条件在不同光照和环境设置下变化。
• 使用Faster R-CNN模型，分类任务采用焦点损失，边界框回归任务采用平滑L1损失，批量大小为8。
• 对本研究提出的合成数据集（SC）训练的检测器与Zhang等人[26]的大规模基于物理的合成数据集训练的检测器进行了对比评估。
• 在作者自建数据集和ADE20K数据集的真实图像上评估性能，主要指标为mAP@.5。
• 为实现跨数据集比较，对SC数据集的类别标签进行了重映射，以与ADE20K和Zhang等人数据集对齐。

实验结果

研究问题

• RQ1 能否使用包含镜面材质的合成图像训练出在真实世界图像中泛化良好的目标检测器？
• RQ2 渲染方法的选择（非物理 vs. 基于物理）如何影响检测器的泛化性能？
• RQ3 在使用具有反光材质的合成数据训练时，领域随机化对检测器性能有何影响？
• RQ4 在合成数据上训练的检测器能否在真实图像中区分高度相似的浴室洁具子类？
• RQ5 在专用合成数据集上训练的检测器性能，与在通用大规模合成数据集上训练的检测器相比如何？

主要发现

• 在作者自建数据集的真实图像上，基于SC数据集训练的检测器mAP@.5达到0.86，表明其在子类检测挑战中表现优异。
• 在ADE20K真实图像上，Zhang等人[26]数据集训练的检测器表现优于SC数据集训练的检测器（mAP@.5 = 0.84 vs. 0.60），表明其在多样化真实世界场景中泛化能力更强。
• SC数据集训练的检测器在ADE20K图像上表现不佳（mAP@.5 = 0.60），表明其泛化能力受限于特定训练分布。
• Zhang等人数据集训练的检测器在作者真实图像上表现较差（mAP@.5 = 0.47），表明其与子类检测任务的对齐性不足。
• 只有将基于物理的渲染与领域随机化相结合，才能实现向真实世界图像的有效泛化，而非物理方法无法弥合现实差距。
• 本研究证实，当渲染保真度与领域随机化恰当结合时，使用合成数据实现对高度相似镜面浴室洁具的子类检测是可行的。