[论文解读] PerMO: Perceiving More at Once from a Single Image for Autonomous Driving

Feixiang Lu, Zongdai Liu+9 more|arXiv (Cornell University)|Jul 16, 2020

Advanced Neural Network Applications参考文献 61被引用 4

一句话总结

PerMO 提出了一种端到端的深度学习框架，通过结合基于部件的可变形模型与密集的2D/3D对应预测，实现了从单张图像进行高精度3D车辆感知。该方法在2D实例分割（+4.4 mAP）、6-DoF姿态估计（+9.11分）和3D检测（+1.37 mAP）方面达到当前最优性能，在消费级GPU上实现接近交互式的推理速度，并公开发布了数据集和代码库。

ABSTRACT

We present a novel approach to detect, segment, and reconstruct complete textured 3D models of vehicles from a single image for autonomous driving. Our approach combines the strengths of deep learning and the elegance of traditional techniques from part-based deformable model representation to produce high-quality 3D models in the presence of severe occlusions. We present a new part-based deformable vehicle model that is used for instance segmentation and automatically generate a dataset that contains dense correspondences between 2D images and 3D models. We also present a novel end-to-end deep neural network to predict dense 2D/3D mapping and highlight its benefits. Based on the dense mapping, we are able to compute precise 6-DoF poses and 3D reconstruction results at almost interactive rates on a commodity GPU. We have integrated these algorithms with an autonomous driving system. In practice, our method outperforms the state-of-the-art methods for all major vehicle parsing tasks: 2D instance segmentation by 4.4 points (mAP), 6-DoF pose estimation by 9.11 points, and 3D detection by 1.37. Moreover, we have released all of the source code, dataset, and the trained model on Github.

研究动机与目标

• 为解决在自动驾驶场景中仅使用单张图像时，严重遮挡下的鲁棒3D车辆感知挑战。
• 开发一种基于部件的可变形车辆模型，以增强对部分遮挡的鲁棒性，并实现精确的3D重建。
• 构建大规模、密集的2D/3D对应数据集，用于训练和基准测试3D感知模型。
• 实现在接近交互速度下，对实例分割、6-DoF姿态估计和纹理化3D重建的端到端2D/3D映射预测。
• 将该方法集成到自动驾驶系统和模拟器中，以实现实际部署与数据驱动的仿真。

提出的方法

• 该方法提出了一种新颖的基于部件的可变形车辆模型，将车辆分解为语义部件（如车身、轮胎），以提升遮挡鲁棒性。
• 采用两阶段密集2D/3D对应预测：首先识别部件级别的区域，然后在每个部件内预测像素级对应关系。
• 通过端到端训练深度神经网络，预测密集的2D到3D映射，利用几何先验和对称性实现精确重建。
• 框架采用双向形变策略——车身部件使用ARAP，轮胎使用ICP，将模板CAD模型对齐至真实车辆，从而构建广义的PCA形状模型。
• 通过预测的对应关系进行3D重建，随后进行纹理映射和模型优化，生成度量准确且带纹理的3D模型。
• 系统针对实时推理进行了优化，在消费级GPU上实现接近交互速度，运行时间与场景中检测到的车辆数量呈线性关系。

实验结果

研究问题

• RQ1 基于部件的可变形模型是否能显著提升在单图像场景下严重遮挡条件下的3D车辆感知鲁棒性？
• RQ2 端到端深度学习在多大程度上能有效预测密集的2D/3D对应关系，以实现从单张图像的精确3D重建？
• RQ3 所提方法在2D实例分割、6-DoF姿态估计和3D检测方面，与当前最优方法相比性能提升程度如何？
• RQ4 大规模密集2D/3D对应数据集是否能显著提升自动驾驶中3D感知模型的性能？
• RQ5 该方法在真实自动驾驶系统和模拟器中的可扩展性与效率如何？

主要发现

• PerMO在2D实例分割任务中相比当前最优方法mAP提升4.4分，表明其在实例级识别与定位方面具有更优性能。
• 在A3DP-Abs指标下，6-DoF姿态估计性能提升9.11分，表明在复杂遮挡条件下3D物体姿态估计更加精确。
• 在3D车辆检测任务中，PerMO实现mAP提升1.37分，表明从单张图像进行3D边界框预测的准确性显著增强。
• 该框架在消费级GPU上实现接近交互式的推理性能，运行时间与场景中车辆数量呈线性关系。
• 所提出的包含密集2D/3D对应关系和部件级标注的数据集已公开发布，并已用于自动驾驶仿真与行为推理。
• 将PerMO集成到自动驾驶系统和模拟器中，验证了其在真实驾驶场景下的实际应用价值与鲁棒性。