[论文解读] Part-level Car Parsing and Reconstruction from Single Street View

Qichuan Geng, Zhang, Hong+6 more|arXiv (Cornell University)|Nov 27, 2018

3D Shape Modeling and Analysis参考文献 45被引用 5

一句话总结

该论文提出了一种新颖的两阶段框架，用于从单张街景图像中联合估计3D汽车姿态与形状，并进行部件级解析，通过隐式域自适应将部件标注从合成图像迁移至真实图像，并采用包含部件特征和3D损失的3D感知网络。该方法实现了最先进性能，在ApolloCar3D数据集的A3DP-Abs指标上分别优于3D-RCNN和DeepMANTA 12.57和8.91个百分点。

ABSTRACT

Part information has been shown to be resistant to occlusions and viewpoint changes, which is beneficial for various vision-related tasks. However, we found very limited work in car pose estimation and reconstruction from street views leveraging the part information. There are two major contributions in this paper. Firstly, we make the first attempt to build a framework to simultaneously estimate shape, translation, orientation, and semantic parts of cars in 3D space from a single street view. As it is labor-intensive to annotate semantic parts on real street views, we propose a specific approach to implicitly transfer part features from synthesized images to real street views. For pose and shape estimation, we propose a novel network structure that utilizes both part features and 3D losses. Secondly, we are the first to construct a high-quality dataset that contains 348 different car models with physical dimensions and part-level annotations based on global and local deformations. Given these models, we further generate 60K synthesized images with randomization of orientation, illumination, occlusion, and texture. Our results demonstrate that our part segmentation performance is significantly improved after applying our implicit transfer approach. Our network for pose and shape estimation achieves the state-of-the-art performance on the ApolloCar3D dataset and outperforms 3D-RCNN and DeepMANTA by 12.57 and 8.91 percentage points in terms of mean A3DP-Abs.

研究动机与目标

• 解决在遮挡和视角变化下，利用部件级语义信息实现鲁棒的3D汽车姿态与形状估计的挑战。
• 开发一种无需人工标注即可将部件级标注从合成图像迁移至真实街景图像的方法。
• 构建一个高质量、部件级标注的3D汽车数据集，包含物理尺寸与形变建模。
• 通过整合部件级表征与3D监督损失，提升3D汽车估计性能。

提出的方法

• 提出两阶段框架：第一阶段通过从合成图像到真实图像的隐式域自适应进行部件级解析；第二阶段利用部件特征与3D损失进行3D姿态与形状估计。
• 采用新型网络架构，融合部件级语义特征与3D监督，以提升3D形状与姿态估计性能。
• 设计数据生成流水线，从348个真实汽车模型中合成60,000张图像，随机化光照、遮挡、纹理与视角。
• 使用3D损失函数监督预测的3D形状，提升几何一致性。
• 通过循环一致性对抗网络实现隐式特征迁移，对齐合成图像与真实图像之间的部件特征。
• 利用新构建的数据集，包含348个汽车模型、物理尺寸以及基于全局与局部形变的部件级标注。

实验结果

研究问题

• RQ1 在单张街景图像中，部件级语义解析是否能提升遮挡与视角变化下的3D汽车姿态与形状估计性能？
• RQ2 隐式域自适应在将部件标注从合成图像迁移至真实街景图像方面效果如何？
• RQ3 与仅使用实例级特征相比，部件级特征与3D监督损失在多大程度上提升了3D汽车重建精度？
• RQ4 统一框架能否从单张图像中联合估计3D形状、姿态与部件级语义？
• RQ5 与3D-RCNN和DeepMANTA等最先进方法相比，所提方法在3D检测与姿态精度方面表现如何？

主要发现

• 所提方法在ApolloCar3D测试集上达到32.87%的平均A3DP-Abs得分，分别优于3D-RCNN（16.44%）与DeepMANTA（20.10%）12.57与8.91个百分点。
• 消融实验表明，部件级表征与3D损失联合提升性能，A3DP-Abs从基线的23.07%提升至32.87%（同时使用两组件）。
• 网络在AOS与OS指标上分别达到77.89%与97.88%，在相同检测AP设置下，较3D-RCNN分别提升4.19与5.27个百分点。
• 通过隐式域自适应，部件级解析性能显著提升，使合成标注在真实图像上得到有效利用。
• 该框架成功重建出包含70个语义部件的3D汽车形状，以点云或三角网格形式呈现，支持细粒度分析。
• 所构建的348个汽车模型数据集，包含部件级标注与物理尺寸，为未来基于部件的3D汽车理解研究提供了支持。