[论文解读] Reconstructing Vechicles from a Single Image: Shape Priors for Road Scene Understanding

J. Krishna Murthy, G. V. Sai Krishna+2 more|arXiv (Cornell University)|Sep 29, 2016

Advanced Vision and Imaging参考文献 15被引用 11

一句话总结

该论文提出了一种形状感知的调整框架，通过利用学习到的形状先验和基于CNN级联网络的关键点检测，从单张RGB图像中重建3D车辆形状与位姿。通过解耦位姿与形状估计，并采用基于IRLS的鲁棒优化方法，该方法在KITTI基准上相比单目和立体方法将平均绝对位姿误差降低了最多27%，达到最先进性能。

ABSTRACT

We present an approach for reconstructing vehicles from a single (RGB) image, in the context of autonomous driving. Though the problem appears to be ill-posed, we demonstrate that prior knowledge about how 3D shapes of vehicles project to an image can be used to reason about the reverse process, i.e., how shapes (back-)project from 2D to 3D. We encode this knowledge in \emph{shape priors}, which are learnt over a small keypoint-annotated dataset. We then formulate a shape-aware adjustment problem that uses the learnt shape priors to recover the 3D pose and shape of a query object from an image. For shape representation and inference, we leverage recent successes of Convolutional Neural Networks (CNNs) for the task of object and keypoint localization, and train a novel cascaded fully-convolutional architecture to localize vehicle \emph{keypoints} in images. The shape-aware adjustment then robustly recovers shape (3D locations of the detected keypoints) while simultaneously filling in occluded keypoints. To tackle estimation errors incurred due to erroneously detected keypoints, we use an Iteratively Re-weighted Least Squares (IRLS) scheme for robust optimization, and as a by-product characterize noise models for each predicted keypoint. We evaluate our approach on autonomous driving benchmarks, and present superior results to existing monocular, as well as stereo approaches.

研究动机与目标

• 解决自动驾驶中从单张RGB图像进行3D车辆重建的病态问题。
• 利用人类对3D车辆形状投影的先验知识，从2D外观推断3D结构。
• 通过解耦位姿与形状估计，提升鲁棒性与准确性。
• 通过鲁棒优化框架处理遮挡的关键点和不准确的关键点定位。
• 发布一个新的带关键点标注的数据集，以支持未来车辆形状估计研究。

提出的方法

• 从少量带关键点标注的车辆数据集中学习形状先验，以编码典型的3D几何约束，如平面性和对称性。
• 采用一种新颖的级联全卷积神经网络（CNN级联）在RGB图像中高精度定位车辆关键点。
• 执行粗到精的调整：首先通过位姿调整将均值形状先验与图像对齐，然后通过几何约束进行形状调整以优化3D形状。
• 使用迭代重加权最小二乘法（IRLS）方案，降低错误关键点检测的影响，并对每个关键点鲁棒估计噪声模型。
• 优化3D形状以最小化重投影误差，同时保持与学习到的形状先验接近，并满足特定对象的几何约束。
• 使用Hausdorff距离度量将最接近估计线框的CAD模型进行渲染，用于定性评估。

实验结果

研究问题

• RQ1 能否从少量标注数据集中学习到的形状先验，实现从单张图像进行准确的3D车辆重建？
• RQ2 如何解耦位姿与形状估计，以在单目3D重建中提升鲁棒性与准确性？
• RQ3 基于IRLS的优化方案在多大程度上可降低不准确关键点检测对3D形状估计的影响？
• RQ4 所提方法能否在标准自动驾驶基准上超越现有单目与立体方法？
• RQ5 CNN级联在存在遮挡时，对关键点定位的效率如何？

主要发现

• 在KITTI基准的易样本集上，该方法的平均绝对位姿误差为8.79°，中等样本集为12.57°，困难样本集为16.19°，相比现有单目与立体方法最高降低27%。
• 形状调整步骤显著提升了各部件关键点精度（APK），尤其在右前轮中心等稀有部件上，初始误差较高时效果更明显。
• 仅位姿调整即可提升平均APK，但形状调整确保了所有部件的一致性改进，验证了形状精化的必要性。
• 当应用于标准位姿估计流程（如ASPnP）时，IRLS重加权方案使精度提升超过90%。
• CNN级联在GPU上每轮推理耗时200.79 ms，具备面向自动驾驶应用的实时可行性。
• 整个流水线在CPU上运行高效，位姿与形状调整分别耗时9.97 ms和52 ms/实例，支持实时部署。