[论文解读] Neural Object Descriptors for Multi-View Shape Reconstruction

Edgar Sucar, Kentaro Wada+1 more|arXiv (Cornell University)|Apr 9, 2020

Robotics and Sensor-Based Localization参考文献 41被引用 9

一句话总结

本文提出了一种可学习的、多类别神经物体描述符，将其与可微分的概率渲染引擎相结合，实现了从单视角或多视角RGB-D图像进行端到端可微分3D形状重建。该框架实现了物体形状、位姿和相机轨迹的联合优化，实现了机器人抓取、增强现实等应用的高精度3D重建，并首次构建了具备完整可微分特性的物体级SLAM系统。

ABSTRACT

The choice of scene representation is crucial in both the shape inference algorithms it requires and the smart applications it enables. We present efficient and optimisable multi-class learned object descriptors together with a novel probabilistic and differential rendering engine, for principled full object shape inference from one or more RGB-D images. Our framework allows for accurate and robust 3D object reconstruction which enables multiple applications including robot grasping and placing, augmented reality, and the first object-level SLAM system capable of optimising object poses and shapes jointly with camera trajectory.

研究动机与目标

• 为解决使用可学习多类别表示从RGB-D图像中实现鲁棒且精确的3D物体形状重建的挑战。
• 开发一种可微分且概率化的渲染引擎，支持物体形状与相机轨迹的端到端优化。
• 实现物体位姿、形状与相机轨迹的联合优化，以促进系统化的3D重建。
• 支持机器人抓取、增强现实等实际应用。
• 提供一种可扩展且高效的多视角3D重建框架，结合深度学习与可微分渲染。

提出的方法

• 该框架采用多类别神经物体描述符，通过训练高效表示多样化物体形状。
• 提出一种新颖的可微分且概率化的渲染引擎，从3D物体假设中模拟RGB-D观测，支持基于梯度的优化。
• 通过在渲染过程中反向传播梯度，实现端到端优化，以优化物体形状、位姿与相机轨迹。
• 物体描述符在不同类别间共享，实现跨类别泛化与高效推理。
• 该方法支持单视角与多视角输入，利用多视角间的几何一致性提升重建精度。
• 可微分渲染引擎对观测中的不确定性进行建模，支持系统化的概率推理以恢复3D形状。

实验结果

研究问题

• RQ1 可学习的神经物体描述符是否能够实现从RGB-D图像中准确且泛化的3D形状重建？
• RQ2 可微分且概率化的渲染引擎是否能够支持物体形状与相机轨迹的端到端优化？
• RQ3 与顺序或独立优化相比，物体形状、位姿与相机轨迹的联合优化是否能提升3D重建精度？
• RQ4 该框架是否能够支持机器人抓取与增强现实等实际应用？
• RQ5 构建一个联合优化物体几何与场景结构的物体级SLAM系统是否可行？

主要发现

• 该框架利用可微分且概率化的渲染，实现了从一幅或多幅RGB-D图像中精确重建物体的3D形状。
• 物体形状、位姿与相机轨迹的联合优化相比独立优化，能产生更一致且更精确的重建结果。
• 该系统实现了首个能够对物体几何与场景结构进行端到端可微分优化的物体级SLAM系统。
• 所学习的物体描述符具备跨类别泛化能力，支持通过共享表示实现多类别3D重建。
• 由于高保真度的3D形状估计，该方法支持机器人抓取与增强现实等实际应用。
• 可微分渲染引擎支持不确定性感知的推理，提升了对噪声或不完整观测的鲁棒性。