[论文解读] Secrets of 3D Implicit Object Shape Reconstruction in the Wild.

Shivam Duggal, Zihao Wang+5 more|arXiv (Cornell University)|Jan 18, 2021

Human Pose and Action Recognition被引用 8

一句话总结

该论文提出了一种方法，通过引入深度编码器以实现更优的潜在代码初始化，并采用深度判别器作为形状先验，从而提升从稀疏、嘈杂的真实世界数据中进行3D隐式物体形状重建的性能。该方法在真实世界自动驾驶数据集上实现了最先进性能，显著提升了现有神经隐式模型的重建保真度。

ABSTRACT

Reconstructing high-fidelity 3D objects from sparse, partial observation is of crucial importance for various applications in computer vision, robotics, and graphics. While recent neural implicit modeling methods show promising results on synthetic or dense datasets, they perform poorly on real-world data that is sparse and noisy. This paper analyzes the root cause of such deficient performance of a popular neural implicit model. We discover that the limitations are due to highly complicated objectives, lack of regularization, and poor initialization. To overcome these issues, we introduce two simple yet effective modifications: (i) a deep encoder that provides a better and more stable initialization for latent code optimization; and (ii) a deep discriminator that serves as a prior model to boost the fidelity of the shape. We evaluate our approach on two real-wold self-driving datasets and show superior performance over state-of-the-art 3D object reconstruction methods.

研究动机与目标

• 解决神经隐式模型在真实世界、稀疏及嘈杂3D数据上性能不佳的问题，相较于合成数据或密集数据集表现较差。
• 识别现有隐式模型失败的根本原因，包括复杂的优化目标、缺乏正则化以及初始化不佳。
• 通过引入辅助组件提供结构和归纳偏置，提升真实世界环境中形状重建的保真度与稳定性。
• 在先前方法因数据稀疏性和噪声而表现困难的真实世界自动驾驶数据集上，展示优越性能。

提出的方法

• 引入深度编码器网络，以在优化过程中生成更稳定且有意义的潜在代码初始化。
• 集成深度判别器网络，作为形状先验，引导隐式模型生成更真实、更高保真度的重建结果。
• 利用判别器提供对抗性监督，促使隐式解码器生成的形状在分布上与真实形状难以区分。
• 端到端训练隐式模型，联合优化编码器与判别器，共同提升形状重建与保真度。
• 利用判别器的特征表示对优化过程进行正则化，降低对不良初始化的敏感性。
• 将该框架应用于自驾车数据集中稀疏且不完整观测的真实世界3D物体重建任务。

实验结果

研究问题

• RQ1 为何最先进神经隐式模型在稀疏且嘈杂的观测下于真实世界3D重建任务中表现失败？
• RQ2 潜在代码初始化不佳在多大程度上会降低3D形状重建的质量与稳定性？
• RQ3 深度判别器能否作为有效的形状先验，以提升隐式3D建模中的重建保真度？
• RQ4 与基线隐式模型相比，深度编码器与判别器的结合在真实世界数据集上如何提升性能？

主要发现

• 所提方法在真实世界自动驾驶数据集上的3D重建质量优于最先进方法。
• 深度编码器显著提升了潜在代码优化的稳定性和收敛性，减少了重建过程中的失败案例。
• 深度判别器作为有效的形状先验，即使在输入稀疏的情况下也能生成更真实、更精细的3D形状。
• 该方法对噪声和稀疏性表现出鲁棒性，在具有挑战性的现实世界条件下优于现有隐式模型。
• 定量结果表明，在基准真实世界数据集上，标准重建指标（如Chamfer Distance、F-Score）有可测量的提升。
• 消融研究证实，编码器与判别器组件均对整体性能提升有显著贡献。