[论文解读] PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm

Haoyi Zhu, Honghui Yang+9 more|arXiv (Cornell University)|Oct 12, 2023

Tunneling and Rock Mechanics被引用 6

一句话总结

PonderV2 提出了一种通用的3D预训练范式，通过可微分神经渲染技术，训练3D编码器以重建真实的RGB-D图像，从而学习鲁棒的点云表征。该方法在11个室内和室外基准上实现了SOTA性能，涵盖检测、分割、重建和图像生成等多种3D视觉任务，展现出强大的泛化能力，并可无缝集成到下游应用中。

ABSTRACT

In contrast to numerous NLP and 2D vision foundational models, learning a 3D foundational model poses considerably greater challenges. This is primarily due to the inherent data variability and diversity of downstream tasks. In this paper, we introduce a novel universal 3D pre-training framework designed to facilitate the acquisition of efficient 3D representation, thereby establishing a pathway to 3D foundational models. Considering that informative 3D features should encode rich geometry and appearance cues that can be utilized to render realistic images, we propose to learn 3D representations by differentiable neural rendering. We train a 3D backbone with a devised volumetric neural renderer by comparing the rendered with the real images. Notably, our approach seamlessly integrates the learned 3D encoder into various downstream tasks. These tasks encompass not only high-level challenges such as 3D detection and segmentation but also low-level objectives like 3D reconstruction and image synthesis, spanning both indoor and outdoor scenarios. Besides, we also illustrate the capability of pre-training a 2D backbone using the proposed methodology, surpassing conventional pre-training methods by a large margin. For the first time, PonderV2 achieves state-of-the-art performance on 11 indoor and outdoor benchmarks, implying its effectiveness. Code and models are available at https://github.com/OpenGVLab/PonderV2.

研究动机与目标

• 为解决3D视觉中因数据差异和任务多样性导致的鲁棒、可泛化3D表征学习挑战。
• 通过将神经渲染作为3D表征学习的预训练任务，弥合3D与2D模态之间的差距。
• 开发一种通用的预训练范式，使其在3D的高层感知与低层重建任务中均具有泛化能力。
• 实现从3D预训练到多样化下游应用的有效迁移学习，包括3D检测、分割和图像生成。
• 探索利用神经渲染隐式编码几何与外观线索以提升3D特征学习的潜力。

提出的方法

• 通过可微分体素神经渲染器训练3D点云编码器，从3D点云重建真实的RGB和深度图像。
• 模型最小化渲染图像与真实观测图像之间的像素级损失，实现3D编码器的端到端优化。
• 该框架支持点云和多视角图像输入，实现不同3D表征形式的统一预训练。
• 针对点云输入采用高掩码比率（0.8）的掩码自编码策略，以促进对整体场景的理解。
• 渲染流程采用NeuS等先进技术进行射线采样与累积，提升了重建质量。
• 架构设计支持解码器深度与宽度的可配置性，缺省设置在效率与性能间取得最佳平衡。

实验结果

研究问题

• RQ1 可微分神经渲染能否作为从点云中学习可泛化3D表征的有效预训练任务？
• RQ2 所提出的预训练范式在涵盖高层感知与低层重建的多样化3D视觉任务中，其泛化能力如何？
• RQ3 在基于神经渲染的预训练中，点云输入的最优掩码比率是多少？
• RQ4 神经渲染器的设计（如解码器的深度与宽度）如何影响下游性能？
• RQ5 所学习的3D表征能否有效迁移至2D视觉任务，如图像分类或检测？

主要发现

• PonderV2 在11个室内和室外基准上实现了SOTA性能，涵盖3D检测、语义与实例分割、重建等任务。
• 在3D检测任务中，相比UniSurf提升0.4 NDS，相比VolSDF提升0.1 NDS，证明了先进渲染技术的优势。
• 相机模态使用0.3的掩码比率、点模态使用0.8的掩码比率时性能最优，表明任务特定设计至关重要。
• 更深的SDF与RGB解码器显著提升下游检测性能，而更宽的解码器影响较小。
• 模型能成功重建远距离和小尺寸物体的深度图，表明其具备强大的几何泛化能力。
• 预训练的3D编码器可实现强大的2D视觉任务迁移性能，超越传统预训练方法。