[论文解读] Ponder: Point Cloud Pre-training via Neural Rendering

Di Huang, Sida Peng+4 more|arXiv (Cornell University)|Dec 31, 2022

3D Shape Modeling and Analysis被引用 4

一句话总结

Ponder 提出了一种新颖的自监督预训练方法，用于3D点云，利用可微神经渲染技术，其中点云编码器被训练以从学习到的3D特征重建真实的RGB-D图像。该方法在多种3D任务中实现了最先进（SOTA）的性能，包括3D检测、分割、重建和图像合成，相较于现有的对比学习和补全方法表现出一致的性能提升。

ABSTRACT

We propose a novel approach to self-supervised learning of point cloud representations by differentiable neural rendering. Motivated by the fact that informative point cloud features should be able to encode rich geometry and appearance cues and render realistic images, we train a point-cloud encoder within a devised point-based neural renderer by comparing the rendered images with real images on massive RGB-D data. The learned point-cloud encoder can be easily integrated into various downstream tasks, including not only high-level tasks like 3D detection and segmentation, but low-level tasks like 3D reconstruction and image synthesis. Extensive experiments on various tasks demonstrate the superiority of our approach compared to existing pre-training methods.

研究动机与目标

• 为解决3D点云标注数据稀缺的问题，开发一种利用丰富RGB-D数据的自监督预训练方法。
• 通过神经渲染强制点云特征编码丰富的几何与外观线索，以改进3D表征学习。
• 使预训练特征能够迁移到高层感知任务（如检测、分割）和低层任务（如重建、图像合成）。
• 探索一种新的掩码任务——神经渲染重建，与对比学习或补全方法不同。
• 在多样化的数据集和模态上验证该方法的有效性，包括室外场景和多视角输入。

提出的方法

• 3D点云编码器处理输入的RGB-D图像，以学习几何与外观特征，形成神经场景表征。
• 使用带有相机参数的可微神经渲染器，将学习到的3D特征渲染为2D RGB和深度图像。
• 通过最小化渲染图像与真实图像之间的L1和L2损失，采用多视角监督策略，实现端到端训练。
• 该方法构建了分辨率为[16, 32, 64]的3D特征体素，以支持多尺度特征学习。
• 该框架支持基于点和基于体素的主干网络，可灵活集成到各类3D模型中。
• 预训练模型可微调用于下游任务，或通过SDF查询和Marching Cubes直接用于3D重建和图像合成。

实验结果

研究问题

• RQ1 可微神经渲染能否作为自监督3D点云表征学习的有效掩码任务？
• RQ2 通过神经渲染进行预训练是否能相比对比学习或补全方法，在高层和低层3D视觉任务中实现更好的泛化性能？
• RQ3 多视角监督在多大程度上影响所学3D表征的质量和下游性能？
• RQ4 预训练模型在稀疏输入点云和复杂场景中能多大程度上实现泛化？
• RQ5 该方法能否有效扩展到其他模态，如多视角图像或室外数据集？

主要发现

• 仅使用RGB-D监督，Ponder在ScanNet上的3D检测任务中达到33.5%的AP50，较基线提升+7.5%。
• 结合深度与颜色监督可获得最佳性能，在ScanNet上提升+7.5% AP50，在SUN RGB-D上提升+3.7%。
• 即使仅使用16×16×16的特征体素分辨率，Ponder仍能实现具有竞争力的性能，表明对分辨率降低具有鲁棒性。
• 与单视角监督相比，使用五张输入视角可在ScanNet上提升0.9% AP50，在SUN RGB-D上提升1.2%。
• 该方法可实现从稀疏点云（原始点数的2%）的高保真3D重建，通过SDF提取和Marching Cubes生成细节丰富的网格。
• 在使用多视角图像的NuScenes数据集上，Ponder在3D多视角目标检测任务中实现1.41%的mAP提升，证明了跨模态迁移能力。