[论文解读] Points2NeRF: Generating Neural Radiance Fields from 3D point cloud

Dominik Zimny, T. Trzciński+2 more|arXiv (Cornell University)|Jun 2, 2022

Advanced Neural Network Applications被引用 8

一句话总结

Points2NeRF 提出了一种基于超网络的自编码器，可直接从带有颜色的非结构化 3D 点云生成神经辐射场（NeRF）权重，从而克服仅在稀疏点云上训练时因采样不足而导致的 NeRF 质量下降问题。该方法实现了高保真度的新视角合成，通过条件控制实现对训练对象之外物体的泛化能力，并支持高效的 NeRF 初始化，在 ShapeNet 基准测试中达到 SOTA 的 F-Score（汽车类为 0.995）和 Chamfer Distance（0.16×10²）。

ABSTRACT

Contemporary registration devices for 3D visual information, such as LIDARs and various depth cameras, capture data as 3D point clouds. In turn, such clouds are challenging to be processed due to their size and complexity. Existing methods address this problem by fitting a mesh to the point cloud and rendering it instead. This approach, however, leads to the reduced fidelity of the resulting visualization and misses color information of the objects crucial in computer graphics applications. In this work, we propose to mitigate this challenge by representing 3D objects as Neural Radiance Fields (NeRFs). We leverage a hypernetwork paradigm and train the model to take a 3D point cloud with the associated color values and return a NeRF network's weights that reconstruct 3D objects from input 2D images. Our method provides efficient 3D object representation and offers several advantages over the existing approaches, including the ability to condition NeRFs and improved generalization beyond objects seen in training. The latter we also confirmed in the results of our empirical evaluation.

研究动机与目标

• 解决仅在稀疏 3D 点云上训练时，由于采样不足区域导致的 NeRF 渲染质量下降问题。
• 使 NeRF 能够基于 3D 点云输入进行条件控制，实现对训练中未见物体类别的泛化能力。
• 开发一种从点云生成 NeRF 权重的方法，实现高效且高保真度的新视角合成。
• 通过学习的 NeRF 参数提供一种连续的隐式 3D 表示，支持插值以及对噪声和部分数据的鲁棒性。

提出的方法

• 模型采用超网络范式，将带有颜色的 3D 点云编码为低维潜在空间。
• 解码网络从潜在码生成完整的 NeRF 权重，使目标 NeRF 能够渲染新视角。
• 自编码器通过图像重建损失（PSNR）和 3D 形状重建损失（Chamfer Distance 和 F-Score）的组合进行端到端训练。
• 该架构通过允许潜在码表示多样化的 3D 物体类别，支持条件控制，从而实现对未见物体的泛化能力。
• 该方法隐式学习到一个以 NeRF 权重为参数函数的连续 3D 物体表示，支持在物体空间中的插值。
• 模型在 ShapeNet 数据上进行训练，使用 2048 个点的点云，评估时采用 3000 个点的采样。

实验结果

研究问题

• RQ1 能否在点云数据稀疏的情况下，仅从 3D 点云而非 2D 图像有效训练 NeRF？
• RQ2 如何缓解 3D 点云的稀疏性，以生成高质量的 NeRF 渲染结果？
• RQ3 NeRF 的生成过程能否基于 3D 点云输入进行条件控制，从而实现对训练物体之外类别的泛化？
• RQ4 Points2NeRF 在多大程度上可作为经典基于图像的 NeRF 训练的有效初始化方法？
• RQ5 所学习的潜在空间能否支持有意义的插值和 3D 物体的连续表示？

主要发现

• Points2NeRF 在 ShapeNet 汽车类别上达到 0.995 的测试 F-Score，优于基线方法如 POCO（0.946）和 ConvONet（0.849）。
• 该方法将汽车类别的 Chamfer Distance 降低至 0.16×10²，显著优于 PointConv（1.49×10²）和 ONet（1.04×10²）。
• 使用 Points2NeRF 权重初始化的 NeRF 在约 7,000 个 epoch 内即可达到高 PSNR 水平，而标准 NeRF 训练则需约 30,000 个 epoch。
• 由于其条件控制机制，模型能够泛化至训练数据之外的物体类别，实现对未见物体类别的零样本推理。
• 潜在空间支持在 3D 物体之间的有意义插值，证明了模型学习连续隐式 3D 表示的能力。
• 该方法对部分点云和噪声点云具有鲁棒性，未来工作将针对此方面进行显式改进。