[论文解读] TriVol: Point Cloud Rendering via Triple Volumes

Tao Hu, Xiaogang Xu+2 more|arXiv (Cornell University)|Mar 29, 2023

3D Shape Modeling and Analysis被引用 4

一句话总结

该论文提出TriVol，一种轻量级但高密度的3D表示方法，由从点云中提取的三个纤细、轴对齐的体素组成，通过NeRF实现高分辨率、视角一致且逼真的渲染。通过高效3D ConvNets融合多尺度特征并结合三线性插值，TriVol在计算成本更低的情况下实现了最先进（SOTA）的渲染质量，并展现出对同一类别中未见物体的强大零样本泛化能力。

ABSTRACT

Existing learning-based methods for point cloud rendering adopt various 3D representations and feature querying mechanisms to alleviate the sparsity problem of point clouds. However, artifacts still appear in rendered images, due to the challenges in extracting continuous and discriminative 3D features from point clouds. In this paper, we present a dense while lightweight 3D representation, named TriVol, that can be combined with NeRF to render photo-realistic images from point clouds. Our TriVol consists of triple slim volumes, each of which is encoded from the point cloud. TriVol has two advantages. First, it fuses respective fields at different scales and thus extracts local and non-local features for discriminative representation. Second, since the volume size is greatly reduced, our 3D decoder can be efficiently inferred, allowing us to increase the resolution of the 3D space to render more point details. Extensive experiments on different benchmarks with varying kinds of scenes/objects demonstrate our framework's effectiveness compared with current approaches. Moreover, our framework has excellent generalization ability to render a category of scenes/objects without fine-tuning.

研究动机与目标

• 解决现有点云渲染方法中存在的视角不一致和孔洞伪影问题。
• 克服3D ConvNets中密集3D特征体素在高分辨率渲染中的低效问题。
• 设计一种轻量级、判别性强的3D表示方法，支持对所有3D位置的连续特征查询。
• 实现在无需微调的情况下，对未见场景或同一类别的未见物体实现零样本泛化。
• 将TriVol表示与NeRF渲染流程结合，实现具有高细节和极少伪影的逼真图像生成。

提出的方法

• 通过将输入点云体素化，并沿三个空间轴重新组织体素，构建TriVol。
• 采用高效的编码器，使用简单的分组策略（无需额外神经网络），从点云生成初始TriVol。
• 解码器应用三个独立的3D UNet，将每个纤细体素转换为密集特征表示，实现高分辨率特征提取。
• 特征TriVol支持基于三线性插值的任意3D点特征查询，确保特征的连续性和判别性。
• 该框架将TriVol与NeRF渲染流程集成，生成具有锐利细节且无孔洞的逼真图像。
• 该方法在显著降低内存和FLOPS消耗的前提下，支持高分辨率3D空间（如256³）的渲染，相比密集体素网格具有明显优势。

Figure 2 : Overview of the proposed TriVol for point cloud rendering. (a) Encoding : Input point cloud is encoded to our Initial TriVol along $x$ , $y$ , and $z$ axis; (b) Decoding : Each volume is decoded to dense feature volume via a unique 3D UNet; (c) Feature Querying : Any point’s feature is qu

实验结果

研究问题

• RQ1 能否设计一种轻量级3D表示方法，以支持从稀疏点云中进行高分辨率、连续的特征提取？
• RQ2 如何在3D表示中有效融合多尺度的局部与非局部特征，以提升渲染质量？
• RQ3 所提出的方法能否在无需对新场景或物体进行微调的情况下，实现视角一致且逼真的渲染？
• RQ4 与基于密集体素和2D的方法相比，TriVol表示在效率和精度方面表现如何？
• RQ5 该方法在点云点密度变化或未见类别的情况下，泛化能力达到何种程度？

主要发现

• 在ShapeNet数据集上，TriVol在10万训练和测试点下达到27.22的PSNR，优于Point-NeRF（25.73）及其他SOTA方法。
• 在256³分辨率和分组大小G=16的条件下，TriVol仅使用8.47 GB GPU内存即达到27.22 PSNR，避免了256³密集体素导致的显存溢出（OOM）问题。
• 该方法在分布偏移下仍保持强大性能：在10万点训练后，使用1万点测试，PSNR达到27.01，显著优于Point-NeRF（22.75）。
• TriVol展现出优越的泛化能力：无需微调即可为同一类别的未见物体生成高质量图像，归因于其判别性强且连续的3D特征。
• 与密集128³体素相比，该框架将FLOPS降低高达95%，同时PSNR提升超过1.69分。
• 消融研究证实，基于分组的编码器比标准基于点的主干网络更有效，在ScanNet上达到18.56 PSNR，较基线提升0.15。

Figure 3 : Qualitative point cloud rendering comparison between ours and SOTA methods and baselines on the ScanNet dataset.