[论文解读] PAPR: Proximity Attention Point Rendering

Yanshu Zhang, Shichong Peng+2 more|arXiv (Cornell University)|Jul 20, 2023

3D Shape Modeling and AnalysisEngineering被引用 3

一句话总结

PAPR 提出了一种可微分的、基于点的 3D 场景表示与渲染方法，通过少量点从零开始联合学习精确的几何形状与纹理。通过采用依赖光线的点嵌入以及可学习的影响分数和与视角无关的特征，PAPR 实现了高保真度渲染，并在相比先前方法具有更高鲁棒性和效率的前提下，实现了零样本几何编辑、物体操作、纹理迁移和曝光控制。

ABSTRACT

Learning accurate and parsimonious point cloud representations of scene surfaces from scratch remains a challenge in 3D representation learning. Existing point-based methods often suffer from the vanishing gradient problem or require a large number of points to accurately model scene geometry and texture. To address these limitations, we propose Proximity Attention Point Rendering (PAPR), a novel method that consists of a point-based scene representation and a differentiable renderer. Our scene representation uses a point cloud where each point is characterized by its spatial position, influence score, and view-independent feature vector. The renderer selects the relevant points for each ray and produces accurate colours using their associated features. PAPR effectively learns point cloud positions to represent the correct scene geometry, even when the initialization drastically differs from the target geometry. Notably, our method captures fine texture details while using only a parsimonious set of points. We also demonstrate four practical applications of our method: zero-shot geometry editing, object manipulation, texture transfer, and exposure control. More results and code are available on our project website at https://zvict.github.io/papr/.

研究动机与目标

• 为解决仅使用 RGB 监督从零开始学习精确且简洁的 3D 点云表示的挑战。
• 克服现有基于点的神经渲染方法中梯度消失和几何学习效果差的问题。
• 即使初始化远离目标几何形状，也能使用少量点实现有效的几何与纹理学习。
• 展示仅通过点位置和特征操作即可实现的实用应用，如零样本编辑、物体操作和纹理迁移。
• 开发一种可微分渲染器，能够为每条光线选择相关点，并结合其特征实现高质量颜色渲染。

提出的方法

• 该方法使用点云表示，其中每个点包含三维位置、影响分数和与视角无关的特征向量。
• 可微分渲染器基于接近度和影响程度，为每条光线选择相关点，使用结合位置和位移的依赖光线的点嵌入。
• 渲染器通过可学习的聚合机制关注所选点的特征，计算最终颜色。
• 点嵌入设计包含位置向量 $p_i$ 和从光线起点到点的位移向量 $t_{i,j}$，从而在训练期间实现有效的梯度传播。
• 模型使用图像重建质量损失函数，通过 RGB 监督进行端到端训练。
• 通过直接操作点的位置和特征，该方法支持编辑，实现零样本几何与纹理编辑。

实验结果

研究问题

• RQ1 可微分渲染器能否仅使用 RGB 监督，从稀疏点云中学习到精确的 3D 几何形状与纹理？
• RQ2 所提出的依赖光线的点嵌入在从不良初始化中实现几何学习方面的有效性如何？
• RQ3 PAPR 是否能在使用少于现有方法的点数的前提下，仍保持几何与纹理保真度，实现高质量渲染？
• RQ4 PAPR 在支持如形变、物体复制和纹理迁移等实用 3D 编辑任务方面的能力有多强？
• RQ5 与基线方法相比，PAPR 在点数减少时的鲁棒性如何？

主要发现

• PAPR 在合成数据集和真实世界数据集上均实现了最先进的渲染质量，且使用了简洁的点数，优于 Point-NeRF 和 DPBRF。
• 消融研究证实，若移除位置向量 $p_i$ 或位移向量 $t_{i,j}$，几何形状与渲染质量均显著下降，验证了依赖光线嵌入设计的重要性。
• 即使初始化远离目标，PAPR 仍能成功学习正确的表面几何形状，表明其对不良初始化具有鲁棒性。
• 该方法实现了零样本几何编辑，包括刚性弯曲、旋转以及非体积保持形变，且无需额外训练。
• 通过修改点的位置和特征，实现了物体的复制与删除，同时保持了表面连续性和渲染质量。
• 通过将一个物体（芥末）的特征向量转移到另一个物体（番茄酱），成功实现了纹理迁移，产生了逼真且一致的纹理变化。