[论文解读] Zip-NeRF: Anti-Aliased Grid-Based Neural Radiance Fields

Jonathan T. Barron, Ben Mildenhall+3 more|arXiv (Cornell University)|Apr 13, 2023

3D Shape Modeling and Analysis被引用 14

一句话总结

Zip-NeRF 将 mip-NeRF 360 的按比例缩放的抗锯齿与 Instant NGP 的基于网格的特征结合起来，以实现抗锯齿的 NeRFs，训练更快且误差更低，在多尺度基准上最高提升可达 77%，并且比 mip-NeRF 360 的训练速度快 24×。

ABSTRACT

Neural Radiance Field training can be accelerated through the use of grid-based representations in NeRF's learned mapping from spatial coordinates to colors and volumetric density. However, these grid-based approaches lack an explicit understanding of scale and therefore often introduce aliasing, usually in the form of jaggies or missing scene content. Anti-aliasing has previously been addressed by mip-NeRF 360, which reasons about sub-volumes along a cone rather than points along a ray, but this approach is not natively compatible with current grid-based techniques. We show how ideas from rendering and signal processing can be used to construct a technique that combines mip-NeRF 360 and grid-based models such as Instant NGP to yield error rates that are 8% - 77% lower than either prior technique, and that trains 24x faster than mip-NeRF 360.

研究动机与目标

• 通过基于网格的表示来推动更快的 NeRF 训练，同时解决由尺度带来的混叠问题

提出的方法

• 将 mip-NeRF 360 的锥体基子体输入与 iNGP 的分层网格特征集成。
• 引入对圆锥台的多重采样以产生尺度感知的预过滤特征。
• 对插值特征进行下权重处理，以实现对每个尺度样本的抗锯齿。
• 用平滑的、预过滤的损失替代 mip-NeRF 360 的层间损失，用于提案监督以减少 z-混叠。
• 使用新颖的归一化变换，将光线上度量距离映射到归一化距离，以在跨尺度的训练中实现稳定性。

实验结果

研究问题

• RQ1 如何在不牺牲训练速度的前提下，将基于网格的 NeRF 扩展为处理尺度感知的抗锯齿？
• RQ2 多重采样和对每个样本的下权重处理能否产生与 mip-NeRF 360 框架兼容的尺度感知特征？
• RQ3 用于提案监督的平滑抗锯齿损失是否能缓解先前方法中观察到的 z-混叠？
• RQ4 将 iNGP 网格与 mip-NeRF 360 集成对跨尺度的渲染质量和训练时间有何影响？

主要发现

• Zip-NeRF 在相关基准上相比现有技术实现了高达 8%–77% 的更低误差率。
• Zip-NeRF 在 mip-NeRF 360 基准上训练速度比 mip-NeRF 360 快 24×。
• 在多尺度基准上，Zip-NeRF 将误差率降低高达 77%。
• 相较基线，Zip-NeRF 在 RMSE、DSSIM 和 LPIPS 上带来显著改进（例如，相比 iNGP 基线，RMSE 下降高达 28%，DSSIM 下降 42%，LPIPS 下降 37%）。
• 该方法保留细部结构并减少在具有挑战性的场景中的锯齿和内容缺失等混叠现象。