[论文解读] Tri-MipRF: Tri-Mip Representation for Efficient Anti-Aliasing Neural Radiance Fields

Wenbo Hu, Yuling Wang+5 more|arXiv (Cornell University)|Jul 21, 2023

Advanced Neuroimaging Techniques and Applications被引用 4

一句话总结

Tri-MipRF 提出了一种新颖的 Tri-Mip 编码，将三维预过滤特征空间分解为三个正交的二维 mipmap，实现了抗锯齿神经辐射场的高效区域采样。通过将该编码与锥体投射渲染及混合体素-表面策略结合，实现了 SOTA 渲染质量，重建时间低于 5 分钟，模型大小比 Instant-NGP 小 25%。

ABSTRACT

Despite the tremendous progress in neural radiance fields (NeRF), we still face a dilemma of the trade-off between quality and efficiency, e.g., MipNeRF presents fine-detailed and anti-aliased renderings but takes days for training, while Instant-ngp can accomplish the reconstruction in a few minutes but suffers from blurring or aliasing when rendering at various distances or resolutions due to ignoring the sampling area. To this end, we propose a novel Tri-Mip encoding that enables both instant reconstruction and anti-aliased high-fidelity rendering for neural radiance fields. The key is to factorize the pre-filtered 3D feature spaces in three orthogonal mipmaps. In this way, we can efficiently perform 3D area sampling by taking advantage of 2D pre-filtered feature maps, which significantly elevates the rendering quality without sacrificing efficiency. To cope with the novel Tri-Mip representation, we propose a cone-casting rendering technique to efficiently sample anti-aliased 3D features with the Tri-Mip encoding considering both pixel imaging and observing distance. Extensive experiments on both synthetic and real-world datasets demonstrate our method achieves state-of-the-art rendering quality and reconstruction speed while maintaining a compact representation that reduces 25% model size compared against Instant-ngp.

研究动机与目标

• 解决神经辐射场中渲染质量与重建效率之间长期存在的权衡问题。
• 克服如 Instant-NGP 等高效方法中基于点采样的方式导致的远距离视图锯齿和近距离视图模糊问题。
• 在不牺牲重建速度或模型紧凑性的情况下，实现高保真、抗锯齿的渲染。
• 设计一种支持 3D 特征高效区域采样的表示方法，同时保持内存效率并兼容快速训练。

提出的方法

• 提出一种 Tri-Mip 编码，将 3D 空间分解为三个正交平面（XY、XZ、YZ），每个平面以 mipmap 形式表示，用于建模预过滤的 3D 特征。
• 利用 2D 预过滤 mipmap 实现高效的 3D 区域采样，通过在 mipmap 层级上实现各向同性预过滤。
• 引入锥体投射渲染，将每个像素视为一个圆盘，并以内接球体投射锥体，实现自适应采样。
• 基于采样球体在 3D 空间中的占据区域，使用 Tri-Mip 编码进行特征提取，确保在不同距离下均实现抗锯齿。
• 开发一种混合体素-表面渲染策略，实现在消费级 GPU 上的实时推理（>60 FPS）。
• 将浅层 MLP 与紧凑的 Tri-Mip 编码结合，保持小模型尺寸（48.2 MB）的同时实现快速收敛。

实验结果

研究问题

• RQ1 能否设计一种紧凑的 3D 表示，同时支持高效重建与抗锯齿渲染？
• RQ2 如何在不增加高内存或计算成本的前提下，利用 2D mipmap 结构高效建模预过滤的 3D 特征？
• RQ3 使用预过滤 2D 图表进行基于区域的采样，能否消除不同视距下的锯齿与模糊？
• RQ4 是否可能在重建时间低于五分钟且模型尺寸小于现有混合方法的前提下，实现 SOTA 渲染质量？
• RQ5 该方法在具有复杂几何与外观的真实世界采集数据上的表现如何？

主要发现

• 在单尺度 Blender 数据集上，Tri-MipRF 实现了 SOTA 的 PSNR（33.65）与 SSIM（0.963），优于 MipNeRF、TensoRF 和 Instant-NGP。
• 与 Instant-NGP 相比，模型尺寸减少 25%，仅需 48.2 MB 存储，是所有混合方法中最小的。
• 在单张 GPU 上，重建时间低于五分钟，显著快于 MipNeRF（3 天以上），也快于 Instant-NGP 的 5× 超采样变体。
• 在真实世界采集数据上，Tri-MipRF 生成了高保真渲染结果，细节丰富，甚至在某些情况下超越真实值，归因于多视角融合过程中的伪影抑制。
• 该方法在 NVIDIA RTX 3060 上实现了超过 60 FPS 的实时渲染，证明了其在消费级硬件上的实用性。
• 视觉结果表明，远距离视图无锯齿，近距离视图无模糊，证实了基于区域采样的锥体投射的有效性。