[论文解读] Neural 3D Scene Compression via Model Compression

Berivan Isik|arXiv (Cornell University)|May 7, 2021

Advanced Vision and Imaging参考文献 40被引用 8

一句话总结

本文提出了一种新颖的3D场景压缩方法，通过神经网络剪枝对神经辐射场（NeRF）进行压缩，从而无需存储冗余的2D图像。通过剪枝高达90%的NeRF参数并进行微调，该方法在仅造成极小感知质量损失的情况下实现了最高10倍的压缩率，尤其在30%剪枝时PSNR略有提升且伪影可忽略不计。

ABSTRACT

Rendering 3D scenes requires access to arbitrary viewpoints from the scene. Storage of such a 3D scene can be done in two ways; (1) storing 2D images taken from the 3D scene that can reconstruct the scene back through interpolations, or (2) storing a representation of the 3D scene itself that already encodes views from all directions. So far, traditional 3D compression methods have focused on the first type of storage and compressed the original 2D images with image compression techniques. With this approach, the user first decodes the stored 2D images and then renders the 3D scene. However, this separated procedure is inefficient since a large amount of 2D images have to be stored. In this work, we take a different approach and compress a functional representation of 3D scenes. In particular, we introduce a method to compress 3D scenes by compressing the neural networks that represent the scenes as neural radiance fields. Our method provides more efficient storage of 3D scenes since it does not store 2D images -- which are redundant when we render the scene from the neural functional representation.

研究动机与目标

• 解决传统3D压缩方法因需存储大量2D图像以重建场景而效率低下的问题。
• 探索功能型3D场景表示——特别是NeRF——作为基于图像存储的更高效替代方案。
• 通过直接对NeRF模型应用神经网络压缩技术（尤其是剪枝）来提升3D场景压缩性能。
• 评估基于NeRF的3D场景表示中压缩率、模型大小与渲染质量之间的权衡。

提出的方法

• 该方法通过剪枝预训练的NeRF模型的全连接层来压缩3D场景，初始阶段在不重新训练的情况下减少模型参数。
• 剪枝后，通过微调重新训练模型以恢复并提升渲染质量，减轻因参数移除而引入的伪影。
• 该方法利用NeRF的功能特性，其编码一个连续的5D函数（空间坐标与视角方向），输出颜色与密度，从而实现对功能表示的直接压缩。
• 压缩率定义为原始模型与剪枝后模型大小的比值，最高可达10倍压缩率（在90%剪枝时实现）。
• 使用PSNR和MSE指标在合成数据集（fern和lego）上评估渲染质量，比较原始模型、剪枝模型与微调后模型的表现。
• 通过渲染视图、深度图和网格重建的视觉与定量分析，评估感知保真度与结构保真度。

实验结果

研究问题

• RQ1 对NeRF进行模型剪枝是否能在不显著降低3D场景渲染质量的情况下实现显著压缩？
• RQ2 剪枝后微调对压缩的NeRF-based 3D场景的视觉与定量保真度有何影响？
• RQ3 在基于NeRF的3D场景表示中，压缩率与感知质量之间的权衡如何？
• RQ4 剪枝是否会在几何与颜色上引入伪影，且微调能否有效缓解这些伪影？
• RQ5 像NeRF这样的功能型3D表示能否通过剪枝等神经网络压缩技术实现有效压缩？

主要发现

• 在30%剪枝时，剪枝后的NeRF模型在fern数据集上PSNR达到25.41，在lego数据集上达到29.14，质量退化极小，甚至相比原始模型略有提升。
• 微调后，30%剪枝模型仍保持高保真度，PSNR值分别为25.45（fern）和30.43（lego），表明伪影被有效恢复。
• 在50%剪枝时，PSNR下降至22.48（fern）和25.32（lego），几何与颜色上出现明显伪影，但微调显著提升了质量。
• 在70%剪枝时，PSNR降至20.97（fern）和21.70（lego），网格与深度图质量明显下降，但微调有助于恢复缺失区域。
• 在90%剪枝时，PSNR降至16.87（fern）和15.99（lego），表明质量严重损失，但微调仍能通过填充空缺区域改善重建效果。
• 该方法在90%剪枝时实现最高10倍压缩率，MSE值分别为0.0706（fern）和0.0786（lego），尽管存在质量权衡，仍展现出极高的存储效率。