[论文解读] SA-GS: Scale-Adaptive Gaussian Splatting for Training-Free Anti-Aliasing

Xiaowei Song, Jv Zheng+6 more|arXiv (Cornell University)|Mar 28, 2024

Face and Expression Recognition被引用 5

一句话总结

本文提出 SA-GS，一种无需训练的 3D 高斯溅射抗混叠方法，通过在推理时应用 2D 尺度自适应滤波器，以在不同渲染频率下保持高斯分布投影尺度的一致性。通过结合超采样及其极限情况（积分），SA-GS 实现了最先进的抗混叠性能，尤其在缩放退出条件下表现优异，且无需重新训练即可超越 Mip-Splatting。

ABSTRACT

In this paper, we present a Scale-adaptive method for Anti-aliasing Gaussian Splatting (SA-GS). While the state-of-the-art method Mip-Splatting needs modifying the training procedure of Gaussian splatting, our method functions at test-time and is training-free. Specifically, SA-GS can be applied to any pretrained Gaussian splatting field as a plugin to significantly improve the field's anti-alising performance. The core technique is to apply 2D scale-adaptive filters to each Gaussian during test time. As pointed out by Mip-Splatting, observing Gaussians at different frequencies leads to mismatches between the Gaussian scales during training and testing. Mip-Splatting resolves this issue using 3D smoothing and 2D Mip filters, which are unfortunately not aware of testing frequency. In this work, we show that a 2D scale-adaptive filter that is informed of testing frequency can effectively match the Gaussian scale, thus making the Gaussian primitive distribution remain consistent across different testing frequencies. When scale inconsistency is eliminated, sampling rates smaller than the scene frequency result in conventional jaggedness, and we propose to integrate the projected 2D Gaussian within each pixel during testing. This integration is actually a limiting case of super-sampling, which significantly improves anti-aliasing performance over vanilla Gaussian Splatting. Through extensive experiments using various settings and both bounded and unbounded scenes, we show SA-GS performs comparably with or better than Mip-Splatting. Note that super-sampling and integration are only effective when our scale-adaptive filtering is activated. Our codes, data and models are available at https://github.com/zsy1987/SA-GS.

研究动机与目标

• 解决在不同缩放级别或频率下渲染 3D 高斯溅射时高斯尺度不匹配的问题。
• 在不修改训练过程的前提下提升 3DGS 的抗混叠性能，实现与现有模型的即插即用集成。
• 通过根据测试时频率自适应滤波尺度，确保在不同相机参数下高斯分布的 2D 投影分布保持一致。
• 在确保尺度一致性的情况下，利用超采样及其极限情况（积分）作为有效的抗混叠技术。
• 证明超采样带来的抗混叠增益仅在通过所提滤波器保持尺度一致性时才有效。

提出的方法

• 在推理阶段应用 2D 尺度自适应滤波器，根据测试时频率动态调整滤波器大小，以确保高斯投影尺度的一致性。
• 该滤波器纠正了 3DGS 中固定的 2D 扩展以及 Mip-Splatting 中 3D 平滑 + 2D Mip 滤波所导致的尺度不一致问题，这些方法均未考虑测试时的参数。
• 对每个像素内投影的高斯分布应用超采样，有效满足低采样率下的奈奎斯特准则。
• 采用超采样的极限情况——像素级积分，进一步提升缩放退出渲染时的抗混叠质量。
• 该方法可作为插件与任意预训练的 3DGS 模型完全兼容，无需重新训练或架构修改。
• 该方法在有界（如 Blender）和无界场景中均进行了评估，展示了在多种渲染条件下的鲁棒性。

实验结果

研究问题

• RQ1 一种测试时、无需训练的方法能否有效解决在不同渲染频率下 3D 高斯溅射中的高斯尺度不匹配问题？
• RQ2 在推理过程中使用尺度自适应滤波是否能比固定或依赖训练的滤波器获得更一致的 2D 高斯投影？
• RQ3 当尺度一致性得以保证时，超采样和积分能否显著提升抗混叠性能？
• RQ4 与 Mip-Splatting 相比，所提方法在抗混叠质量和推理效率方面表现如何？
• RQ5 超采样和积分带来的性能增益是否依赖于先前的尺度一致性？

主要发现

• 在 Blender 数据集上，SA-GS 配合超采样（$SA\text{-}GS_{sup}$）在单尺度训练、多尺度测试的缩放退出条件下，相比 Mip-Splatting 实现了 3.61 dB 的 PSNR 提升。
• 积分变体（$SA\text{-}GS_{int}$）在 1/8 分辨率下达到 35.64 的 PSNR，优于 3DGS 和 Mip-Splatting 在低采样率下的抗混叠质量。
• 尺度自适应滤波变体（$SA\text{-}GS_{fil}$）在缩放进入场景中与 Mip-Splatting 表现相当，同时保持无需训练。
• 仅当与尺度自适应滤波结合时，超采样和积分才能带来显著的抗混叠改进，证实了尺度一致性的必要性。
• 与原始 3DGS 相比，超采样和积分模式的渲染时间增加约 15–20%，但这一代价被显著的抗混叠增益所抵消。
• 该方法在有界和无界场景中均表现出鲁棒性，在多种相机设置下均实现了稳定的性能提升。