[论文解读] SiNeRF: Sinusoidal Neural Radiance Fields for Joint Pose Estimation and Scene Reconstruction

Yitong Xia, Hao Tang+2 more|arXiv (Cornell University)|Oct 10, 2022

Advanced Vision and Imaging被引用 10

一句话总结

该论文提出 SiNeRF，一种新型神经辐射场框架，通过利用正弦激活函数（SIREN）改善辐射场映射，并采用混合区域采样（MRS）策略实现高效光线采样，从而提升联合3D场景重建与相机位姿估计性能。与 NeRFmm 相比，该方法在纹理缺失和细节丰富的场景中显著提升了图像合成质量与位姿精度。

ABSTRACT

NeRFmm is the Neural Radiance Fields (NeRF) that deal with Joint Optimization tasks, i.e., reconstructing real-world scenes and registering camera parameters simultaneously. Despite NeRFmm producing precise scene synthesis and pose estimations, it still struggles to outperform the full-annotated baseline on challenging scenes. In this work, we identify that there exists a systematic sub-optimality in joint optimization and further identify multiple potential sources for it. To diminish the impacts of potential sources, we propose Sinusoidal Neural Radiance Fields (SiNeRF) that leverage sinusoidal activations for radiance mapping and a novel Mixed Region Sampling (MRS) for selecting ray batch efficiently. Quantitative and qualitative results show that compared to NeRFmm, SiNeRF achieves comprehensive significant improvements in image synthesis quality and pose estimation accuracy. Codes are available at https://github.com/yitongx/sinerf.

研究动机与目标

• 为解决 NeRFmm 在联合优化中系统性次优的问题，该问题在纹理缺失和细节丰富的场景中尤为明显。
• 在无需标注相机参数的前提下，提升基于 NeRF 方法的图像合成质量与位姿估计精度。
• 通过引入更具策略性的采样机制，克服随机光线采样带来的局限性，提升优化效率。
• 探究激活函数与采样策略对基于 NeRF 框架中联合优化性能的影响。

提出的方法

• 所提出的 SiNeRF 在多层感知机（MLP）中采用 SIREN（正弦表示网络）激活函数，以增强辐射场的表达能力与平滑性，从而在复杂场景中促进优化。
• 提出一种新颖的混合区域采样（MRS）策略，通过根据像素的重要性分配不同权重来选择光线批次，聚焦于关键区域并结合随机采样。
• MRS 通过结合关键点区域（如角点、边缘）与随机光线，确保监督信号的多样性与鲁棒性，尤其在纹理缺失区域表现更优。
• 通过可微分体素渲染过程与重建损失，端到端联合优化辐射场与相机参数。
• 实验上将密度不确定性参数 σ 的缩放系数设为 25，以防止渲染图像出现褪色现象。
• 在 LLFF 数据集上进行实验，对比 SiNeRF 与 NeRFmm 基线模型在不同 MLP 宽度与采样策略下的性能表现。

实验结果

研究问题

• RQ1 与基于标准 ReLU 的 MLP 相比，SIREN 激活函数是否能改善联合3D场景重建与位姿估计的优化景观并提升性能？
• RQ2 混合区域采样（MRS）是否相比随机采样能实现更高效、更鲁棒的训练，尤其在纹理缺失或复杂场景中？
• RQ3 SIREN 与 MRS 如何相互作用？二者结合对图像质量与位姿精度的综合影响如何？
• RQ4 在真实世界数据集上，SiNeRF 在 PSNR、SSIM、LPIPS 与位姿误差等指标上相比 NeRFmm 的性能提升程度如何？
• RQ5 SiNeRF 的性能提升是否在各类场景中保持一致，包括有纹理、细节丰富及纹理缺失的环境？

主要发现

• 在 LLFF 数据集上，SiNeRF 的平均 PSNR 达到 23.554，显著优于 NeRFmm-256（22.773）与 NeRFmm-128（22.485），表明其图像合成质量更优。
• 在 Trex 场景中，SiNeRF 将平移误差降低至 0.462×10⁻²，旋转误差降低至 0.856°，而基线模型（无 SIREN 与 MRS）的误差分别为 1.467×10⁻² 与 6.339°，位姿精度显著提升。
• 消融实验表明，SIREN 与 MRS 的结合效果最佳：SiNeRF 的性能优于所有变体，包括无 SIREN（PSNR：22.478）与无 MRS（PSNR：25.542）。
• 在 Fortress 场景中，SiNeRF 将旋转误差从无 SIREN 时的 155.553° 降低至 1.772°，证明其在纹理缺失区域中有效逃离局部极小值。
• 定性结果表明，SiNeRF 的位姿轨迹与 COLMAP 真值高度一致，表明其相机位姿估计准确。
• 该方法在 T rex 与 Fortress 等挑战性场景中达到当前最优性能，而 NeRFmm 因监督不足与优化不稳定性在此类场景中表现不佳。