[论文解读] Robust Camera Pose Refinement for Multi-Resolution Hash Encoding

Hwan Heo, Taekyung Kim+5 more|arXiv (Cornell University)|Feb 3, 2023

Advanced Vision and Imaging被引用 5

一句话总结

本文提出了一种针对神经辐射场中相机位姿优化与多分辨率哈希编码的鲁棒联合优化框架，通过平滑的直通估计器和课程学习稳定梯度振荡。该方法在初始位姿不准确或未知的情况下，仍能实现更快收敛与最先进水平的新视角合成性能。

ABSTRACT

Multi-resolution hash encoding has recently been proposed to reduce the computational cost of neural renderings, such as NeRF. This method requires accurate camera poses for the neural renderings of given scenes. However, contrary to previous methods jointly optimizing camera poses and 3D scenes, the naive gradient-based camera pose refinement method using multi-resolution hash encoding severely deteriorates performance. We propose a joint optimization algorithm to calibrate the camera pose and learn a geometric representation using efficient multi-resolution hash encoding. Showing that the oscillating gradient flows of hash encoding interfere with the registration of camera poses, our method addresses the issue by utilizing smooth interpolation weighting to stabilize the gradient oscillation for the ray samplings across hash grids. Moreover, the curriculum training procedure helps to learn the level-wise hash encoding, further increasing the pose refinement. Experiments on the novel-view synthesis datasets validate that our learning frameworks achieve state-of-the-art performance and rapid convergence of neural rendering, even when initial camera poses are unknown.

研究动机与目标

• 解决在神经辐射场中联合优化多分辨率哈希编码时相机位姿优化性能严重下降的问题。
• 识别出非可微哈希函数与不连续的d线性插值导致的梯度振荡，是位姿优化不稳定的原因。
• 通过在直通估计器中引入非线性激活函数，设计平滑的梯度估计策略，以稳定反向传播。
• 引入多层级学习率调度策略，实现分层哈希编码的粗到细收敛。
• 即使在浅层解码器和噪声初始位姿下，仍能实现性能提升，挑战了关于解码器容量的先前假设。

提出的方法

• 在反向传播中使用带有非线性激活函数的直通估计器，平滑梯度，缓解哈希网格中d线性插值引起的振荡。
• 在前向传播中保持d线性插值，同时通过可学习激活函数在反向传播中实现平滑梯度。
• 实施多层级学习率调度，以适应哈希编码不同分辨率层级的收敛速度差异。
• 采用课程训练策略，逐步优化位姿与场景表示，提升稳定性和准确性。
• 使用更深更宽的解码器网络（4层MLP，每层256个神经元），避免在位姿存在噪声时出现次优收敛。
• 通过消融实验验证各组件对位姿精度与视角合成质量的影响。

实验结果

研究问题

• RQ1 为何在基于NeRF的渲染中，对相机位姿与多分辨率哈希编码进行朴素联合优化会失败？
• RQ2 哈希编码中的梯度振荡如何影响相机位姿优化与场景重建？
• RQ3 通过平滑梯度估计能否稳定基于多分辨率哈希的NeRF中的相机位姿优化？
• RQ4 多层级学习率调度是否能提升分层哈希编码中的收敛性与位姿精度？
• RQ5 当初始相机位姿不准确时，解码器容量如何影响位姿优化？

主要发现

• 所提方法在NeRF-Synthetic与LLFF数据集上实现了最先进水平的新视角合成性能，LLFF数据集在COLMAP初始化下PSNR提升最高达26.73。
• 通过直通估计器实现的梯度平滑显著降低位姿配准误差，相比基线PSNR提升1.94点（表4中24.79 vs. 26.73）。
• 训练速度较先前工作提升20倍以上，Hotdog数据集上每轮推理时间仅为10.8 ms。
• 消融实验表明，平滑梯度与多层级学习率调度对准确位姿优化至关重要，尤其在初始位姿存在噪声时。
• 更大更深的解码器（4层，每层256神经元）显著提升收敛性与性能，与先前认为最小解码器尺寸即可的假设相矛盾。
• 即使在初始位姿未知的情况下，该方法在位姿精度与视角合成质量上仍优于竞争基线方法（如GARF、BARF）。