[论文解读] Structure-Aware NeRF without Posed Camera via Epipolar Constraint

Shu Chen, Yang Zhang+2 more|arXiv (Cornell University)|Oct 1, 2022

Advanced Vision and Imaging被引用 5

一句话总结

该论文提出 SaNeRF，一种结构感知的 NeRF 方法，通过在无需已知相机位姿的前提下，联合优化神经辐射场与相机外参参数。通过在跨视角的 SIFT 特征匹配上施加本质约束，该方法实现了端到端训练，提升了视图合成质量与相机位姿估计精度，在 ScanNet 和 LLFF-NeRF 数据集上取得了最先进结果。

ABSTRACT

The neural radiance field (NeRF) for realistic novel view synthesis requires camera poses to be pre-acquired by a structure-from-motion (SfM) approach. This two-stage strategy is not convenient to use and degrades the performance because the error in the pose extraction can propagate to the view synthesis. We integrate the pose extraction and view synthesis into a single end-to-end procedure so they can benefit from each other. For training NeRF models, only RGB images are given, without pre-known camera poses. The camera poses are obtained by the epipolar constraint in which the identical feature in different views has the same world coordinates transformed from the local camera coordinates according to the extracted poses. The epipolar constraint is jointly optimized with pixel color constraint. The poses are represented by a CNN-based deep network, whose input is the related frames. This joint optimization enables NeRF to be aware of the scene's structure that has an improved generalization performance. Extensive experiments on a variety of scenes demonstrate the effectiveness of the proposed approach. Code is available at https://github.com/XTU-PR-LAB/SaNerf.

研究动机与目标

• 消除 NeRF 基新型视图合成对预计算相机位姿的依赖。
• 通过几何约束整合场景结构感知，提升 NeRF 的泛化能力。
• 仅使用 RGB 图像实现 NeRF 与相机位姿估计的端到端训练。
• 减少传统两阶段 NeRF 流程中因 SfM 位姿估计不准确导致的误差传播。
• 利用光度一致性与本质几何，实现鲁棒的自监督 3D 重建。

提出的方法

• 该方法使用 SIFT 特征检测在图像对之间识别对应点。
• 施加本质约束，使得跨视角匹配的 SIFT 特征在全局空间中具有相同的 3D 坐标。
• 通过一个卷积神经网络（CNN）以相关图像帧为输入，预测相机外参参数。
• 在端到端训练中，将本质约束与像素颜色重建损失联合优化。
• 通过使用估计的外参参数，将 SIFT 特征的局部相机坐标转换为全局 3D 坐标。
• 整个系统实现端到端训练，使场景表示与相机位姿估计相互提升。

实验结果

研究问题

• RQ1 NeRF 是否能在不依赖预知相机位姿的情况下实现准确的新型视图合成？
• RQ2 在 SIFT 匹配上施加本质约束是否能提升 NeRF 的泛化能力与结构感知能力？
• RQ3 NeRF 与相机位姿的联合优化是否优于 SfM 基础流程中的独立优化？
• RQ4 在 SIFT 匹配失败的稀疏或无纹理区域，该方法表现如何？
• RQ5 即使随机初始化，该方法是否仍能收敛到准确的相机轨迹？

主要发现

• 在 ScanNet 数据集上，SaNeRF 在场景 0553 上达到最高的 PSNR 33.69，在场景 0158 上达到 33.12，优于 NeRF 及其他基线方法。
• 在 LLFF-NeRF 数据集上，优化后相机位姿的 ATE（绝对轨迹误差）降低至 'Flower' 场景的 0.000788，显著低于 NeRF- 的基线值 0.011。
• 在约 100,000 个训练周期后，相机位姿估计收敛至 COLMAP 推导的轨迹，证实了优化的稳定性。
• 在具有充足 SIFT 匹配的场景中（如场景 0079、0158、0553），SaNeRF 在 PSNR 与 SSIM 上均达到最先进性能。
• 该方法在具有重复结构（如场景 0316）和无纹理区域中失效，表明在光度模糊条件下存在局限性。
• 联合优化策略实现了相互提升：更优的位姿估计带来更高质量的视图合成，反之亦然。