[论文解读] Multi-tiling Neural Radiance Field (NeRF) -- Geometric Assessment on Large-scale Aerial Datasets

Ningli Xu, Rongjun Qin+2 more|arXiv (Cornell University)|Oct 1, 2023

Advanced Vision and Imaging参考文献 57被引用 5

一句话总结

本文提出多层铺砌神经辐射场（MCT-NeRF），一种用于使用NeRF进行大规模航空三维重建的可扩展框架。通过将大图像分解为具有位置特定采样和多相机建模的铺砌子区域，该方法减少了内存使用并加快了收敛速度，在几何完整性和细节方面优于传统的摄影测量MVS流程，尽管精度仍低于LiDAR基准。

ABSTRACT

Neural Radiance Fields (NeRF) offer the potential to benefit 3D reconstruction tasks, including aerial photogrammetry. However, the scalability and accuracy of the inferred geometry are not well-documented for large-scale aerial assets,since such datasets usually result in very high memory consumption and slow convergence.. In this paper, we aim to scale the NeRF on large-scael aerial datasets and provide a thorough geometry assessment of NeRF. Specifically, we introduce a location-specific sampling technique as well as a multi-camera tiling (MCT) strategy to reduce memory consumption during image loading for RAM, representation training for GPU memory, and increase the convergence rate within tiles. MCT decomposes a large-frame image into multiple tiled images with different camera models, allowing these small-frame images to be fed into the training process as needed for specific locations without a loss of accuracy. We implement our method on a representative approach, Mip-NeRF, and compare its geometry performance with threephotgrammetric MVS pipelines on two typical aerial datasets against LiDAR reference data. Both qualitative and quantitative results suggest that the proposed NeRF approach produces better completeness and object details than traditional approaches, although as of now, it still falls short in terms of accuracy.

研究动机与目标

• 解决NeRF在大规模航空摄影测量中可扩展性和内存限制的问题。
• 改善在大规模航空数据集上进行NeRF训练时的收敛速度，并降低GPU/内存使用量。
• 使用LiDAR作为真实值，评估NeRF在大规模航空数据上的几何精度和完整性，与既有的摄影测量MVS流程进行对比。
• 开发一种铺砌策略，在保持几何保真度的同时，实现在高分辨率航空影像上的局部化、高效训练。

提出的方法

• 提出一种基于场景内空间相关性的位置特定采样技术，优先处理具有更高空间相关性的训练射线。
• 提出多相机铺砌（MCT）策略，将大帧航空图像分割为多个较小的图块，每个图块拥有独立的相机模型。
• 将MCT策略应用于Mip-NeRF，通过仅处理每个区域相关的图块实现在GPU上的高效、局部化训练。
• 采用基于图块的推理方法，在无需一次性将整个场景存储在内存中的情况下重建高分辨率三维几何结构。
• 在每个图块内应用分层采样方案，以提升体渲染质量并加快收敛速度。
• 使用LiDDRF作为几何评估参考，在两个大规模航空数据集上验证了该方法。

实验结果

研究问题

• RQ1 NeRF能否在不产生高昂内存或训练成本的前提下，有效扩展至大规模航空数据集？
• RQ2 在大规模航空数据上评估时，NeRF的几何质量与传统摄影测量MVS流程相比如何？
• RQ3 与全图象NeRF训练相比，多图块铺砌在多大程度上保持了几何精度和细节？
• RQ4 位置特定采样是否能改善航空影像上NeRF训练的收敛速度并减少内存使用？

主要发现

• 所提出的MCT-NeRF方法通过处理铺砌子区域而非完整图像帧，显著降低了图像加载和GPU训练期间的内存消耗。
• 由于采用局部化训练，收敛速度得到提升，每个图块独立处理并结合优化采样策略。
• 定性结果表明，MCT-NeRF生成的三维重建结果比传统摄影测量MVS流程更完整，且物体细节更丰富。
• 定量评估显示，尽管MCT-NeRF在完整性和表面细节方面优于MVS，但其几何精度仍落后于LiDAR参考数据。
• 多图块铺砌策略在图块边界处保持了良好的几何保真度，重建中仅观察到极少的伪影。