[论文解读] Virtual Rephotography: Novel View Prediction Error for 3D Reconstruction

Michael Waechter, Mate Beljan+4 more|arXiv (Cornell University)|Jan 26, 2016

Advanced Vision and Imaging参考文献 35被引用 4

一句话总结

本文提出虚拟重摄影（virtual rephotography）——一种基于新视角预测误差的3D重建新型评估框架，用于衡量视觉质量，无需依赖真实几何数据。通过利用重建模型渲染新视角，并使用亮度不变度量（如1-NCC）与真实参考图像进行比较，该方法实现了对各类方法（包括基于图像的渲染和粗略代理模型系统）的统一、与几何无关的评估。关键结果表明，预测误差与感知视觉质量之间存在强相关性。

ABSTRACT

The ultimate goal of many image-based modeling systems is to render photo-realistic novel views of a scene without visible artifacts. Existing evaluation metrics and benchmarks focus mainly on the geometric accuracy of the reconstructed model, which is, however, a poor predictor of visual accuracy. Furthermore, using only geometric accuracy by itself does not allow evaluating systems that either lack a geometric scene representation or utilize coarse proxy geometry. Examples include light field or image-based rendering systems. We propose a unified evaluation approach based on novel view prediction error that is able to analyze the visual quality of any method that can render novel views from input images. One of the key advantages of this approach is that it does not require ground truth geometry. This dramatically simplifies the creation of test datasets and benchmarks. It also allows us to evaluate the quality of an unknown scene during the acquisition and reconstruction process, which is useful for acquisition planning. We evaluate our approach on a range of methods including standard geometry-plus-texture pipelines as well as image-based rendering techniques, compare it to existing geometry-based benchmarks, and demonstrate its utility for a range of use cases.

研究动机与目标

• 解决当前依赖几何精度的3D重建基准中缺乏视觉质量评估的问题。
• 实现对无真实几何数据的方法（如基于图像的渲染或光场系统）的评估。
• 提供一个统一、实用的基准框架，适用于多样化的重建流程，包括具有粗略或无几何模型的系统。
• 在采集过程中提供实时质量反馈，以支持采集规划与错误定位。
• 建立一种比几何误差本身更符合人类感知的度量标准，尤其适用于面向人类的渲染应用。

提出的方法

• 利用输入图像中的已知相机参数，从重建的3D模型中渲染新视角。
• 使用亮度不变度量（如1-归一化互相关，1-NCC）计算渲染视图与真实参考图像之间的预测误差。
• 将多个测试视图的误差聚合，生成每种方法的全局视觉质量评分。
• 将误差图投影到几何模型上，以定位视觉伪影，并区分几何错误与纹理问题。
• 通过跨视图的误差平均，提升对存在遮挡物或极端光照条件的挑战性测试图像的鲁棒性。
• 设计一个支持多样化方法（包括MVS、IBR和仅纹理处理流程）的基准框架，使用保密的测试相机以确保公平比较。

实验结果

研究问题

• RQ1 新视角预测误差度量能否作为3D重建中视觉质量的可靠、与几何无关的代理指标？
• RQ2 与几何误差相比，预测误差在多大程度上与人类对视觉质量的感知相关？
• RQ3 该方法能否评估缺乏详细几何信息的基于图像的渲染和光场系统？
• RQ4 该误差度量能否在采集过程中使用，以指导数据采集并识别问题区域？
• RQ5 该方法在面对现实世界挑战（如视角变化、遮挡物和光照变化）时，对社区照片集的鲁棒性如何？

主要发现

• 所提出的虚拟重摄影方法在预测误差与人类对视觉质量的感知之间实现了强相关性，其在捕捉视觉保真度方面优于几何度量。
• 该方法成功评估了基于图像的渲染和粗略代理模型系统，而这些方法在传统基于几何的基准中难以评估。
• 通过投影误差图实现的误差定位能有效突出存在纹理伪影或几何不准确的区域，支持针对性调试。
• 通过误差平均和亮度不变度量，该方法在挑战性测试图像上表现出鲁棒性，但在高度多变的社区照片数据集上性能有所波动。
• 该方法支持在采集过程中实现实时反馈，有助于实现下一最佳视角规划与用户引导的场景采集。
• 作者证明了基于虚拟重摄影的统一基准的可行性，该基准支持多样化的重建流程，并促进跨社区评估。