[论文解读] Partial light field tomographic reconstruction from a fixed-camera focal stack

Antoine Mousnier, Elif Vural+1 more|arXiv (Cornell University)|Mar 6, 2015

Advanced Vision and Imaging参考文献 25被引用 51

一句话总结

本文提出一种方法，仅通过单个固定相机拍摄的聚焦堆栈，即可重建高角分辨率的4D光场。通过估计聚焦图、将其转换为深度图，并利用基于深度的反向投影角度进行掩码反向投影，该方法实现了精确的数字重新对焦、扩展景深以及逼真的视角变换，无需专用硬件即可实现高质量的光场渲染。

ABSTRACT

This paper describes a novel approach to partially reconstruct high-resolution 4D light fields from a stack of differently focused photographs taken with a fixed camera. First, a focus map is calculated from this stack using a simple approach combining gradient detection and region expansion with graph-cut. Then, this focus map is converted into a depth map thanks to the calibration of the camera. We proceed after this with the tomographic reconstruction of the epipolar images by back-projecting the focused regions of the scene only. We call it masked back-projection. The angles of back-projection are calculated from the depth map. Thanks to the high angular resolution we achieve by suitably exploiting the image content captured over a large interval of focus distances, we are able to render puzzling perspective shifts although the original photographs were taken from a single fixed camera at a fixed position.

研究动机与目标

• 解决传统光场相机在空间分辨率与角分辨率之间的权衡问题。
• 实现仅通过单个固定相机拍摄多个对焦距离，即可重建高分辨率光场。
• 仅利用聚焦堆栈实现逼真的视角变换和数字重新对焦。
• 克服现有方法依赖聚焦堆栈光谱平均或需要相机阵列的局限性。
• 为使用标准相机实现高分辨率光场成像提供一种实用且可通过软件升级的解决方案。

提出的方法

• 利用梯度检测和图割优化的区域扩展方法，从聚焦堆栈中计算聚焦图。
• 通过预先标定的对焦参数与焦距之间的关系，将聚焦图转换为深度图。
• 基于聚焦图生成掩码，以识别每个聚焦堆栈图像中的对焦像素。
• 通过掩码反向投影重建光场的对极图像，仅对焦区域被反向投影。
• 从深度图中推导反向投影角度，以确保重建光场的几何一致性。
• 该方法利用4D层析成像原理，利用每个对焦图像的二维投影特性。

实验结果

研究问题

• RQ1 能否仅通过单个固定相机的聚焦堆栈，在无需专用硬件的情况下重建高角分辨率的4D光场？
• RQ2 如何准确识别多个对焦平面上的对焦区域，并将其用于光场重建？
• RQ3 与光谱平均方法相比，基于深度推导角度的掩码反向投影在视角变换和对焦质量方面能提升多少？
• RQ4 当聚焦堆栈覆盖的景深范围有限时，尤其是第一张图像对焦于最近物体时，该方法是否仍具有鲁棒性？
• RQ5 能否通过软件升级，使传统相机实现通过对焦扫描实现高分辨率光场渲染？

主要发现

• 该方法成功实现了从单个固定相机的聚焦堆栈中重建光场，实现了逼真的视角变换和数字重新对焦。
• 掩码反向投影避免了光谱平均方法中常见的“透视穿透”伪影，尤其在聚焦堆栈对焦于近处物体时表现更优。
• 通过利用在广泛对焦距离下捕获的内容，该方法实现了高角分辨率，支持令人惊叹的视角变换。
• 该方法对有限大小的聚焦堆栈具有鲁棒性，如在Joker数据集中仅用5张图像即实现有效重建。
• 通过标定建立了对焦参数与焦距之间的一一对应关系，从而实现了准确的深度图生成。
• 该技术实现了“点击即对焦”功能和扩展景深渲染，仅依赖标准相机硬件和软件。