[论文解读] Unconstrained Two-parallel-plane Model for Focused Plenoptic Cameras Calibration

Chunping Zhang, Zhe Ji+1 more|arXiv (Cornell University)|Aug 16, 2016

Advanced Vision and Imaging参考文献 17被引用 3

一句话总结

本文提出了一种新颖的7参数无约束双平行面（TPP）模型，通过在3D场景点与2D图像传感器测量值之间建立投影变换，实现对聚焦全光相机的标定。该方法采用闭式解法，随后通过Levenberg-Marquardt算法进行非线性优化，以最小化重投影误差，从而在模拟和真实数据上均实现了亚像素级精度（RMS误差 < 0.3像素）。

ABSTRACT

The plenoptic camera can capture both angular and spatial information of the rays, enabling 3D reconstruction by single exposure. The geometry of the recovered scene structure is affected by the calibration of the plenoptic camera significantly. In this paper, we propose a novel unconstrained two-parallel-plane (TPP) model with 7 parameters to describe a 4D light field. By reconstructing scene points from ray-ray association, a 3D projective transformation is deduced to establish the relationship between the scene structure and the TPP parameters. Based on the transformation, we simplify the focused plenoptic camera as a TPP model and calibrate its intrinsic parameters. Our calibration method includes a close-form solution and a nonlinear optimization by minimizing re-projection error. Experiments on both simulated data and real scene data verify the performance of the calibration on the focused plenoptic camera.

研究动机与目标

• 解决现有全光相机标定模型存在的冗余或不完整参数及初始化不佳的问题。
• 构建一个简洁且具有物理意义的模型，准确描述聚焦全光相机中4D光场的几何结构。
• 建立一个鲁棒的标定流程，结合线性初始化与非线性优化，以提高参数精度。
• 通过从原始传感器图像中准确解码度量4D光场数据，实现高精度3D重建与数字重对焦。

提出的方法

• 提出一种7参数无约束TPP模型，用于表示4D光场，其中两个平行平面定义了光路与光线几何结构。
• 推导出一个将场景点映射到图像传感器像素的3D投影变换矩阵，形成标定的理论基础。
• 通过从光线-光线关联与3D点重建中导出的线性关系，实现初始参数估计的闭式解法。
• 利用Levenberg-Marquardt算法进行非线性优化，通过在原始图像平面上最小化重投影误差来精炼参数。
• 使用具有多个姿态的标定板收集数据，以实现稳健的参数估计，并通过预处理提取微透镜子孔径图像。
• 通过光线追踪渲染重对焦图像来验证标定效果，展示该方法在下游应用中的实用性。

实验结果

研究问题

• RQ1 如何为聚焦全光相机构建一个简化且物理一致的4D光场模型，以提升标定精度？
• RQ2 能否从场景点与图像测量值之间的投影变换中推导出内在参数的闭式解？
• RQ3 与现有标定技术相比，所提方法在多大程度上降低了重投影误差？
• RQ4 标定姿态数量与标定点数量如何影响标定的鲁棒性与精度？
• RQ5 校准后的模型能否在真实场景中支持高质量的数字重对焦与3D重建？

主要发现

• 所提出的7参数无约束TPP模型能有效捕捉聚焦全光相机中3D场景点与2D图像传感器测量值之间的几何关系。
• 当使用至少5个标定姿态时，该标定方法的重投影误差低于0.3像素（RMS），且在不同点配置下表现一致。
• 在优化中引入畸变系数后，RMS误差从0.31505降低至0.27846像素，证明了非线性精化的有效性。
• 当使用9个姿态与8×10个标定点时，方法的RMS误差达到0.27846像素，证实了其高精度与鲁棒性。
• 估计出的姿态与光线方向可实现精确的数字重对焦，经渲染图像验证，不同视角下均保持一致且清晰的焦点。
• 该方法优于先前方法，避免了对微透镜中心对齐的假设，提供了更准确且具有物理基础的标定框架。