[论文解读] Stereo camera system calibration: the need of two sets of parameters

Riccardo Beschi, Xiao Feng+3 more|arXiv (Cornell University)|Jan 14, 2021

Advanced Vision and Imaging参考文献 18被引用 4

一句话总结

本文提出对立体相机系统进行两次校准——一次以最小化2D重投影误差，一次以最小化3D重建误差——证明了由于图像噪声的存在，单一参数集无法同时最优地服务于这两项任务。关键发现是，分别针对对应匹配和3D重建的参数集可分别实现更优性能，从而解决了立体视觉校准中的根本性权衡问题。

ABSTRACT

The reconstruction of a scene via a stereo-camera system is a two-steps process, where at first images from different cameras are matched to identify the set of point-to-point correspondences that then will actually be reconstructed in the three dimensional real world. The performance of the system strongly relies of the calibration procedure, which has to be carefully designed to guarantee optimal results. We implemented three different calibration methods and we compared their performance over 19 datasets. We present the experimental evidence that, due to the image noise, a single set of parameters is not sufficient to achieve high accuracy in the identification of the correspondences and in the 3D reconstruction at the same time. We propose to calibrate the system twice to estimate two different sets of parameters: the one obtained by minimizing the reprojection error that will be used when dealing with quantities defined in the 2D space of the cameras, and the one obtained by minimizing the reconstruction error that will be used when dealing with quantities defined in the real 3D world.

研究动机与目标

• 研究单一校准参数集是否能在真实世界图像噪声条件下，同时最优支持立体视觉系统中的2D对应匹配与3D重建任务。
• 识别现有校准方法在真实世界图像噪声下，使用同一组参数集同时处理两项任务时的局限性。
• 评估在立体校准中，最小化重投影误差（2D）与最小化重建误差（3D）之间的性能权衡。
• 提出并验证一种双校准方法，通过分离优化目标以提升整体系统精度。

提出的方法

• 实施三种校准方法：基础矩阵估计、2D最小化（最小化重投影误差）、3D最小化（最小化重建误差）。
• 使用基础矩阵方法作为初始化，通过蒙特卡洛优化策略对2D和3D最小化进行优化。
• 对系统进行两次校准：一次以最小化2D重投影误差用于对应点识别，另一次以最小化3D重建误差用于3D输出。
• 在19组数据集上评估所有三种方法，比较其在对应匹配与3D重建精度方面的表现。
• 将2D最小化参数用于2D任务（如对应匹配），将3D最小化参数用于3D重建任务。
• 使用针孔相机模型和投影几何关系定义3D世界点与其在2D图像中的投影之间的关系。

实验结果

研究问题

• RQ1 在真实世界图像噪声条件下，单一参数集能否同时实现高精度的2D对应匹配与3D重建？
• RQ2 在立体相机校准中，最小化2D重投影误差与最小化3D重建误差之间存在何种性能权衡？
• RQ3 将校准过程分离为两个独立优化（分别针对2D与3D精度）是否能带来更优的整体系统性能？
• RQ4 在不同数据集上，各种校准策略在重投影误差与重建误差方面的表现如何比较？

主要发现

• 2D最小化方法在识别正确点对对应关系方面表现最佳，表现为重投影误差较低。
• 3D最小化方法生成了最精确的3D重建结果，所有19组数据集的重建误差均稳定低于0.01。
• 使用单一参数集导致对应匹配与3D重建的性能均不理想，原因在于噪声假设存在冲突。
• 2D最小化方法假设所有噪声存在于3D空间，而3D最小化方法假设所有噪声存在于2D图像空间，由此引发固有的权衡。
• 双校准方法——即为2D与3D任务分别使用独立参数——在性能上优于任何单一参数方法。
• 本研究证实，最小化重投影误差与最小化重建误差是相互冲突的目标，因此必须采用两种不同的校准流程。