[论文解读] Multiple View Reconstruction of Calibrated Images using Singular Value Decomposition

Ayan Chaudhury, Abhishek Kumar Gupta+3 more|arXiv (Cornell University)|Nov 2, 2010

Optical measurement and interference techniques参考文献 6被引用 3

一句话总结

本文提出了一种新颖的方法，用于校准的多相机系统中的多视角重建，利用奇异值分解（SVD）统一不同相机位置和朝向下的图像坐标。通过在各自的局部坐标系中校准每台相机，并将所有数据转换到一个共同的全局坐标系中，该方法确保固定3D世界点在不同相机视角下投影到相同的图像坐标，实现了稳定的重建，关键结果为单个校准点在所有相机中均达到（158, 88）像素坐标。

ABSTRACT

Calibration in a multi camera network has widely been studied for over several years starting from the earlier days of photogrammetry. Many authors have presented several calibration algorithms with their relative advantages and disadvantages. In a stereovision system, multiple view reconstruction is a challenging task. However, the total computational procedure in detail has not been presented before. Here in this work, we are dealing with the problem that, when a world coordinate point is fixed in space, image coordinates of that 3D point vary for different camera positions and orientations. In computer vision aspect, this situation is undesirable. That is, the system has to be designed in such a way that image coordinate of the world coordinate point will be fixed irrespective of the position & orientation of the cameras. We have done it in an elegant fashion. Firstly, camera parameters are calculated in its local coordinate system. Then, we use global coordinate data to transfer all local coordinate data of stereo cameras into same global coordinate system, so that we can register everything into this global coordinate system. After all the transformations, when the image coordinate of the world coordinate point is calculated, it gives same coordinate value for all camera positions & orientations. That is, the whole system is calibrated.

研究动机与目标

• 解决多相机系统中固定3D世界点在多个相机视角下图像坐标不一致的挑战。
• 将多个相机视角统一到单一全局坐标系中，以实现精确的多视角重建。
• 证明基于SVD的变换可实现无论相机位置或朝向如何，图像坐标的一致性。
• 通过在多个相机位置使用单个校准点进行验证，实现完全相同的图像坐标。

提出的方法

• 使用带有19个点的标定板的3D-2D点对应关系，在局部坐标系中校准每台相机。
• 通过标准校准模型提取相机参数（旋转和位移），为简化起见假设无镜头畸变。
• 使用SVD求解从局部坐标系到全局坐标系的坐标变换方程组。
• 应用形态学图像处理技术检测每幅图像中的特征点，以实现精确的像素坐标提取。
• 将所有局部相机数据转换到统一的全局坐标系中，以统一图像投影。
• 通过计算同一世界点在所有相机中的图像坐标并确认结果完全一致，验证其一致性。

实验结果

研究问题

• RQ1 多相机系统能否在相机位置和朝向变化的情况下，对固定3D世界点实现一致的图像坐标？
• RQ2 SVD如何被有效用于将多个相机视角统一到单一全局坐标系中？
• RQ3 坐标系变换对立体重建中图像坐标一致性有何影响？
• RQ4 即使采用忽略镜头畸变的简化校准模型，是否仍能实现图像投影的高一致性？

主要发现

• 在转换到全局坐标系后，固定3D世界点的图像坐标在所有相机视角中均一致保持为（158, 88）。
• SVD的使用实现了变换系统的精确且稳定求解，确保了多视角之间的对齐。
• 形态学图像处理成功提取并定位了校准点，从而实现了精确的像素坐标计算。
• 该方法在无需复杂非线性优化或高级畸变模型的情况下，实现了稳定的重建。
• 对于1000×1100的图像，图像中心被估计为传感器阵列的中点（500, 550），简化了校准过程且未牺牲精度。