[论文解读] Natural Image Stitching Using Depth Maps

Tianli Liao, Nan Li|arXiv (Cornell University)|Feb 13, 2022

Advanced Vision and Imaging被引用 6

一句话总结

本文提出了一种新颖的自然图像拼接方法，利用深度图在重叠与非重叠区域中通过鲁棒特征匹配、Delaunay三角剖分和深度校正的局部单应性变换来解决视差问题。该方法实现了精确的对齐与自然的全景图，相较于现有方法在宽基线和非平面场景下取得了定量的MS-SSIM与PSNR提升。

ABSTRACT

Natural image stitching aims to create a single, natural-looking mosaic from overlapped images that capture the same 3D scene from different viewing positions. Challenges inevitably arise when the scene is non-planar and captured by handheld cameras since parallax is non-negligible in such cases. In this paper, we propose a novel image stitching method using depth maps, which generates accurate alignment mosaics against parallax. Firstly, we construct a robust fitting method to filter out the outliers in feature matches and estimate the epipolar geometry between input images. Then, we utilize epipolar geometry to establish pixel-to-pixel correspondences between the input images and render the warped images using the proposed optimal warping. In the rendering stage, we introduce several modules to solve the mapping artifacts in the warping results and generate the final mosaic. Experimental results on three challenging datasets demonstrate that the depth maps of input images enable our method to provide much more accurate alignment in the overlapping region and view-consistent results in the non-overlapping region. We believe our method will continue to work under the rapid progress of monocular depth estimation. The source code is available at https://github.com/tlliao/NIS_depths.

研究动机与目标

• 解决在非平面场景且相机基线较宽时，自然图像拼接中视差带来的挑战。
• 在重叠区域提升对齐精度，在非重叠区域提升自然性，超越全局单应性或标准自适应变形方法的性能。
• 利用深度图更精确地建模三维几何结构，以支持分段图像变形。
• 开发一种鲁棒拟合方法，可在大视差条件下过滤异常值并估计对极几何。
• 设计一种深度校正的局部单应性估计技术，确保在三角剖分图像域上的视图一致性变形。

提出的方法

• 采用基于深度-RANSAC的鲁棒拟合方法，从特征匹配中过滤异常值并估计对极几何，提升在大视差条件下的稳定性。
• 对目标图像应用Delaunay三角剖分，将其划分为若干三角形区域，每个区域在三维空间中假设为共面。
• 针对每个三角形，利用顶点位置、校正后的深度值和对极几何计算局部单应性，实现精确的分段变形。
• 通过公式(14)、(15)和(16)执行深度校正，按三角形聚类并平均深度值，提升变形一致性。
• 采用分段单应性变换的反向映射生成变形后的目标图像，随后进行平均融合与图像修复，生成最终全景图。
• 该方法集成了深度感知的几何估计，以处理不连续性和深度变化，尤其在非重叠区域表现更优。

实验结果

研究问题

• RQ1 在大视差和非平面场景条件下，深度图能否提升自然图像拼接的对齐精度？
• RQ2 如何利用深度信息与对极几何有效估计局部单应性，以实现分段图像变形？
• RQ3 通过聚类与平均实现的深度校正是否能提升拼接全景图的视觉质量和一致性？
• RQ4 在大视差条件下，所提出的鲁棒拟合方法与标准RANSAC及多采样RANSAC相比，在处理异常值敏感的特征匹配时表现如何？
• RQ5 与全局或基于块的变形模型相比，使用三角剖分区域在非重叠区域中在多大程度上提升了自然性？

主要发现

• 在MVS-Synth数据集上，所提方法的MS-SSIM达到0.9249，PSNR为23.9227，优于基线方法。
• 深度-RANSAC（本文提出的鲁棒拟合方法）的对齐精度高于homo-RANSAC与multi-RANSAC，PSNR分别为23.9227、17.5890与22.0899。
• 使用公式(16)进行深度校正显著提升了MS-SSIM并减少了伪影，实验3取得最佳得分0.9249。
• 消融研究显示，深度校正与聚类有助于减少变形图像中的分裂伪影，如0118测试案例的视觉对比所示。
• 在非重叠区域中，该方法在对齐复杂结构（如路灯和建筑物）方面优于APAP、NISwGSP与LFA，有效减少鬼影与错位现象。
• 当深度图不准确或在深度变化剧烈的复杂场景中三角剖分易出错时，会出现失败案例，导致融合与修复阶段产生伪影。