[论文解读] Superpixel-based Two-view Deterministic Fitting for Multiple-structure Data

Guobao Xiao, Hanzi Wang+2 more|arXiv (Cornell University)|Jul 20, 2016

Advanced Image and Video Retrieval Techniques参考文献 20被引用 5

一句话总结

本文提出了一种基于超像素的确定性拟合（SDF）方法，这是一种新颖的两视图几何模型拟合方法，利用从超像素提取的特征外观先验，实现对高 outlier 比例数据中多个模型实例的快速、确定性估计。通过使用超像素引导确定性采样算法和一种新型的顺序模型选择框架，SDF 在单结构与多结构数据上均实现了最先进的速度与精度，优于随机方法（RANSAC、PROSAC、T-linkage）和确定性方法（BnB、Astar）。

ABSTRACT

This paper proposes a two-view deterministic geometric model fitting method, termed Superpixel-based Deterministic Fitting (SDF), for multiple-structure data. SDF starts from superpixel segmentation, which effectively captures prior information of feature appearances. The feature appearances are beneficial to reduce the computational complexity for deterministic fitting methods. SDF also includes two original elements, i.e., a deterministic sampling algorithm and a novel model selection algorithm. The two algorithms are tightly coupled to boost the performance of SDF in both speed and accuracy. Specifically, the proposed sampling algorithm leverages the grouping cues of superpixels to generate reliable and consistent hypotheses. The proposed model selection algorithm further makes use of desirable properties of the generated hypotheses, to improve the conventional fit-and-remove framework for more efficient and effective performance. The key characteristic of SDF is that it can efficiently and deterministically estimate the parameters of model instances in multi-structure data. Experimental results demonstrate that the proposed SDF shows superiority over several state-of-the-art fitting methods for real images with single-structure and multiple-structure data.

研究动机与目标

• 解决如 RANSAC 等随机鲁棒拟合方法的局限性，这些方法缺乏解的一致性，且在多结构场景下计算成本过高。
• 克服现有确定性方法在少量内点和多个模型实例情况下的高计算复杂度问题。
• 利用特征外观先验（特别是超像素分组线索）提升确定性假设生成的效率与可靠性。
• 开发一种新型的顺序假设移除模型选择算法，通过逐次移除假设而非内点，实现高效且准确的全部模型实例检测。
• 在具有复杂结构与高 outlier 比例的真实图像中，实现两视图几何模型拟合的确定性、一致性与高精度。

提出的方法

• 从输入图像生成超像素，以提取空间一致的特征外观先验，用于引导假设采样。
• 采用确定性采样算法，结合超像素分组与关键点匹配得分，生成高质量假设，同时最小化错误假设的数量。
• 提出一种新型的拟合-移除框架，通过迭代移除假设而非内点，减少冗余计算。
• 模型选择算法基于内点一致性与鲁棒性对假设进行评估与排序，实现对所有模型实例的高效检测。
• 该方法应用于两视图问题，如单应矩阵与基础矩阵估计，并在包含单结构与多结构数据的真实图像对上进行性能评估。
• 该方法设计为确定性，确保运行间结果一致，并在不牺牲精度的前提下实现高速优化。

实验结果

研究问题

• RQ1 基于超像素的分组线索能否提升确定性几何模型拟合中假设生成的质量与一致性？
• RQ2 如何通过利用特征外观先验的确定性采样策略，在多结构数据拟合中降低计算成本，同时保持高精度？
• RQ3 所提出的顺序假设移除模型选择框架是否能在效率与有效性上超越传统拟合-移除方法？
• RQ4 在真实世界多结构数据上，SDF 方法与随机方法（如 RANSAC、PROSAC、T-linkage）及确定性方法（如 BnB、Astar）相比，在速度、精度与一致性方面表现如何？
• RQ5 在低内点比例场景下，来自超像素的特征外观先验能在多大程度上提升确定性拟合的性能？

主要发现

• SDF 是所有评估方法中速度最快的，在单应矩阵估计中比 RANSAC 快 1.58 至 80.14 倍，在基础矩阵估计中快 32.08 至 52.37 倍。
• 在低内点比例的 'MC3' 数据集上，SDF 达到最低的 Sampson 误差（0.07），且比 T-linkage 快 769.70 倍，后者在时间限制内未能收敛。
• SDF 在全部五个基础矩阵估计数据集上均取得最低的 Sampson 误差，其精度与速度均优于 RANSAC、PROSAC 与 T-linkage。
• 由于其确定性特性，SDF 在多次运行中表现出一致的结果，而 RANSAC 与 PROSAC 等随机方法则表现出解的可变性。
• 在单应矩阵估计中，SDF 比 PROSAC 快 3.2 至 300 倍，比 T-linkage 快 1.5 至 2 个数量级，同时保持或提升了精度。
• 所提方法在无需迭代重采样的情况下成功检测出多结构数据中的所有模型实例，展现出在模型选择阶段的卓越效率。