[论文解读] Solving Jigsaw Puzzles with Linear Programming

Rui Yu, Chris Russell+1 more|arXiv (Cornell University)|Nov 13, 2015

Image Processing and 3D Reconstruction参考文献 18被引用 11

一句话总结

本文提出了一种新颖的线性规划（LP）方法，通过将NP难问题转化为一系列全局凸松弛，实现鲁棒且全局最优的拼图组装，其性能优于最先进的贪心法与全局方法。该方法使用加权L1惩罚项处理不匹配的成对匹配，可在标准数据集上实现近乎完美的重建效果，包括在432片的Type 2拼图上达到95.8%的直接匹配准确率。

ABSTRACT

We propose a novel Linear Program (LP) based formula- tion for solving jigsaw puzzles. We formulate jigsaw solving as a set of successive global convex relaxations of the stan- dard NP-hard formulation, that can describe both jigsaws with pieces of unknown position and puzzles of unknown po- sition and orientation. The main contribution and strength of our approach comes from the LP assembly strategy. In contrast to existing greedy methods, our LP solver exploits all the pairwise matches simultaneously, and computes the position of each piece/component globally. The main ad- vantages of our LP approach include: (i) a reduced sensi- tivity to local minima compared to greedy approaches, since our successive approximations are global and convex and (ii) an increased robustness to the presence of mismatches in the pairwise matches due to the use of a weighted L1 penalty. To demonstrate the effectiveness of our approach, we test our algorithm on public jigsaw datasets and show that it outperforms state-of-the-art methods.

研究动机与目标

• 为解决未知拼图块位置与方向的拼图问题，提出一种基于全局最优与凸松弛的线性规划方法。
• 降低对局部极小值的敏感性，并提升在拼图组装过程中对噪声或错误成对匹配的鲁棒性。
• 通过将问题转化为等价的Type 1问题，将基于LP的求解器适用范围扩展至Type 1（已知方向）与Type 2（未知方向）拼图。
• 在基准数据集上，实现高于现有贪心法与全局优化方法的重建准确率。

提出的方法

• 该方法将拼图组装问题建模为原始NP难离散问题的一系列连续线性规划（LP）松弛，实现全局优化。
• 在目标函数中引入加权L1惩罚项，以鲁棒方式处理错误或低置信度的成对匹配，降低其对解的影响。
• 算法在识别与当前LP解一致的高置信度匹配与更新约束后重新求解LP之间交替进行，逐步构建更大的连通分量。
• 对于Type 2拼图（未知方向），将每块拼图转换为四个旋转版本，将问题转化为具有已知方向的Type 1拼图。
• 该方法利用来自成对兼容性评分的软约束，并通过迭代LP求解逐步消除不一致的匹配。
• 最终解通过在最后一步放置模糊拼图块获得，性能通过直接匹配、邻接匹配、组件匹配与完美匹配等指标进行评估。

实验结果

研究问题

• RQ1 对拼图问题进行一系列凸松弛是否能获得避免局部极小值的全局最优解？
• RQ2 加权L1惩罚项在拼图组装中如何提升对错误成对匹配的鲁棒性？
• RQ3 基于LP的方法能否通过将问题转化为等价的Type 1问题，有效求解Type 2拼图（未知方向）？
• RQ4 在不同噪声水平下，基于LP的求解器性能与最先进的贪心法与全局方法相比如何？
• RQ5 迭代LP精炼策略相较于单步优化，能在多大程度上提升重建准确率？

主要发现

• 所提出的基于LP的方法在MIT数据集的432片Type 2拼图上实现了95.8%的直接匹配准确率，优于先前方法如Gallagher [8]（82.2%）与Son et al. [16]（94.7%）。
• 在Type 1拼图上，该方法实现了95.7%的直接匹配准确率，并在15个样本中成功重建14个，超过Son et al. [16]在相同设置下报告的96.7%上限。
• 该方法在图像噪声下表现出更优的鲁棒性，在Type 2拼图上随高斯噪声水平增加，性能显著优于Gallagher [8]与Son et al. [16]。
• 在现代PC上，该算法处理432片Type 1拼图耗时5秒，处理Type 2拼图耗时1分钟，主要瓶颈为所有最先进方法共有的O(n²)成对匹配计算。
• 重建过程中最大的误差来源是最后一步模糊拼图块的放置，表明核心LP松弛在组件组装方面极为有效。
• 该方法成功重建了由两幅图像生成的864片混合Type 2拼图，正确识别出每块拼图的四个旋转版本。