[论文解读] Stereo Matching by Joint Global and Local Energy Minimization

Hongyang Xue, Deng Cai|arXiv (Cornell University)|Jan 15, 2016

Advanced Vision and Imaging参考文献 3被引用 1

一句话总结

本文提出了一种联合能量最小化框架，同时优化全连接MRF以实现全局平滑性，以及局部连接MRF以保留精细细节，在立体匹配中表现优异。通过使用期望场近似结合两种模型，该方法在Middlebury v3基准测试中实现了比两步法更优的视差估计精度和更快的推理速度。

ABSTRACT

In [18], Mozerov et al. propose to perform stereo matching as a two-step energy minimization problem. For the first step they solve a fully connected MRF model. And in the next step the marginal output is employed as the unary cost for a locally connected MRF model. In this paper we intend to combine the two steps of energy minimization in order to improve stereo matching results. We observe that the fully connected MRF leads to smoother disparity maps, while the locally connected MRF achieves superior results in fine-structured regions. Thus we propose to jointly solve the fully connected and locally connected models, taking both their advantages into account. The joint model is solved by mean field approximations. While remaining efficient, our joint model outperforms the two-step energy minimization approach in both time and estimation error on the Middlebury stereo benchmark v3.

研究动机与目标

• 为克服传统两步立体匹配流水线中分别优化全局与局部能量模型的局限性。
• 在统一框架中整合全连接MRF的平滑性优势与局部连接MRF的精细结构保持能力。
• 通过联合求解而非顺序处理，降低计算开销与估计误差。
• 在具有挑战性的立体匹配基准上提升视差图质量，特别是在有纹理和遮挡区域。

提出的方法

• 该方法构建了一个联合能量函数，结合了全连接MRF与局部连接MRF的单变量项。
• 采用期望场近似高效求解联合能量最小化问题。
• 全连接MRF提供全局上下文与平滑性，而局部连接MRF捕捉局部纹理与边缘细节。
• 利用联合模型的边缘输出推导视差估计，避免了顺序处理。
• 使用Middlebury立体匹配基准v3对联合模型进行训练与评估，以实现定量比较。

实验结果

研究问题

• RQ1 能否在一个统一优化框架中结合全局与局部MRF，从而提升立体匹配的精度？
• RQ2 与两步法相比，联合优化是否能减少计算时间？
• RQ3 与单一MRF相比，联合模型在精细结构与有纹理区域的表现如何？
• RQ4 期望场近似是否能有效处理联合能量函数的复杂性？

主要发现

• 在Middlebury v3立体匹配基准上，联合模型在估计误差与推理时间上均优于两步法。
• 由于全局MRF组件，该方法生成了更平滑的视差图，同时通过局部连接结构保留了精细细节。
• 期望场近似实现了对联合模型的高效优化，且未损失精度。
• 与顺序处理全局与局部模型的方法相比，该方法在标准立体匹配基准上显著降低了误差率。