[论文解读] Solving Dense Image Matching in Real-Time using Discrete-Continuous Optimization

Alexander Shekhovtsov, Christian Reinbacher+2 more|arXiv (Cornell University)|Jan 23, 2016

Advanced Vision and Imaging被引用 5

一句话总结

本文提出了一种用于实时密集图像匹配的混合离散-连续优化框架，结合了大规模并行离散算法与基于差-凸函数（difference-of-convex functions）的非凸正则化公式。该方法通过在一致的能量最小化框架中统一离散与连续优化，实现在GPU上的实时性能，适用于立体匹配与光流计算。

ABSTRACT

Dense image matching is a fundamental low-level problem in Computer Vision, which has received tremendous attention from both discrete and continuous optimization communities. The goal of this paper is to combine the advantages of discrete and continuous optimization in a coherent framework. We devise a model based on energy minimization, to be optimized by both discrete and continuous algorithms in a consistent way. In the discrete setting, we propose a novel optimization algorithm that can be massively parallelized. In the continuous setting we tackle the problem of non-convex regularizers by a formulation based on differences of convex functions. The resulting hybrid discrete-continuous algorithm can be efficiently accelerated by modern GPUs and we demonstrate its real-time performance for the applications of dense stereo matching and optical flow.

研究动机与目标

• 弥合密集图像匹配中离散与连续优化之间的差距。
• 实现实时性能，用于密集立体匹配与光流应用。
• 开发一个支持离散与连续优化的一致能量最小化框架。
• 利用差-凸（DC）公式处理连续优化中的非凸正则化项。
• 通过GPU并行化加速算法，以实现实际部署。

提出的方法

• 该方法将密集图像匹配建模为包含数据项与平滑项的能量最小化问题。
• 设计了一种新颖的离散优化算法，以实现GPU上的大规模并行化。
• 在连续设置中，通过差-凸（DC）规划公式处理非凸正则化项。
• 将离散与连续求解器集成于统一的能量最小化框架中。
• 该框架确保了离散与连续域之间的一致性优化。
• 对离散求解器应用GPU加速，以实现实时性能。

实验结果

研究问题

• RQ1 统一的离散-连续优化框架能否提升实时密集图像匹配的性能？
• RQ2 在密集匹配的连续优化中，如何有效处理非凸正则化项？
• RQ3 在此背景下，离散优化在多大程度上可实现GPU并行化？
• RQ4 该混合方法在速度与精度上能否优于纯离散或纯连续方法？
• RQ5 该框架在立体匹配与光流任务中可实现的实时性能水平如何？

主要发现

• 所提出的混合算法在现代GPU上实现了密集立体匹配与光流的实时性能。
• 离散优化组件具有高度可并行性，并可在GPU上高效加速。
• DC规划公式有效支持了连续优化中非凸正则化项的处理。
• 统一框架确保了离散与连续优化步骤之间的一致性。
• 该方法展示了适用于计算机视觉实时应用的实际运行速度。
• 离散与连续优化的集成带来了鲁棒且高效的密集图像匹配解决方案。