[论文解读] Robust Optical Flow Estimation of Double-Layer Images under Transparency or Reflection

Jiaolong Yang, Hongdong Li+2 more|arXiv (Cornell University)|May 6, 2016

Advanced Vision and Imaging参考文献 33被引用 4

一句话总结

该论文提出了一种新颖的优化框架，用于在受透明度或反光影响的双层图像中实现鲁棒的光流估计，其中传统亮度恒定性假设失效。通过引入广义双层亮度一致性约束，并结合使用简单先验的光流与层分离联合估计，该方法在合成数据和真实世界数据上均实现了最先进性能，显著降低了形变误差，同时提升了光流的平滑性与一致性。

ABSTRACT

This paper deals with a challenging, frequently encountered, yet not properly investigated problem in two-frame optical flow estimation. That is, the input frames are compounds of two imaging layers -- one desired background layer of the scene, and one distracting, possibly moving layer due to transparency or reflection. In this situation, the conventional brightness constancy constraint -- the cornerstone of most existing optical flow methods -- will no longer be valid. In this paper, we propose a robust solution to this problem. The proposed method performs both optical flow estimation, and image layer separation. It exploits a generalized double-layer brightness consistency constraint connecting these two tasks, and utilizes the priors for both of them. Experiments on both synthetic data and real images have confirmed the efficacy of the proposed method. To the best of our knowledge, this is the first attempt towards handling generic optical flow fields of two-frame images containing transparency or reflection.

研究动机与目标

• 解决在存在透明或反光图层的场景中光流估计的挑战，其中标准亮度恒定性假设不成立。
• 开发一个统一框架，同时估计双层场景中的光流与图层分离。
• 在单一优化框架中处理静态和动态运动的前景图层。
• 在涉及反光或透明度的真实成像条件下，提升光流精度与图层分离质量。

提出的方法

• 提出广义双层亮度恒定性约束，将两个连续帧之间的光流场与图像图层强度关联起来。
• 使用图层组合算子（⊕）将观测图像建模为背景场景图层与前景干扰图层的叠加。
• 构建一个联合优化问题，同时估计背景与前景图层强度、各自的光流场，并强制执行广义亮度约束。
• 采用简单先验（如光流平滑性）和图层分离先验（如稀疏性、低秩性）对解进行正则化。
• 使用交替优化策略，迭代地优化图层估计、光流场与亮度一致性约束。
• 使用基线方法（如[21]）初始化图层分离，并通过联合优化过程进行细化。

实验结果

研究问题

• RQ1 是否能够通过统一框架在具有透明度或反光的双层场景中同时估计光流与图像图层分离？
• RQ2 如何将亮度恒定性约束推广至适用于两个运动图层而非单一图层的情形？
• RQ3 在存在动态前景图层的情况下，所提方法能在多大程度上改进初始的光流与图层估计？
• RQ4 当图层无纹理或发生相同运动时，该方法存在哪些局限性？

主要发现

• 所提方法显著降低了图像形变误差，在真实反光图像上的平均误差降至2.55（初始估计值为6.27）。
• 在第二组真实图像对中，形变误差从3.86降至1.49，表明对初始估计的改进具有一致性。
• 视觉结果表明，光流场更加平滑且一致，尤其在受反光影响的墙面与地板等复杂区域表现更优。
• 即使前景图层处于动态运动状态，该方法仍能成功分离图层并估计光流，优于基线初始化方法。
• 该框架对初始化具有鲁棒性，并在合成数据与真实数据上均一致地提升了光流与图层估计质量。
• 当两个图层均无纹理或发生相同运动时，方法失效，因为亮度约束退化。