[论文解读] Unsupervised Deep Epipolar Flow for Stationary or Dynamic Scenes

Yiran Zhong, Pan Ji+3 more|arXiv (Cornell University)|Apr 8, 2019

Advanced Vision and Imaging参考文献 43被引用 5

一句话总结

本文提出 Deep Epipolar Flow，一种无监督深度学习方法，用于光流估计，通过软对极约束强制实施全局几何约束——静态场景的低秩结构与动态场景的子空间并集——实现对光流估计的优化。该方法在 KITTI 2015（Fl 为 16.24%）和 Sintel（Clean 上 EPE 为 6.84）上达到最先进性能，优于先前的无监督方法，并在无真实光流监督的情况下接近有监督基线模型的表现。

ABSTRACT

Unsupervised deep learning for optical flow computation has achieved promising results. Most existing deep-net based methods rely on image brightness consistency and local smoothness constraint to train the networks. Their performance degrades at regions where repetitive textures or occlusions occur. In this paper, we propose Deep Epipolar Flow, an unsupervised optical flow method which incorporates global geometric constraints into network learning. In particular, we investigate multiple ways of enforcing the epipolar constraint in flow estimation. To alleviate a "chicken-and-egg" type of problem encountered in dynamic scenes where multiple motions may be present, we propose a low-rank constraint as well as a union-of-subspaces constraint for training. Experimental results on various benchmarking datasets show that our method achieves competitive performance compared with supervised methods and outperforms state-of-the-art unsupervised deep-learning methods.

研究动机与目标

• 解决无监督深度光流方法在重复纹理区域和遮挡区域性能下降的问题。
• 在不依赖真实光流的情况下，将全局对极几何引入无监督光流学习。
• 通过低秩和子空间并集约束建模场景几何，解决动态场景中多运动带来的“鸡肋问题”（即鸡生蛋还是蛋生鸡的困境）。
• 在无监督训练框架中引入几何先验，提升静态与动态场景下的泛化能力与精度。

提出的方法

• 提出基于低秩结构的软对极约束，以在静态场景中强制实现全局刚性。
• 提出子空间并集约束，用于建模动态场景中的多个独立运动，替代刚性基础矩阵假设。
• 设计一种可微分损失函数，通过这些约束在无监督训练中强制实现对极几何。
• 在统一的训练目标中结合图像扭曲损失、平滑性正则化与几何约束。
• 采用双帧输入与基于特征金字塔的 CNN 架构，实现端到端训练，无需真实光流监督。
• 在真实世界数据集（KITTI VO）上进行微调，以适应特定领域中的光流特征。

实验结果

研究问题

• RQ1 能否在无监督深度光流学习中有效强制实施全局对极几何，以提升在遮挡区域与重复纹理区域的性能？
• RQ2 在具有多运动的动态场景中，单一基础矩阵为何会失效？何种替代性几何结构能更好地建模此类复杂性？
• RQ3 低秩与子空间并集约束能否作为软性、可微分的正则化项，用于提升无真实光流监督下的光流估计性能？
• RQ4 与仅使用标准光度与平滑性损失相比，引入几何先验是否能带来更快的收敛速度与更低的误差？

主要发现

• 在 KITTI 2015 基准测试中，所提方法实现终点误差（EPE）为 5.56，光流准确率（Fl）为 16.24%，优于先前最先进无监督方法 Back2Future Flow。
• 在 Sintel Clean 数据集上，该方法实现 EPE 为 6.84，是无监督方法中的最佳结果，并接近有监督模型的性能。
• 子空间并集约束使模型在处理具有多运动的动态场景时，优于低秩或硬性基础矩阵约束。
• 消融实验证明，在 Sintel Final 数据集上，结合图像扭曲与子空间约束的组合能实现更快的收敛速度与更低的验证误差。
• 在 KITTI 2015 与 Sintel Final 数据集上进行微调后性能进一步提升，Sintel 结果的 EPE 从 6.15 降至 3.94，表明领域自适应具有显著优势。
• 该方法在微调后与有监督网络（如 SpyNet）相比表现具有竞争力，尤其在真实世界与合成数据领域均展现出强大的泛化能力。