[论文解读] ProFlow: Learning to Predict Optical Flow

Daniel Maurer, Andrés Bruhn|arXiv (Cornell University)|Jun 3, 2018

Advanced Vision and Imaging参考文献 13被引用 11

一句话总结

ProFlow 提出了一种无监督、在线学习方法，利用卷积神经网络（CNN）实时从后向到前向光流学习空间可变运动模型，以预测光流。与依赖预训练模型或刚性运动假设的先前方法不同，ProFlow 能够逐帧自适应，提升遮挡和非刚性运动情况下的性能，在 MPI Sintel 上达到最先进结果，并在 KITTI 和 Sintel 基准上实现一致的 27% 提升。

ABSTRACT

Temporal coherence is a valuable source of information in the context of optical flow estimation. However, finding a suitable motion model to leverage this information is a non-trivial task. In this paper we propose an unsupervised online learning approach based on a convolutional neural network (CNN) that estimates such a motion model individually for each frame. By relating forward and backward motion these learned models not only allow to infer valuable motion information based on the backward flow, they also help to improve the performance at occlusions, where a reliable prediction is particularly useful. Moreover, our learned models are spatially variant and hence allow to estimate non-rigid motion per construction. This, in turns, allows to overcome the major limitation of recent rigidity-based approaches that seek to improve the estimation by incorporating additional stereo/SfM constraints. Experiments demonstrate the usefulness of our new approach. They not only show a consistent improvement of up to 27% for all major benchmarks (KITTI 2012, KITTI 2015, MPI Sintel) compared to a baseline without prediction, they also show top results for the MPI Sintel benchmark -- the one of the three benchmarks that contains the largest amount of non-rigid motion.

研究动机与目标

• 解决现有光流方法因依赖刚性运动模型或预训练网络而在遮挡和非刚性运动中表现受限的问题。
• 通过直接从当前序列学习运动模型，在非刚性和非自身运动场景中实现时间一致性利用。
• 通过从后向光流预测前向光流，利用学习到的空间可变映射，提升遮挡区域的光流估计性能。
• 通过使用序列自身初始光流估计进行无监督、在线训练，避免对大规模真实标签数据集的依赖。
• 在主要基准上实现最先进性能，尤其在 MPI Sintel 等具有挑战性的非刚性运动场景中。

提出的方法

• 该方法在光流估计过程中，以无监督、在线方式学习基于 CNN 的、从后向光流向前向光流的空间可变映射。
• 运动模型通过使用同一序列的初始前向和后向光流估计逐帧训练，避免依赖外部数据集。
• 该方法以前向光流预测为目标，以后向光流作为输入，强制实现一致性，从而提升遮挡区域的可靠性。
• 施加硬性约束：当后向光流提供有效信息时，预测的前向光流将替换原始前向光流，尤其在遮挡区域。
• 在预测后引入修复和优化步骤，以进一步提升光流质量。
• 模型端到端训练，无需真实标签，仅使用前向与后向光流之间的一致性作为监督信号。

实验结果

研究问题

• RQ1 能否从当前序列自身的光流估计中，以无监督、在线方式有效学习基于 CNN 的运动模型？
• RQ2 此类学习到的空间可变运动模型是否能提升遮挡区域和非刚性运动区域的光流估计性能？
• RQ3 所提方法是否在多样化的基准上优于基线方法，尤其在非刚性运动场景中？
• RQ4 该方法是否能在不依赖立体视觉或 SfM 约束的情况下，实现在标准光流基准上的最先进性能？
• RQ5 该方法的性能如何随场景内容和运动复杂度的变化而变化？

主要发现

• 与无预测的基线相比，ProFlow 在所有主要基准（KITTI 2012、KITTI 2015、MPI Sintel）上实现了 27% 的相对性能提升。
• 在 MPI Sintel 基准上，ProFlow 在所有方法中排名第一，包括使用语义或几何约束的方法。
• 在 KITTI 2012 上，ProFlow 实现 4.49% 的 Out-All 错误率，在 KITTI 2015 上实现 13.86% 的 Fl-bg 错误率，优于 PWC-Net 和 UnFlow。
• 在 MPI Sintel final 上，ProFlow 报告 5.017 的全错误率，在非场景流方法中排名第一。
• 该方法在具有挑战性的非刚性运动区域表现出一致的性能增益，在 MPI Sintel unmatched 分割上实现无与伦比的性能（错误率为 24.736）。
• 每段序列的运行时间约为 112 秒（分辨率 1226×370），其中 50 秒用于运动模型学习与预测。