[论文解读] TransFlow: Unsupervised Motion Flow by Joint Geometric and Pixel-level Estimation

Stefano Alletto, Davide Abati+3 more|arXiv (Cornell University)|Jun 1, 2017

Advanced Vision and Imaging参考文献 12被引用 6

一句话总结

TransFlow 提出了一种用于第一视角视频的无监督光流方法，通过联合估计几何变换（利用单应矩阵和空间变换器层）并使用深度网络优化预测结果。与有监督方法相比，该方法在未见数据上的误差降低了3倍，通过基于重建的训练展现出强大的泛化能力。

ABSTRACT

We address unsupervised optical flow estimation for ego-centric motion. We argue that optical flow can be cast as a geometrical warping between two successive video frames and devise a deep architecture to estimate such transformation in two stages. First, a dense pixel-level flow is computed with a geometric prior imposing strong spatial constraints. Such prior is typical of driving scenes, where the point of view is coherent with the vehicle motion. We show how such global transformation can be approximated with an homography and how spatial transformer layers can be employed to compute the flow field implied by such transformation. The second stage then refines the prediction feeding a second deeper network. A final reconstruction loss compares the warping of frame X(t) with the subsequent frame X(t+1) and guides both estimates. The model, which we named TransFlow, performs favorably compared to other unsupervised algorithms, and shows better generalization compared to supervised methods with a 3x reduction in error on unseen data.

研究动机与目标

• 解决在无真实标签监督下，第一视角视频中无监督光流估计的挑战。
• 利用几何先验——特别是基于全局单应矩阵的运动——以在光流预测中强制实现空间一致性。
• 通过结合几何约束与端到端深度学习，提升在未见数据上的泛化能力。
• 设计一种两阶段架构，首先通过几何变形估计粗略光流，然后通过更深的网络进行细化。

提出的方法

• 将光流建模为连续视频帧之间的几何形变，使用单应矩阵表示全局运动。
• 使用空间变换器层预测由估计的单应矩阵所诱导的光流场，以强制实现空间一致性。
• 将预测的光流输入更深的网络进行细化，以恢复像素级细节。
• 使用重建损失训练整个网络，将形变后的帧 X(t) 与目标帧 X(t+1) 进行比较。
• 使用重建损失联合端到端优化两个阶段，以指导几何与像素级预测。
• 应用来自几何先验的强空间约束，以稳定训练并提升泛化能力。

实验结果

研究问题

• RQ1 像单应矩阵建模这样的几何先验能否提升第一视角场景中无监督光流估计的性能？
• RQ2 与纯学习方法相比，几何与像素级联合估计在提升光流准确率与泛化能力方面有何优势？
• RQ3 在无真实标签的情况下，基于重建的训练在未见数据上的误差降低程度如何？
• RQ4 空间变换器层能否有效建模驾驶场景中由全局运动诱导的光流场？

主要发现

• 与有监督方法相比，TransFlow 在未见数据上的误差降低了3倍，展现出卓越的泛化能力。
• 几何先验的整合显著提升了第一视角视频中的空间一致性和光流准确率。
• 两阶段架构——先几何初始化，再深度细化——优于纯端到端的无监督模型。
• 无真实标签的基于重建的训练在多种测试场景中均表现出稳健性能。
• 空间变换器层能有效从单应矩阵估计中生成光流场，实现可微形变。
• 该方法在训练期间未见过的领域中也表现出良好泛化能力，表明几何约束提供了强大的归纳偏置。