[论文解读] VideoFlow: Exploiting Temporal Cues for Multi-frame Optical Flow Estimation

Xiaoyu Shi, Zhaoyang Huang+8 more|arXiv (Cornell University)|Mar 15, 2023

Advanced Vision and Imaging被引用 4

一句话总结

VideoFlow 提出了一种新颖的光流框架，通过 TRi-frame 光流（TROF）模块和 MOtion Propagation（MOP）模块，利用时间线索同时估计多帧连续视频帧之间的双向光流。该方法实现了最先进性能，在 Sintel final 和 clean passes 上分别将误差降低 15.1% 和 7.6%，在 KITTI-2015 上降低 19.2%，所有基准测试均排名第一。

ABSTRACT

We introduce VideoFlow, a novel optical flow estimation framework for videos. In contrast to previous methods that learn to estimate optical flow from two frames, VideoFlow concurrently estimates bi-directional optical flows for multiple frames that are available in videos by sufficiently exploiting temporal cues. We first propose a TRi-frame Optical Flow (TROF) module that estimates bi-directional optical flows for the center frame in a three-frame manner. The information of the frame triplet is iteratively fused onto the center frame. To extend TROF for handling more frames, we further propose a MOtion Propagation (MOP) module that bridges multiple TROFs and propagates motion features between adjacent TROFs. With the iterative flow estimation refinement, the information fused in individual TROFs can be propagated into the whole sequence via MOP. By effectively exploiting video information, VideoFlow presents extraordinary performance, ranking 1st on all public benchmarks. On the Sintel benchmark, VideoFlow achieves 1.649 and 0.991 average end-point-error (AEPE) on the final and clean passes, a 15.1% and 7.6% error reduction from the best-published results (1.943 and 1.073 from FlowFormer++). On the KITTI-2015 benchmark, VideoFlow achieves an F1-all error of 3.65%, a 19.2% error reduction from the best-published result (4.52% from FlowFormer++). Code is released at \url{https://github.com/XiaoyuShi97/VideoFlow}.

研究动机与目标

• 为解决现有光流方法仅限于两帧估计、忽略额外邻近帧时间线索的局限性。
• 开发一种统一框架，同时估计多帧之间的双向光流，以实现更优的运动建模与鲁棒性。
• 通过利用更广泛的时间上下文，减少遮挡区域和边界外像素等困难区域的模糊性，提升光流精度。
• 设计一种可扩展架构，通过动态运动传播将三帧光流估计扩展至更长的视频序列。

提出的方法

• TRi-frame 光流（TROF）模块联合估计从中心帧到其前一帧和后一帧的双向光流，确保时间上同一像素处的运动特征对齐。
• TROF 使用循环融合机制，在共享特征空间中迭代整合双向光流预测结果与相关性特征，以优化运动特征。
• MOtion Propagation（MOP）模块通过使用运动状态特征 $\mathbf{M}_{t}^{k}$ 沿预测光流轨迹传播运动特征，连接多个 TROF 单元。
• MOP 使感受野随迭代过程动态扩展，以可微分方式使远距离帧的信息影响光流预测。
• 该框架在循环解码器中采用迭代优化，根据当前光流估计结果在相邻 TROF 单元之间对运动特征进行特征扭曲。
• 模型采用标准光流损失函数进行端到端训练，且双向光流预测在设计上保持对称性，从而增强一致性。

实验结果

研究问题

• RQ1 从中心帧联合估计双向光流是否能提升运动一致性，并减少两帧方法中因错位导致的误差？
• RQ2 如何有效融合多帧时间上下文信息，以提升遮挡或模糊区域的光流估计性能？
• RQ3 在多个 TROF 单元之间传播运动特征的最优方式是什么，以实现从三帧光流估计向更长视频序列的扩展？
• RQ4 在传播过程中保持运动状态特征是否优于简单特征传递，从而在多帧光流估计中取得更优性能？
• RQ5 多帧光流框架是否能在 Sintel 和 KITTI-2015 等标准基准测试中超越最先进两帧模型？

主要发现

• 在 Sintel final pass 上，VideoFlow 实现 1.649 的平均端点误差（AEPE），相比之前最佳结果 1.943 降低 15.1%。
• 在 Sintel clean pass 上，VideoFlow 实现 0.991 AEPE，相比之前最佳结果 1.073 降低 7.6%。
• 在 KITTI-2015 基准测试中，VideoFlow 实现 3.65% 的 F1-all 误差，相比之前最佳结果 4.52% 降低 19.2%。
• 消融实验表明，TROF 中的双向光流估计与循环融合机制显著提升性能，后者在 Sintel final pass 上使 AEPE 降低 0.07。
• 采用运动状态特征传播的 MOP 模块性能最佳，在 KITTI-2015 上相比朴素特征传递基线降低 1.3% 的 F1-all 误差。
• 双向光流预测具有对称性且高度准确，前向与后向光流的 AEPE 值相近，证实了模型的一致性与鲁棒性。