[论文解读] UPFlow: Upsampling Pyramid for Unsupervised Optical Flow Learning

Kunming Luo, Chuan Wang+4 more|arXiv (Cornell University)|Dec 1, 2020

Advanced Vision and Imaging参考文献 45被引用 4

一句话总结

该论文提出UPFlow，一种无监督光流方法，通过自引导上采样模块减少插值模糊，并通过金字塔蒸馏损失利用最精细光流作为伪标签来监督中间层级，从而改进基于金字塔的网络。该方法在KITTI 2012上实现EPE=1.4，在KITTI 2015上实现F1=9.38%，分别比之前无监督方法提升22.2%和15.7%。

ABSTRACT

We present an unsupervised learning approach for optical flow estimation by improving the upsampling and learning of pyramid network. We design a self-guided upsample module to tackle the interpolation blur problem caused by bilinear upsampling between pyramid levels. Moreover, we propose a pyramid distillation loss to add supervision for intermediate levels via distilling the finest flow as pseudo labels. By integrating these two components together, our method achieves the best performance for unsupervised optical flow learning on multiple leading benchmarks, including MPI-SIntel, KITTI 2012 and KITTI 2015. In particular, we achieve EPE=1.4 on KITTI 2012 and F1=9.38% on KITTI 2015, which outperform the previous state-of-the-art methods by 22.2% and 15.7%, respectively.

研究动机与目标

• 解决金字塔结构光流网络中因层级间双线性上采样导致的插值模糊问题。
• 改进无监督光流学习中中间金字塔层级的监督，这些层级通常缺乏指导。
• 通过将最精细光流作为伪标签进行蒸馏，提升粗层级的流估计精度。
• 在无真实标签的情况下，实现在无监督光流基准上的最先进性能。

提出的方法

• 引入自引导上采样模块，学习插值光流和映射以引导上采样，减少运动边缘的模糊。
• 利用解码器的特征图作为引导，学习对齐感知的插值，提升细节保留能力。
• 提出金字塔蒸馏损失，将最精细光流作为伪标签以监督中间金字塔层级。
• 在蒸馏过程中使用遮挡掩码，排除不可靠区域，提升伪标签质量。
• 在统一的无监督训练框架中结合自引导上采样与金字塔蒸馏损失。
• 结合标准的光度、平滑性和census损失，与新损失联合进行端到端训练。

实验结果

研究问题

• RQ1 可学习的上采样机制是否能减少金字塔结构光流网络中的插值模糊？
• RQ2 使用最精细光流生成的伪标签来监督中间金字塔层级，是否能提升整体光流估计性能？
• RQ3 基于蒸馏的损失策略是否能在无真实标签监督下提升无监督光流学习的性能？
• RQ4 自引导上采样与金字塔蒸馏损失的结合相较于以往无监督方法，在标准基准上的表现如何？

主要发现

• UPFlow在KITTI 2012基准上实现EPE=1.4，相比之前最先进方法相对提升22.2%。
• 在KITTI 2015基准上，UPFlow实现F1得分为9.38%，相比之前最先进方法相对提升15.7%。
• 自引导上采样模块优于图像引导方法（如JBU、GF和DJF），在边缘保留方面表现更优。
• 消融实验表明，若移除自引导模块中的插值映射或光流，性能下降，证实其重要性。
• 结合遮挡掩码的金字塔蒸馏损失优于无监督损失（PUL-up/PUL-down），证明了伪标签引导的优势。
• 完整UPFlow模型同时集成两个组件，在所有评估基准（包括Sintel、MPI-Sintel、KITTI 2012和KITTI 2015）上均取得最佳性能。