[论文解读] OccInpFlow: Occlusion-Inpainting Optical Flow Estimation by Unsupervised Learning

Kunming Luo, Chuan Wang+3 more|arXiv (Cornell University)|Jun 30, 2020

Advanced Vision and Imaging参考文献 47被引用 8

一句话总结

该论文提出OccInpFlow，一种无监督光流估计框架，通过使用外观感知的光流细化和边界膨胀变形来修复遮挡区域，从而提升性能。通过利用图像内容引导遮挡区域的光流修复，并校正由边界引起的遮挡，该方法在MPI-Sintel、KITTI和Flying Chairs数据集上取得了最先进（SOTA）的结果，优于所有先前的无监督方法，甚至超越了一些有监督方法。

ABSTRACT

Occlusion is an inevitable and critical problem in unsupervised optical flow learning. Existing methods either treat occlusions equally as non-occluded regions or simply remove them to avoid incorrectness. However, the occlusion regions can provide effective information for optical flow learning. In this paper, we present OccInpFlow, an occlusion-inpainting framework to make full use of occlusion regions. Specifically, a new appearance-flow network is proposed to inpaint occluded flows based on the image content. Moreover, a boundary warp is proposed to deal with occlusions caused by displacement beyond image border. We conduct experiments on multiple leading flow benchmark data sets such as Flying Chairs, KITTI and MPI-Sintel, which demonstrate that the performance is significantly improved by our proposed occlusion handling framework.

研究动机与目标

• 为解决无监督光流学习中遮挡问题这一关键挑战，现有方法往往忽略或丢弃遮挡区域。
• 通过利用上下文图像内容来修复遮挡区域中缺失的光流信息，提升光流估计的准确性。
• 通过一种新颖的边界膨胀变形机制，处理因运动超出图像边界而引起的边界诱导遮挡。
• 在保持有监督网络（如IRR-PWC）优势的同时，将其适配到无监督学习设置中。
• 证明遮挡区域（通常被丢弃）可作为自监督光流学习中有信息量的监督信号被有效利用。

提出的方法

• 提出一种新型外观-光流网络AppFlowNet-Lite，基于图像内容利用非遮挡区域的上下文特征来修复遮挡光流场。
• 引入一种边界膨胀变形模块，用于校正因像素位移超出图像边界而引起的光度损失计算，从而提升此类情况下的鲁棒性。
• 通过将有监督的IRR-PWC网络主干替换为光度一致性损失和遮挡感知训练，将其适配到无监督学习设置中。
• 采用多尺度架构，共享初始光流估计和细化模块，以处理大位移和精细运动细节。
• 采用两阶段训练流程：首先通过掩码头检测遮挡区域，然后利用外观-光流网络对遮挡区域中的光流进行细化。
• 使用一种光度损失，排除物体遮挡区域，但保留来自修复区域的引导，从而提升训练稳定性和准确性。

实验结果

研究问题

• RQ1 遮挡区域（传统上被丢弃或忽略）能否被有效利用以提升无监督光流估计？
• RQ2 如何利用图像内容来引导遮挡区域中缺失光流的修复？
• RQ3 新颖的边界变形策略能否在无监督学习中提升超出图像边界的像素的光流估计？
• RQ4 将遮挡修复与光度损失优化相结合，是否能带来优于单一组件的性能提升？
• RQ5 专为无监督学习设计的框架能否实现与有监督方法相当或更优的性能？

主要发现

• 在MPI-Sintel基准上，OccInpFlow在Clean模式下取得5.79的EPE，在Final模式下为7.28，优于第二好的无监督方法（分别为6.18和7.40）。
• 在KITTI 2012测试集上，该方法将EPE降低至1.78，显著优于基线，并超越了众多有监督方法的性能。
• 消融实验表明，结合边界膨胀变形与遮挡修复可获得最佳性能，Flying Chairs上的EPE降低至2.62。
• 仅排除遮挡区域的光度损失即可提升性能，但结合遮挡修复可实现最大提升，证明了遮挡区域中信息性引导的价值。
• 该方法在所有评估基准（Flying Chairs、KITTI和MPI-Sintel）上均达到最先进性能，展示了在多样化数据集和运动模式下的鲁棒性。
• 定性结果表明，所提方法能正确恢复遮挡区域的运动（如椅子背面），而基线方法因错误的光流传播而失败。