[论文解读] Occlusion Aware Unsupervised Learning of Optical Flow

Yang Wang, Yi Yang+4 more|arXiv (Cornell University)|Nov 16, 2017

Advanced Vision and Imaging参考文献 27被引用 18

一句话总结

该论文提出了一种遮挡感知的无监督光学流估计学习框架，通过利用反向光流显式建模遮挡区域，以指导重建损失，同时引入改进的图像扭曲策略和增强的网络结构设计，以提升大位移运动的估计性能。该方法在无监督方法中达到最先进性能，在KITTI数据集上实现了4.2的EPE（端到端误差），优于监督基线方法。

ABSTRACT

It has been recently shown that a convolutional neural network can learn optical flow estimation with unsupervised learning. However, the performance of the unsupervised methods still has a relatively large gap compared to its supervised counterpart. Occlusion and large motion are some of the major factors that limit the current unsupervised learning of optical flow methods. In this work we introduce a new method which models occlusion explicitly and a new warping way that facilitates the learning of large motion. Our method shows promising results on Flying Chairs, MPI-Sintel and KITTI benchmark datasets. Especially on KITTI dataset where abundant unlabeled samples exist, our unsupervised method outperforms its counterpart trained with supervised learning.

研究动机与目标

• 为解决无监督与监督光学流方法之间的性能差距，特别是由于遮挡和大位移运动导致的问题。
• 通过利用反向光流预测在损失函数中显式建模遮挡，以改进无监督光学流学习。
• 通过改进的图像扭曲机制和网络架构设计，提升大位移运动的估计性能。
• 仅使用未标注的视频数据实现高性能的光学流预测，减少对昂贵真实标注的依赖。

提出的方法

• 该方法提出一个端到端神经网络，联合估计前向和反向光流，并从反向光流中推导出遮挡图，以识别无对应关系的区域。
• 仅在非遮挡区域应用改进的光度损失，避免在遮挡区域因不一致而受到惩罚。
• 设计了一种新型图像扭曲机制，通过在解码阶段引入多尺度特征和改进的特征聚合，更好地处理大位移运动。
• 通过引入直方图均衡化和通道表示增强网络架构，提升特征判别能力，尤其在低对比度区域表现更优。
• 采用基于从扭曲帧重建图像的自监督目标进行训练，利用未标注的视频数据。
• 框架包含消融实验组件，如扩大搜索范围和对比度增强，以进一步提升在挑战性基准上的性能。

实验结果

研究问题

• RQ1 在存在运动不连续性和对应关系缺失的情况下，显式遮挡建模是否能提升无监督光学流估计的性能？
• RQ2 利用反向光流进行遮挡检测，对无监督训练中图像重建和光流估计的准确性有何影响？
• RQ3 改进的图像扭曲机制和网络架构设计在多大程度上能提升无监督光学流网络对大位移运动的估计能力？
• RQ4 遮挡建模、增强图像扭曲和预处理技术的结合是否能在真实世界数据集上带来相对于现有无监督方法的性能提升？
• RQ5 当拥有足够多的未标注数据（如KITTI数据集）时，结合这些组件的无监督学习是否能超越监督基线方法？

主要发现

• 在KITTI 2012基准上，所提无监督方法实现了4.2的端到端误差（EPE），优于监督基线方法FlowNetS+ft。
• 在MPI-Sintel Final基准上，该方法实现了6.34的EPE，显著优于基线方法FlowNetS（具备遮挡处理能力）。
• 在KITTI 2012上，遮挡估计的F-measure达到0.95，在KITTI 2015上达到0.88，尽管遮挡无真实标注监督，仍表现出强大性能。
• 消融实验表明，结合遮挡建模、扩大搜索范围、对比度增强和改进网络架构，使Flying Chairs数据集上的EPE相对降低30%。
• 该方法在Flying Chairs、MPI-Sintel和KITTI数据集上均实现了最先进无监督性能，KITTI上的表现甚至超过其监督对应方法，得益于大量未标注数据。
• 该模型在遮挡区域生成无伪影的光流预测，避免了以往无监督方法（如DSTFlow）中常见的虚假运动伪影。