[论文解读] UnFlow: Unsupervised Learning of Optical Flow with a Bidirectional Census Loss

Simon Meister, Junhwa Hur+1 more|arXiv (Cornell University)|Nov 21, 2017

Advanced Vision and Imaging被引用 4

一句话总结

该论文提出UnFlow，一种用于光流估计的无监督深度学习方法，通过使用双向census损失消除对合成或真实光流真值数据的依赖。通过结合遮挡感知的双向光流估计与鲁棒的census变换，UnFlow在KITTI基准上实现了最先进性能，优于先前的无监督方法以及仅在合成数据上训练的有监督模型。

ABSTRACT

In the era of end-to-end deep learning, many advances in computer vision are driven by large amounts of labeled data. In the optical flow setting, however, obtaining dense per-pixel ground truth for real scenes is difficult and thus such data is rare. Therefore, recent end-to-end convolutional networks for optical flow rely on synthetic datasets for supervision, but the domain mismatch between training and test scenarios continues to be a challenge. Inspired by classical energy-based optical flow methods, we design an unsupervised loss based on occlusion-aware bidirectional flow estimation and the robust census transform to circumvent the need for ground truth flow. On the KITTI benchmarks, our unsupervised approach outperforms previous unsupervised deep networks by a large margin, and is even more accurate than similar supervised methods trained on synthetic datasets alone. By optionally fine-tuning on the KITTI training data, our method achieves competitive optical flow accuracy on the KITTI 2012 and 2015 benchmarks, thus in addition enabling generic pre-training of supervised networks for datasets with limited amounts of ground truth.

研究动机与目标

• 解决光流估计中合成训练数据与真实测试场景之间的域差距问题。
• 开发一种无监督损失函数，实现在无光流真值标注的情况下对真实图像序列进行有效训练。
• 通过双向光流估计与census变换，提升对真实图像中遮挡和亮度变化的鲁棒性。
• 实现在大规模真实数据集上的预训练，通过少量真实标注进行微调，从而实现最先进性能。
• 证明在真实数据上进行无监督训练可超越在合成数据上进行有监督训练的真实世界基准表现。

提出的方法

• 提出一种双向光流估计设置，网络通过交换图像对在正向和反向方向上计算光流。
• 引入一种新颖的无监督损失，结合光度重建误差与census变换，以增强对亮度变化的鲁棒性。
• 通过利用正向与反向光流预测之间的一致性，实现遮挡推理。
• 使用高阶平滑项对光流场进行正则化，以减少运动估计中的噪声。
• 采用多尺度架构，提升在不同运动尺度下的准确性和泛化能力。
• 支持可选的稀疏KITTI真值微调，以进一步提升在挑战性区域的性能。

实验结果

研究问题

• RQ1 基于双向光流与census变换的无监督损失是否能在真实世界基准上超越现有无监督光流方法？
• RQ2 在真实世界图像序列上进行无监督训练是否优于在合成数据集上进行有监督训练的真实世界性能？
• RQ3 所提出的损失是否能实现在大规模真实数据集上的有效预训练（即使无真值），并支持有限标注下的微调？
• RQ4 通过双向光流实现的遮挡推理在真实世界场景中如何提升鲁棒性？
• RQ5 census变换在亮度变化和真实图像失真下对性能的提升程度如何？

主要发现

• UnFlow-C（在SYNTHIA和KITTI上纯无监督训练的模型）在KITTI 2012和2015上优于所有先前的无监督深度网络，与之前无监督方法相比，端点误差减少超过一半。
• UnFlow-C的精度优于仅在合成数据上训练的有监督模型FlowNetS和FlowNetC，证明了真实世界领域训练的优势。
• 微调后的UnFlow-CS-ft和UnFlow-CSS-ft模型性能与FlowNet2-ft-kitti（更复杂的有监督模型）相当，且无需自定义训练调度或辅助网络。
• UnFlow-C-Cityscapes（在Cityscapes上训练，未使用KITTI数据）仍优于UnsupFlownet和DSTFlow，显示出跨域的强大泛化能力。
• 在Middlebury基准上，UnFlow-C和UnFlow-C-Cityscapes优于有监督的FlowNetS，表明其泛化能力超越驾驶场景。
• 在Sintel上，UnFlow-C优于DSTFlow，表明该方法即使在未显式训练过的合成数据上也受益，凸显了损失函数的鲁棒性。