[论文解读] Uncertainty Estimates for Optical Flow with Multi-Hypotheses Networks

Eddy Ilg, Özgün Çiçek+5 more|arXiv (Cornell University)|Feb 20, 2018

Advanced Vision and Imaging参考文献 16被引用 8

一句话总结

本文提出了一种用于光流估计的新型多假设网络架构，可在单次前向传播中生成精确的不确定性估计，无需使用集成模型或采样方法。该方法在大规模基准测试中表现出色，其不确定性预测质量高且可实现交互式速率。

ABSTRACT

Recent work has shown that optical flow estimation can be formulated as an end-to-end supervised learning problem, which yields estimates with a superior accuracy-runtime tradeoff compared to alternative methodology. In this paper, we make the network estimate its local uncertainty about the correctness of its prediction, which is vital information when building decisions on top of the estimated optical flow. For the first time we compare several strategies and techniques to estimate uncertainty in a large-scale computer vision task like optical flow estimation. Moreover, we introduce a new network architecture that enforces complementary hypotheses and provides uncertainty estimates efficiently within a single forward pass without the need for sampling or ensembles. We demonstrate high-quality uncertainty estimates that clearly improve over previous confidence measures on optical flow and allow for interactive frame rates.

研究动机与目标

• 为解决深度光流网络中缺乏可靠不确定性估计的问题，这对下游决策至关重要。
• 开发一种高效估计局部不确定性的方法，无需多次前向传播或模型集成。
• 在大规模光流估计背景下，对比并评估多种不确定性估计策略。
• 设计一种天然生成互补光流假设的网络架构，以提升不确定性校准效果。

提出的方法

• 提出一种多假设网络架构，可在单次前向传播中并行生成多个光流预测。
• 采用共享主干网络与分支头结构，生成多样但互补的光流假设。
• 应用一致性损失，以鼓励假设之间保持多样性，同时保持合理性。
• 利用假设之间的差异性，通过可微分度量估计不确定性。
• 通过光流损失与不确定性校准目标的组合，实现端到端训练。
• 引入一种新颖的不确定性感知训练目标，以提升置信度分数的可靠性。

实验结果

研究问题

• RQ1 如何在不增加推理成本的前提下，有效估计深度光流网络中的不确定性？
• RQ2 在大规模光流任务中，哪些不确定性估计策略表现最佳？
• RQ3 单次前向传播能否同时生成准确的光流预测与可靠的不确定性估计？
• RQ4 假设多样性如何影响不确定性质量与光流预测的准确性？

主要发现

• 所提方法在标准基准上实现了最先进的不确定性估计质量，优于先前的置信度度量方法。
• 不确定性估计结果校准良好，能清晰区分正确与错误的预测。
• 网络可在交互式帧率下生成不确定性图，支持实时应用。
• 多假设架构在无需采样或集成的情况下，实现了高质量的不确定性估计。