[论文解读] Uncertainty Estimates and Multi-Hypotheses Networks for Optical Flow

Eddy Ilg, Özgün Çiçek+5 more|arXiv (Cornell University)|Feb 20, 2018

Advanced Vision and Imaging参考文献 21被引用 10

一句话总结

该论文提出了一种新颖的深度学习框架，用于光流估计，通过使用带有赢家通吃（Winner-Takes-All, WTA）损失的多假设网络，联合预测光流场及其不确定性。该方法在保持实时推理速度的同时，实现了最先进的不确定性估计精度，优于基于集成和基于能量的方法，在定量指标和定性可靠性评估方面均表现更优。

ABSTRACT

Optical flow estimation can be formulated as an end-to-end supervised learning problem, which yields estimates with a superior accuracy-runtime tradeoff compared to alternative methodology. In this paper, we make such networks estimate their local uncertainty about the correctness of their prediction, which is vital information when building decisions on top of the estimations. For the first time we compare several strategies and techniques to estimate uncertainty in a large-scale computer vision task like optical flow estimation. Moreover, we introduce a new network architecture utilizing the Winner-Takes-All loss and show that this can provide complementary hypotheses and uncertainty estimates efficiently with a single forward pass and without the need for sampling or ensembles. Finally, we demonstrate the quality of the different uncertainty estimates, which is clearly above previous confidence measures on optical flow and allows for interactive frame rates.

研究动机与目标

• 为解决深度光流网络中缺乏不确定性估计的问题，该问题限制了其在真实场景部署中的可信度。
• 在大规模光流任务上，评估并比较多种不确定性估计策略——经验集成、预测模型和预测集成。
• 开发一种单网络架构，能够高效生成多个假设和不确定性估计，而无需采样或集成。
• 为自动驾驶等安全关键应用提供实时、可靠的光流推理，并附带置信度度量。

提出的方法

• 采用受[31]启发的多头网络架构，使多个光流假设在单次前向传播中并行预测。
• 使用赢家通吃（WTA）损失，通过仅惩罚得分最高的假设来鼓励预测多样性，促进对多个合理光流的探索。
• 引入第二个网络头，融合多个假设并估计最终不确定性，从而提升鲁棒性和校准性。
• 评估多种不确定性估计技术：MC Dropout、Bootstrap集成和快照集成，其中Bootstrap集成表现最佳。
• 采用两阶段训练策略：先在FlyingChairs和FlyingThings3D上进行预训练，再在KITTI 2012+2015上进行微调。
• 使用拉普拉斯分布熵作为不确定性的代理指标，使用真实误差计算用于评估的“理想熵”（oracle entropy）。

实验结果

研究问题

• RQ1 在高分辨率光流网络中，哪种不确定性估计策略——经验集成、预测模型或预测集成——表现最佳？
• RQ2 单个深度网络是否能在不依赖采样或集成的情况下，生成多个合理的光流假设及其关联的不确定性估计？
• RQ3 所提出的多假设网络结合WTA损失，是否在保持实时推理的同时，实现了优于最先进方法的不确定性校准？
• RQ4 在Sintel和KITTI等多样化数据集上，不确定性估计性能与实际光流预测误差之间是否存在相关性？

主要发现

• 所提出的FlowNetH-Pred-Merged模型在KITTI数据集上的AUSE和EPE指标上均优于最先进的基于能量的方法ProbFlow，表现出更优的不确定性估计性能。
• 在所评估的方法中，Bootstrap集成产生的不确定性估计最佳，显著优于MC Dropout和快照集成。
• 结合WTA损失的多假设网络生成的不确定性估计比经验集成更准确，同时实现了交互式帧率。
• 即使在通过堆叠细化网络提升光流预测性能后，不确定性估计依然保持可靠，表明其在不同网络架构下具有鲁棒性。
• 定性结果表明，不确定性图能正确识别不可靠区域（如运动边界和遮挡区域），同时在静态背景和运动合理的区域保持高置信度。
• 该方法在AUSE（不确定性曲线下方面积）上大幅领先于ProbFlow，表明其不确定性估计不仅校准更优，而且对下游任务（如稀疏化处理）更具信息量。