[论文解读] SLURP: Side Learning Uncertainty for Regression Problems

Xuanlong Yu, Gianni Franchi+1 more|arXiv (Cornell University)|Oct 21, 2021

Anomaly Detection Techniques and Applications参考文献 50被引用 4

一句话总结

SLURP 通过利用预训练主模型的特征及其预测结果，提出了一种通用且高效的侧向学习框架，用于回归任务中的不确定性估计。该方法在极低计算开销下实现了最先进水平的不确定性校准，在单目深度和光流基准测试中优于现有方法，且无需重新训练主模型，可即插即用。

ABSTRACT

It has become critical for deep learning algorithms to quantify their output uncertainties to satisfy reliability constraints and provide accurate results. Uncertainty estimation for regression has received less attention than classification due to the more straightforward standardized output of the latter class of tasks and their high importance. However, regression problems are encountered in a wide range of applications in computer vision. We propose SLURP, a generic approach for regression uncertainty estimation via a side learner that exploits the output and the intermediate representations generated by the main task model. We test SLURP on two critical regression tasks in computer vision: monocular depth and optical flow estimation. In addition, we conduct exhaustive benchmarks comprising transfer to different datasets and the addition of aleatoric noise. The results show that our proposal is generic and readily applicable to various regression problems and has a low computational cost with respect to existing solutions.

研究动机与目标

• 为解决深度学习回归模型中缺乏可靠的不确定性估计问题，特别是在深度估计和光流估计等视觉任务中。
• 开发一种通用且非侵入性的方法，无需重新训练或修改主预测模型。
• 通过侧向学习器恢复主模型预测输出中缺失的语义上下文，以改善不确定性估计。
• 在保持高不确定性校准性能的同时，确保计算成本低，适用于多种数据集和噪声条件。

提出的方法

• 训练一个侧向学习网络，利用原始输入和主模型的预测结果作为输入，以预测不确定性图。
• 侧向学习器融合主模型中间层的特征与预测输出，以重建预测误差。
• 利用主模型中的冻结特征提取器（如 ResNet）来保留语义上下文，提升不确定性估计性能。
• 采用可转置架构，支持即插即用部署，无需修改主模型的训练或推理流程。
• 侧向学习器端到端训练，以最小化预测不确定性与真实误差（如光流中的端点误差）之间的差异。
• 提出两种变体：Ours（完整版）和 Ours-light（轻量化版），均兼顾效率与实时应用兼容性。

实验结果

研究问题

• RQ1 是否能够通过侧向学习方法在不修改主模型的前提下，有效估计像素级回归任务中的不确定性？
• RQ2 SLURP 在多种数据集上与现有不确定性估计方法相比，在校准性和鲁棒性方面表现如何？
• RQ3 SLURP 在多大程度上通过恢复主模型预测中丢失的语义上下文来提升不确定性估计性能？
• RQ4 与基于集成的方法和联合训练方法相比，SLURP 的计算效率如何？

主要发现

• SLURP 在单目深度和光流任务中均达到最先进性能，在 FlyingChairs 数据集上 AUSE-EPE 为 1.20，在 KITTI 数据集上为 4.69，显著优于大多数基线方法。
• 在 Sintel 数据集上，SLURP 的 AUROC 达到 0.906，显著优于 MHP（0.878）和 Confid（0.728），展现出强大的泛化能力。
• 轻量化版本（Ours-light）在光流任务上的推理时间缩短至 65ms，在深度任务上为 88ms，优于 MC（79ms）和 EE（144ms）的推理速度，同时保持了具有竞争力的准确性。
• SLURP 在迁移设置和噪声输入下均保持高性能，无需在新数据集上微调即可展现鲁棒性。
• 侧向学习器通过有效恢复主模型特征中的语义上下文，显著降低了不确定性估计误差，尤其在边缘和遮挡区域表现更优。
• 该方法计算效率高，完整模型仅需 87.2M 参数，Ours-light 版本为 57.0M 参数，远低于基于集成的方法。