[论文解读] Uncertainty-Aware Deep Calibrated Salient Object Detection

Jing Zhang, Yuchao Dai+4 more|arXiv (Cornell University)|Dec 10, 2020

Visual Attention and Saliency Detection参考文献 58被引用 5

一句话总结

该论文提出了一种不确定性感知的策略——边界分布平滑（BDS）和不确定性感知温度缩放（UATS），以提升深度显著性物体检测（SOD）网络中的置信度校准性能。通过使用基于学习到的不确定性图的、空间可变的标签平滑方法以及自适应温度缩放，该方法在七个基准数据集上有效降低了过度自信现象，同时提升了校准性能与准确性。

ABSTRACT

Existing deep neural network based salient object detection (SOD) methods mainly focus on pursuing high network accuracy. However, those methods overlook the gap between network accuracy and prediction confidence, known as the confidence uncalibration problem. Thus, state-of-the-art SOD networks are prone to be overconfident. In other words, the predicted confidence of the networks does not reflect the real probability of correctness of salient object detection, which significantly hinder their real-world applicability. In this paper, we introduce an uncertaintyaware deep SOD network, and propose two strategies from different perspectives to prevent deep SOD networks from being overconfident. The first strategy, namely Boundary Distribution Smoothing (BDS), generates continuous labels by smoothing the original binary ground-truth with respect to pixel-wise uncertainty. The second strategy, namely Uncertainty-Aware Temperature Scaling (UATS), exploits a relaxed Sigmoid function during both training and testing with spatially-variant temperature scaling to produce softened output. Both strategies can be incorporated into existing deep SOD networks with minimal efforts. Moreover, we propose a new saliency evaluation metric, namely dense calibration measure C, to measure how the model is calibrated on a given dataset. Extensive experimental results on seven benchmark datasets demonstrate that our solutions can not only better calibrate SOD models, but also improve the network accuracy.

研究动机与目标

• 解决当前最先进的深度SOD网络中的过度自信问题，即预测置信度不能反映真实准确性。
• 研究密集预测任务中网络准确率与预测置信度之间的差距，将先前在图像级别分类中的研究扩展至显著性检测任务。
• 提出一种新的密集校准度量 $\mathcal{C}$，用于定量评估像素级别预测中模型置信度与实际准确率的一致性。
• 引入两种可轻松集成到现有SOD网络中的校准策略——BDS与UATS，且仅需对训练流程进行微小修改。
• 证明校准良好的模型在现实世界应用中能产生更可靠、更鲁棒的预测。

提出的方法

• 提出边界分布平滑（BDS），通过在像素级不确定性基础上应用高斯核对标签进行模糊处理，将硬性二值真实标签替换为连续的软标签，尤其在目标边界区域实现平滑。
• 提出不确定性感知温度缩放（UATS），在松弛Sigmoid函数中使用空间可变的温度参数以软化模型输出，对高不确定性区域（如目标边缘）应用更高的温度。
• 在训练过程中学习不确定性图，以指导标签平滑与温度自适应，实现动态、空间感知的校准。
• 使用具有学习到的空间可变温度的松弛Sigmoid函数，生成更能反映真实预测不确定性的软化输出概率。
• 将BDS与UATS作为即插即用模块集成到现有SOD网络中，仅需对训练流程进行少量修改。
• 提出一种新的评估指标——密集校准度量 $\mathcal{C}$，用于量化模型置信度在所有像素上与实际准确率的一致性。

实验结果

研究问题

• RQ1 当前最先进的SOD网络在多大程度上存在过度自信？这种过度自信如何影响其在现实世界应用中的可靠性？
• RQ2 基于学习到的不确定性图的标签平滑是否能同时提升密集预测任务中的模型校准性能与泛化能力？
• RQ3 基于不确定性图的、空间可变的温度缩放是否优于固定温度的后处理方法，从而实现更优的校准预测？
• RQ4 所提出的密集校准度量 $\mathcal{C}$ 与现有指标相比，在评估像素级别输出的模型校准性能方面表现如何？
• RQ5 所提出的校准策略是否能有效应用于现有SOD网络，而无需显著改变网络结构或引入大量重训练开销？

主要发现

• 所提出的BDS与UATS策略显著缩小了预测置信度与实际准确率之间的差距，表现为在全部七个基准数据集上，密集校准度量 $\mathcal{C}$ 显著降低。
• 在DUTS-TE数据集上，所提方法的 $\mathcal{C}$ 度量达到0.068，优于DGRL（0.142）及其他基线方法，证明了其优越的校准性能。
• 消融实验表明，M1（Base + BDS）提升了泛化能力并降低了 $\mathcal{C}$，而均匀标签平滑（M2）则导致性能下降，凸显了不确定性感知平滑的重要性。
• UATS（M3）在准确率与校准性能上均持续提升，在DUTS-TE上实现 $\mathcal{C}$ 为0.068、F-measure为0.851，优于统一温度缩放（M4）与自适应温度缩放（M5）等后处理方法。
• 完整模型（M0）通过学习不确定性图，实现了最佳性能，在DUTS-TE上达到 $\mathcal{C}$ 为0.068、F-measure为0.851，证明了端到端不确定性学习的优势。
• 该方法可同时提升准确率与校准性能，与传统校准技术常需在两者之间权衡不同，展示了在真实世界部署中的双重优势。