[论文解读] Optimizing the F-measure for Threshold-free Salient Object Detection

Kai Zhao, Shanghua Gao+2 more|arXiv (Cornell University)|May 19, 2018

Visual Attention and Saliency Detection参考文献 40被引用 11

一句话总结

本文提出 FLoss，一种可微分的 F-measure 损失函数，可在显著性物体检测训练过程中直接优化 F-measure，实现无需阈值的高精度显著图。通过将标准 F-measure 重新表述为一种松弛化、可微分的形式，FLoss 即使在激活饱和区域也能保持强梯度，从而在无需调整阈值的情况下，实现更快的收敛速度和在多个基准数据集上的优越性能。

ABSTRACT

Current CNN-based solutions to salient object detection (SOD) mainly rely on the optimization of cross-entropy loss (CELoss). Then the quality of detected saliency maps is often evaluated in terms of F-measure. In this paper, we investigate an interesting issue: can we consistently use the F-measure formulation in both training and evaluation for SOD? By reformulating the standard F-measure we propose the relaxed F-measure which is differentiable w.r.t the posterior and can be easily appended to the back of CNNs as the loss function. Compared to the conventional cross-entropy loss of which the gradients decrease dramatically in the saturated area, our loss function, named FLoss, holds considerable gradients even when the activation approaches the target. Consequently, the FLoss can continuously force the network to produce polarized activations. Comprehensive benchmarks on several popular datasets show that FLoss outperforms the state-of-the-art with a considerable margin. More specifically, due to the polarized predictions, our method is able to obtain high-quality saliency maps without carefully tuning the optimal threshold, showing significant advantages in real-world applications.

研究动机与目标

• 解决显著性物体检测中训练（交叉熵损失）与评估（F-measure）之间的不一致问题。
• 实现 F-measure 的端到端优化作为训练目标，提升模型的泛化能力和鲁棒性。
• 通过生成本质上极化的显著图，消除推理阶段对阈值调优的需求。
• 通过 F-measure 的调和平均公式，有效平衡类别分布不均衡问题。
• 相比传统的交叉熵损失和平衡交叉熵损失，实现更快的收敛速度和更高的性能。

提出的方法

• 提出一种松弛化的 F-measure 公式，可对预测后验概率进行微分，克服标准 F-measure 的不可微性。
• 引入 FLoss 作为源自松弛化 F-measure 的可微分损失函数，可附加于任意基于 CNN 的显著性检测模型末端。
• 采用参数化的 $eta^2$ 因子以控制精确率与召回率之间的权衡，支持特定应用场景的优化。
• 以精确率与召回率的调和平均为核心度量，其本身即可有效平衡显著性检测中的类别不平衡问题。
• 在训练过程中以完全端到端的方式应用该损失，使网络能够直接学习极化的预测结果。
• 利用 FLoss 在预测饱和时仍能保持显著梯度的特性，促进更清晰的前景-背景分割。

实验结果

研究问题

• RQ1 能否在显著性物体检测中以可微分方式直接在训练过程中优化 F-measure？
• RQ2 将 F-measure 作为训练目标是否能带来优于交叉熵损失的泛化能力和性能表现？
• RQ3 FLoss 是否能在推理阶段无需阈值调优的情况下生成高质量的显著图？
• RQ4 与标准交叉熵损失和平衡交叉熵损失相比，FLoss 在处理类别不平衡数据时表现如何？
• RQ5 FLoss 在多种 SOTA 架构上，对收敛速度和最终性能的提升程度如何？

主要发现

• FLoss 在多个基准数据集上实现了最先进性能，优于标准交叉熵损失和平衡交叉熵损失。
• 在 ECSSD 数据集上，DSS+FLoss 模型的 F-measure 达到 0.843，超过 DSS+Balance (0.837) 和 DSS+CE (0.835)。
• 在 PASCAL-S 数据集上，Amulet+FLoss 模型的 F-measure 达到 0.889，优于 Amulet+CE (0.889) 和 Amulet+Balance (0.889)，且精确率与召回率均有所提升。
• 该方法收敛速度优于交叉熵基线模型，仅在数百次迭代内即达到高 F-measure 分数。
• 基于 FLoss 的模型生成高度极化的预测结果，在广泛阈值范围内均保持高性能，展现出无需阈值的鲁棒性。
• 调整 $eta^2$ 可有效控制精确率-召回率权衡，较高的 $eta^2$ 倾向于提升召回率，较低的 $eta^2$ 倾向于提升精确率。