[论文解读] The Treasure Beneath Multiple Annotations: An Uncertainty-aware Edge Detector

Caixia Zhou, Yaping Huang+4 more|arXiv (Cornell University)|Mar 21, 2023

Anomaly Detection Techniques and Applications被引用 7

一句话总结

本文提出了一种新型框架——不确定性感知边缘检测（UAED），通过将边缘标注视为可学习的高斯分布来建模边缘标注中的标签模糊性，其中方差表示不确定性。通过采用自适应损失加权策略，优先关注高不确定性（困难）样本，UAED在多个基准测试中实现了最先进性能，同时保持高效性，并兼容多种主干网络架构。

ABSTRACT

Deep learning-based edge detectors heavily rely on pixel-wise labels which are often provided by multiple annotators. Existing methods fuse multiple annotations using a simple voting process, ignoring the inherent ambiguity of edges and labeling bias of annotators. In this paper, we propose a novel uncertainty-aware edge detector (UAED), which employs uncertainty to investigate the subjectivity and ambiguity of diverse annotations. Specifically, we first convert the deterministic label space into a learnable Gaussian distribution, whose variance measures the degree of ambiguity among different annotations. Then we regard the learned variance as the estimated uncertainty of the predicted edge maps, and pixels with higher uncertainty are likely to be hard samples for edge detection. Therefore we design an adaptive weighting loss to emphasize the learning from those pixels with high uncertainty, which helps the network to gradually concentrate on the important pixels. UAED can be combined with various encoder-decoder backbones, and the extensive experiments demonstrate that UAED achieves superior performance consistently across multiple edge detection benchmarks. The source code is available at \url{https://github.com/ZhouCX117/UAED}

研究动机与目标

• 解决多个人工标注边缘图中存在的固有模糊性和标注偏差问题。
• 将边缘检测中的不确定性建模为信号，而非噪声，以指示结构上重要的困难像素。
• 通过重新加权训练损失以优先关注高不确定性像素，提升边缘检测性能。
• 开发一种即插即用模块，兼容多种编码器-解码器主干网络，且计算开销极低。

提出的方法

• 将确定性的逐像素标签转换为可学习的高斯分布，其中均值为预测的边缘图，方差通过独立的解码分支进行估计。
• 利用预测的方差作为不确定性估计，反映多位标注者之间的不一致。
• 设计一种自适应加权损失，提高高不确定性像素的损失贡献，促使模型聚焦于困难且模糊的样本。
• 使用结合边缘预测与不确定性估计的多任务损失进行网络训练，不确定性由多个标注的方差监督。
• 将UAED作为即插即用模块集成到多种编码器-解码器架构中，包括基于CNN的（VGG、EfficientNet）和基于Transformer的（SegFormer）编码器。
• 利用不确定性图指导训练，无需修改主干网络，保持较低的推理成本。

实验结果

研究问题

• RQ1 对多个边缘标注中的不确定性进行建模，是否能提升边缘检测性能？
• RQ2 高不确定性像素（反映标注者之间不一致）是否代表结构上更重要的边缘？
• RQ3 强调高不确定性像素的自适应损失加权策略，是否优于标准或固定加权策略？
• RQ4 所提出的不确定性感知模块是否在不同主干网络架构上具备泛化能力？
• RQ5 与最先进模型相比，该方法是否在提升性能的同时保持高效性？

主要发现

• 在BSDS500数据集上，UAED实现了最先进性能，ODS为0.829，OIS为0.847，AP为0.892，优于基线模型及其他不确定性估计方法。
• 所提出的自适应加权损失在所有测试的主干网络架构（包括VGG、EfficientNet和SegFormer）中均持续提升性能。
• 在Multicue数据集上，UAED实现了稳定增益，表明其在不同标注分布下具有鲁棒性。
• 该方法在单张RTX 3090上实现17 FPS的推理速度，优于基于Transformer的模型EDTER（仅5 FPS）。
• 消融实验表明，所提出的基于不确定性的损失加权策略显著优于传统或固定加权方案。
• UAED生成的不确定性图能直观突出高模糊性的边缘区域，证实高不确定性与结构关键像素存在相关性。