[论文解读] Prediction Error Meta Classification in Semantic Segmentation: Detection via Aggregated Dispersion Measures of Softmax Probabilities

Matthias Rottmann, Pascal Colling+5 more|arXiv (Cornell University)|Nov 1, 2018

Advanced Neural Network Applications被引用 5

一句话总结

该论文提出了一种元分类框架，通过聚合的离散度度量（如熵和概率差异）预测语义分割输出中各个分割区域是否与真实标注相交。结合这些度量与区域大小及预测类别，该方法在检测 IoU=0 与 IoU>0 区域时达到最高 91.55% 的 AUROC，在预测区域级 IoU 时达到最高 84.15% 的 R²，优于标准方法。

ABSTRACT

We present a method that "meta" classifies whether seg-ments predicted by a semantic segmentation neural networkintersect with the ground truth. For this purpose, we employ measures of dispersion for predicted pixel-wise class probability distributions, like classification entropy, that yield heat maps of the input scene's size. We aggregate these dispersion measures segment-wise and derive metrics that are well-correlated with the segment-wise IoU of prediction and ground truth. This procedure yields an almost plug and play post-processing tool to rate the prediction quality of semantic segmentation networks on segment level. This is especially relevant for monitoring neural networks in online applications like automated driving or medical imaging where reliability is of utmost importance. In our tests, we use publicly available state-of-the-art networks trained on the Cityscapes dataset and the BraTS2017 dataset and analyze the predictive power of different metrics as well as different sets of metrics. To this end, we compute logistic LASSO regression fits for the task of classifying IoU=0 vs. IoU>0 per segment and obtain AUROC values of up to 91.55%. We complement these tests with linear regression fits to predict the segment-wise IoU and obtain prediction standard deviations of down to 0.130 as well as $R^2$ values of up to 84.15%. We show that these results clearly outperform standard approaches.

研究动机与目标

• 开发一种即插即用的后处理工具，用于评估语义分割预测中单个区域的可靠性。
• 检测预测区域是否与真实标注相交，尤其在自动驾驶和医学影像等安全关键应用中。
• 评估基于 Softmax 输出的离散度度量在区域级可靠性估计中的预测能力。
• 提供一种用于评估语义分割中像素级不确定性度量的基准框架。
• 通过聚焦于区域级可靠性而非像素级不确定性，改进标准不确定性量化方法。

提出的方法

• 该方法在 Softmax 输出概率上计算像素级离散度度量（如分类熵和概率差），生成不确定性热图。
• 将这些热图在单个预测区域上聚合，推导出区域特定的度量，包括熵、概率分布范围、区域大小和预测类别。
• 将聚合后的度量用作逻辑 LASSO 回归模型的输入特征，以元分类方式判断某区域与真实标注的 IoU 是否为零或为正。
• 同时训练线性回归模型以预测实际的区域级 IoU，使用相同的聚合度量作为输入。
• 引入一种调整后的 IoU 度量（IoU_adj），以缓解因预测碎片化带来的问题，提升对分裂真实标注组件的鲁棒性。
• 该框架在 Cityscapes 和 BraTS2017 数据集上进行评估，所有方法仅依赖 Softmax 输出和真实标注。

实验结果

研究问题

• RQ1 Softmax 概率的聚合离散度度量能否可靠地预测预测区域是否与真实标注相交？
• RQ2 在如预测碎片化等具有挑战性的情况下，这些度量与实际区域级 IoU 的相关性如何？
• RQ3 该方法在二分类任务（IoU=0 与 IoU>0）和回归任务（预测 IoU 值）中是否均能实现高性能？
• RQ4 使用调整后的 IoU 度量（IoU_adj）是否相比标准 IoU 在区域级可靠性估计中提升性能？
• RQ5 该方法在多大程度上可扩展以评估或比较语义分割中新的像素级不确定性度量？

主要发现

• 逻辑 LASSO 回归模型在区分 IoU 为零与正数的区域时，AUROC 最高达到 91.55%，表明具备强大的检测能力。
• 使用聚合度量作为输入的线性回归模型，预测区域级 IoU 的标准差最低降至 0.130，R² 值最高达到 84.15%。
• 在回归任务中，调整后的 IoU（IoU_adj）相比标准 IoU 在 R² 上实现了约 2% 的性能提升。
• 该方法通过聚焦于区域级可靠性而非像素级不确定性，优于标准不确定性量化技术。
• 该框架与任何基于 Softmax 输出生成的不确定性热图兼容，支持与新型不确定性估计方法即插即用集成。
• 源代码公开可用，支持可复现性，并推动主动学习和标注错误检测的进一步发展。