[论文解读] This is not what I imagined: Error Detection for Semantic Segmentation through Visual Dissimilarity

David Haldimann, Hermann Blum+2 more|arXiv (Cornell University)|Sep 2, 2019

Anomaly Detection Techniques and Applications参考文献 28被引用 12

一句话总结

本文提出了一种基于视觉差异性的新型方法，用于在语义分割中检测分布外（OoD）和误分类实例，该方法利用条件生成对抗网络（cGAN）生成合成图像，并采用学习到的差异性度量来识别不一致性，实现了有前景的OoD检测效果，但因对亮度敏感而存在较高的误报率。

ABSTRACT

There has been a remarkable progress in the accuracy of semantic segmentation due to the capabilities of deep learning. Unfortunately, these methods are not able to generalize much further than the distribution of their training data and fail to handle out-of-distribution classes appropriately. This limits the applicability to autonomous or safety critical systems. We propose a novel method leveraging generative models to detect wrongly segmented or out-of-distribution instances. Conditioned on the predicted semantic segmentation, an RGB image is generated. We then learn a dissimilarity metric that compares the generated image with the original input and detects inconsistencies introduced by the semantic segmentation. We present test cases for outlier and misclassification detection and evaluate our method qualitatively and quantitatively on multiple datasets.

研究动机与目标

• 为解决语义分割模型中局部异常检测的不足，特别是针对分布外（OoD）和误分类实例。
• 开发一种方法，使语义分割网络能够检测超出其训练分布的错误，这对自动驾驶和安全关键系统至关重要。
• 利用生成建模和学习到的差异性度量，识别原始图像与重建图像之间的不一致性。

提出的方法

• 训练一个条件生成对抗网络（cGAN），根据预测的语义分割掩码重建原始输入图像。
• 使用卷积神经网络学习到的差异性度量，将生成图像与原始输入进行比较。
• 按图像块计算差异性得分，以定位OoD物体或误分类等错误。
• 评估了三种生成器头架构变体——反卷积（Deconvolution）、重采样（Resize）和全连接（Fully Connected），以评估性能权衡。
• 差异性检测器通过一个损失函数进行训练，该损失函数平衡相似性和差异性项，其中超参数λD控制权衡。
• 在Wilddash和Mapillary Vistas数据集上对OoD和误分类检测任务进行了评估。

实验结果

研究问题

• RQ1 真实图像与GAN生成图像之间的视觉差异性是否能有效检测语义分割中的分布外（OoD）实例？
• RQ2 所提出的方法在单张图像内对误分类或OoD物体的定位能力如何？
• RQ3 哪种生成器架构（反卷积、重采样、全连接）能为错误定位提供最鲁棒的差异性检测？
• RQ4 损失权重参数λD如何影响差异性检测器的性能？
• RQ5 输入图像与生成图像之间亮度变化在多大程度上导致了误报？

主要发现

• 基于反卷积的方法在Mapillary Vistas数据集上的OoD检测中取得了最高的AUC得分0.5469，优于重采样和全连接方法。
• 全连接方法在误分类检测中表现更优，AUC达到0.5051，尽管仍低于理想阈值。
• 由于对输入与生成图像之间亮度差异的敏感性，即使语义一致，也导致了较高的误报率。
• 当λD设置为使相似性和差异性项达到平衡时，全连接方法的F1得分达到最大值，表明此时为最优训练配置。
• 定性结果表明，反卷积和重采样方法在检测OoD实例方面表现更优，而全连接方法在误分类检测方面更有效。
• 尽管OoD检测性能表现良好，但整体方法的实用性受限于较高的误报率，需进一步研究。