[论文解读] Synthesize then Compare: Detecting Failures and Anomalies for Semantic Segmentation

Yingda Xia, Yi Zhang+3 more|arXiv (Cornell University)|Mar 18, 2020

Anomaly Detection Techniques and Applications参考文献 51被引用 10

一句话总结

该论文提出 SynthCP，一种统一框架，通过使用条件生成对抗网络（cGAN）从分割掩码合成图像，并与原始输入进行比较，以检测语义分割中的故障和异常。该方法实现了最先进性能，在 StreetHazards 上 AUPR 提升 20%，在胰腺肿瘤分割中皮尔逊相关系数提升 7%，在 Cityscapes 上 AUPR-Error 提升 6%。

ABSTRACT

The ability to detect failures and anomalies are fundamental requirements for building reliable systems for computer vision applications, especially safety-critical applications of semantic segmentation, such as autonomous driving and medical image analysis. In this paper, we systematically study failure and anomaly detection for semantic segmentation and propose a unified framework, consisting of two modules, to address these two related problems. The first module is an image synthesis module, which generates a synthesized image from a segmentation layout map, and the second is a comparison module, which computes the difference between the synthesized image and the input image. We validate our framework on three challenging datasets and improve the state-of-the-arts by large margins, \emph{i.e.}, 6% AUPR-Error on Cityscapes, 7% Pearson correlation on pancreatic tumor segmentation in MSD and 20% AUPR on StreetHazards anomaly segmentation.

研究动机与目标

• 为自动驾驶和医学影像等安全关键型语义分割应用中对故障和异常检测的迫切需求提供解决方案。
• 开发一种统一框架，同时处理像素级故障检测与异常分割，超越基于图像分类的方法。
• 通过反转分割过程进行图像合成，利用语义布局的结构一致性，提升检测可靠性。
• 为故障检测提供图像级置信度和像素级误差图，并在分布外（OOD）场景中定位异常区域。
• 在多样且具有挑战性的基准数据集（包括 Cityscapes、Medical Segmentation Decathlon（MSD）和 StreetHazards）上验证该框架。

提出的方法

• 在配对的分割掩码和真实图像上训练语义到图像的条件生成对抗网络（cGAN），以学习从布局到图像的逆映射。
• 使用训练好的 cGAN 从测试图像的预测分割掩码中合成重建图像。
• 通过特定任务的比较模块将合成图像与原始输入图像进行比较：故障检测使用孪生网络，异常分割使用特征距离计算。
• 对于故障检测，孪生网络输出图像级置信度（如 IoU 预测）和像素级误差图。
• 对于异常分割，比较在分割主干网络的中间特征上进行，通过计算像素级差异以识别 OOD 区域。
• 对异常分数图应用后处理阈值处理（例如在 t=0.999 处进行 MSP 阈值处理），以在控制假阳性率的同时优化 AUPR。

实验结果

研究问题

• RQ1 是否可以使用从分割掩码重建图像的生成模型来检测分割预测中的错误？
• RQ2 合成-比较范式在识别语义分割中的局部故障和分布外异常方面有多有效？
• RQ3 使用条件生成对抗网络进行图像合成是否比传统不确定性或重建基方法提供更好的故障与异常检测性能？
• RQ4 与基于像素的方法相比，分割布局的结构先验在多大程度上提升了检测性能？
• RQ5 该框架是否能在城市街景、医学肿瘤和罕见物体异常等多样化领域中实现泛化？

主要发现

• 在 Cityscapes 数据集上，SynthCP 在像素级故障检测中实现了 AUPR-Error 6% 的提升，优于先前最先进方法。
• 在 Medical Segmentation Decathlon（MSD）胰腺肿瘤分割基准上，SynthCP 将 DSC 预测的皮尔逊相关系数提升了 7%。
• 在 StreetHazards 数据集上，SynthCP 在异常分割任务中实现了 AUPR 相对提升 20%（从 6.5% 提升至 9.3%），创下新最先进水平。
• 在 MSP 异常分数图上应用 t=0.999 的后处理阈值，显著提升了 AUPR，同时保持高 AUROC 并降低 FPR95。
• 将 SynthCP 与基于 VAE 的报警系统结合，使皮尔逊相关系数提升 7%，斯皮尔曼相关系数提升 10%，表明两者具有互补优势。
• 可视化结果表明，SynthCP 能有效突出误分类区域（如将行人误分类为电线杆）以及训练数据中不存在的异常物体。