[论文解读] Residual Pattern Learning for Pixel-wise Out-of-Distribution Detection in Semantic Segmentation

Yuyuan Liu, Choubo Ding+5 more|arXiv (Cornell University)|Nov 26, 2022

Remote-Sensing Image Classification被引用 4

一句话总结

本文提出残差模式学习（RPL），一种新颖模块，可在不微调基础模型的前提下提升语义分割中的像素级分布外（OoD）检测性能，从而保持分布内准确率。通过从中间特征中学习异常的残差模式，并结合正向能量损失与上下文鲁棒对比学习（CoroCL），RPL在Fishyscapes、Segment-Me-If-You-Can和RoadAnomaly数据集上，将FPR提升最高达10%，AuPRC提升最高达7%。

ABSTRACT

Semantic segmentation models classify pixels into a set of known (``in-distribution'') visual classes. When deployed in an open world, the reliability of these models depends on their ability not only to classify in-distribution pixels but also to detect out-of-distribution (OoD) pixels. Historically, the poor OoD detection performance of these models has motivated the design of methods based on model re-training using synthetic training images that include OoD visual objects. Although successful, these re-trained methods have two issues: 1) their in-distribution segmentation accuracy may drop during re-training, and 2) their OoD detection accuracy does not generalise well to new contexts (e.g., country surroundings) outside the training set (e.g., city surroundings). In this paper, we mitigate these issues with: (i) a new residual pattern learning (RPL) module that assists the segmentation model to detect OoD pixels without affecting the inlier segmentation performance; and (ii) a novel context-robust contrastive learning (CoroCL) that enforces RPL to robustly detect OoD pixels among various contexts. Our approach improves by around 10\% FPR and 7\% AuPRC the previous state-of-the-art in Fishyscapes, Segment-Me-If-You-Can, and RoadAnomaly datasets. Our code is available at: https://github.com/yyliu01/RPL.

研究动机与目标

• 解决微调模型中分布内分割准确率与OoD检测性能之间的权衡问题。
• 克服现有OoD检测器在分布偏移（如城市到乡村场景）下上下文鲁棒性不足的局限。
• 开发一种即插即用模块，可在不微调主分割网络的前提下增强OoD检测能力。
• 在不同上下文环境下，提升对小型和细微异常的敏感度，同时最小化正常区域的误报。
• 通过上下文感知表征学习，实现OoD检测在多样化真实环境中的泛化能力。

提出的方法

• 提出一种残差模式学习（RPL）模块，作用于冻结的分割网络中间特征，通过引入的不确定性检测异常。
• 设计一种正向能量（PE）损失，仅关注异常样本的能量分数，提升像素级OoD检测中类别不平衡问题的鲁棒性。
• 提出上下文鲁棒对比学习（CoroCL），通过跨不同上下文对齐嵌入表示，增强对未见环境的泛化能力。
• 使用投影头进行RPL训练，其维度与RPL模块输出维度匹配，以实现有效的对比优化。
• 将RPL作为轻量级可训练头集成在预训练分割模型之上，避免主网络的重新训练。
• 采用两阶段训练策略：首先使用PE损失训练RPL，随后通过CoroCL进一步优化以提升上下文泛化能力。

实验结果

研究问题

• RQ1 即插即用模块能否在不降低分布内分割准确率的前提下提升OoD检测性能？
• RQ2 如何使OoD检测对不同真实场景上下文（如城市到乡村）的分布偏移具有鲁棒性？
• RQ3 正向能量损失在处理像素级检测中分布不平衡的正常-异常样本时，是否优于基于铰链的损失？
• RQ4 跨多样化上下文的对比学习能否提升OoD检测器的泛化能力？
• RQ5 RPL在多大程度上可增强现有SOTA方法（如Meta-OoD和PEBAL）？

主要发现

• 在Fishyscapes、Segment-Me-If-You-Can和RoadAnomaly数据集上，RPL相比之前SOTA方法，FPR降低10%，AuPRC提升7%。
• 与基于熵的优化相比，正向能量损失在SMIYC-Obstacle数据集上使AuPRC提升11.51%，FPR降低1.99%。
• 在FS-L&F数据集上引入非相似性（DS）正则化后，AuPRC提升6.87%，表明异常样本分离能力增强。
• CoroCL在SMIYC-Anomaly上实现18.47%更低的FPR与12.12%更高的AuPRC，在RoadAnomaly上实现12.92%更低的FPR与8.59%更高的AuPRC。
• RPL使Meta-OoD在Fishyscapes Static和L&F上AuPRC提升15%，在SMIYC-Obstacle上使PEBAL的AuPRC提升超过70%。
• 当投影头维度与RPL模块输出维度（304）匹配时性能最佳，相比512维投影头，AuPRC提升约5%。