[论文解读] Refign: Align and Refine for Adaptation of Semantic Segmentation to Adverse Conditions

David Brüggemann, Christos Sakaridis+2 more|arXiv (Cornell University)|Jul 14, 2022

Domain Adaptation and Few-Shot Learning被引用 10

一句话总结

Refign 是一种新颖的即插即用扩展，用于基于自训练的语义分割无监督域自适应（UDA），通过利用跨条件图像对，在恶劣视觉条件下提升性能。它首先使用一种不确定性感知的密集匹配网络（UAWarpC）将正常条件下的参考预测对齐到目标图像，然后通过自适应标签校正优化目标预测，从而在 ACDC 上实现 65.6% 的新 SOTA mIoU，在 Dark Zurich 上实现 56.2% 的 mIoU，且无需额外训练参数。

ABSTRACT

Due to the scarcity of dense pixel-level semantic annotations for images recorded in adverse visual conditions, there has been a keen interest in unsupervised domain adaptation (UDA) for the semantic segmentation of such images. UDA adapts models trained on normal conditions to the target adverse-condition domains. Meanwhile, multiple datasets with driving scenes provide corresponding images of the same scenes across multiple conditions, which can serve as a form of weak supervision for domain adaptation. We propose Refign, a generic extension to self-training-based UDA methods which leverages these cross-domain correspondences. Refign consists of two steps: (1) aligning the normal-condition image to the corresponding adverse-condition image using an uncertainty-aware dense matching network, and (2) refining the adverse prediction with the normal prediction using an adaptive label correction mechanism. We design custom modules to streamline both steps and set the new state of the art for domain-adaptive semantic segmentation on several adverse-condition benchmarks, including ACDC and Dark Zurich. The approach introduces no extra training parameters, minimal computational overhead -- during training only -- and can be used as a drop-in extension to improve any given self-training-based UDA method. Code is available at https://github.com/brdav/refign.

研究动机与目标

• 提升在雾、雨、夜间等恶劣视觉条件下的语义分割鲁棒性。
• 解决自训练方法在无监督域自适应（UDA）中因伪标签噪声导致的误差传播问题。
• 利用跨条件图像对（如同一场景的白天与夜间视图）作为弱监督信号，提升域自适应性能。
• 开发一种通用且参数高效的通用方法，无需架构修改即可增强现有 UDA 框架。

提出的方法

• 提出 UAWarpC，作为 WarpC 几何匹配网络的概率扩展，用于估计参考图像与目标图像之间的密集对应图，并输出不确定性感知的置信度分数。
• 利用预测的不确定性引导参考预测在空间上对齐至目标图像，即使在遮挡和动态物体存在的情况下也能实现鲁棒的特征扭曲。
• 采用非参数化的自适应标签校正机制，基于类别概率和不确定性，使用置信度加权混合策略融合目标预测与扭曲后的参考预测。
• 引入信任度机制，根据参考预测的可靠性动态调整其对最终预测的影响，尤其在夜间或下雪等困难条件下表现更优。
• 采用两阶段优化流程：首先通过扭曲特征将参考预测对齐至目标图像，然后利用置信度自适应融合策略进一步优化目标预测。
• 设计方法为任意基于自训练的 UDA 方法提供即插即用的扩展，训练阶段仅引入极低的计算开销。

实验结果

研究问题

• RQ1 当作为弱监督信号时，跨条件图像对（如白天与夜间视图）是否能提升在恶劣视觉条件下的语义分割性能？
• RQ2 不确定性感知的密集匹配如何改善域自适应中参考预测与目标预测之间的对齐？
• RQ3 利用对齐后的参考预测进行自适应标签校正，能在多大程度上缓解自训练方法中 UDA 的误差传播问题？
• RQ4 该方法是否能在视角或内容存在差异的情况下，泛化至包括雾霾、降雪和夜间在内的多种恶劣条件？
• RQ5 所提出的方法是否可作为即插即用的扩展模块，无需微调或增加参数，直接集成至现有 UDA 框架？

主要发现

• Refign 在 ACDC 基准上实现了 65.6% 的新 SOTA mIoU，显著提升语义分割在恶劣条件下的性能。
• 在 Dark Zurich 数据集上，Refign 达到 56.2% 的 mIoU，创下正常到恶劣域自适应的新 SOTA 性能记录。
• 在 ACDC 上，相比基线方法 DAFormer 提升 1.0% mIoU，相比 DACS 提升 6.8% mIoU，展现出强大的泛化能力。
• 消融实验表明，对齐与自适应优化均不可或缺，置信度感知的混合策略相比简单平均可提升 1.8% mIoU。
• UAWarpC 在 MegaDepth、RobotCar 和 CMU 数据集上的几何匹配任务中达到 SOTA 性能，兼具更高的准确率与更优的不确定性估计。
• 定性结果表明，Refign 通过利用参考图像中的上下文信息，能有效纠正常见误分类问题（如将天空误预测为道路）。