[论文解读] Semantic Segmentation under Adverse Conditions: A Weather and Nighttime-aware Synthetic Data-based Approach

Abdulrahman Kerim, Felipe Chamone+4 more|arXiv (Cornell University)|Oct 11, 2022

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出了一种基于合成数据的域自适应框架，用于在恶劣天气和夜间条件下进行语义分割。通过将天气和一天中时间的监督模块集成到DeepLabV3+中，该模型实现了最先进性能——在ACDC数据集上mIoU提升了14个百分点（达到0.49 mIoU），同时在Cityscapes上保持0.75 mIoU的性能，证明了其在标准条件和挑战性条件下的鲁棒性。

ABSTRACT

Recent semantic segmentation models perform well under standard weather conditions and sufficient illumination but struggle with adverse weather conditions and nighttime. Collecting and annotating training data under these conditions is expensive, time-consuming, error-prone, and not always practical. Usually, synthetic data is used as a feasible data source to increase the amount of training data. However, just directly using synthetic data may actually harm the model's performance under normal weather conditions while getting only small gains in adverse situations. Therefore, we present a novel architecture specifically designed for using synthetic training data for domain adaptation. We propose a simple yet powerful addition to DeepLabV3+ by using weather and time-of-the-day supervisors trained with multi-task learning, making it both weather and nighttime aware, which improves its mIoU accuracy by $14$ percentage points on the ACDC dataset while maintaining a score of $75\%$ mIoU on the Cityscapes dataset. Our code is available at https://github.com/lsmcolab/Semantic-Segmentation-under-Adverse-Conditions.

研究动机与目标

• 解决在恶劣天气和夜间条件下训练语义分割模型的挑战，因为真实世界的数据采集与标注成本高昂且不切实际。
• 通过设计一种在训练过程中联合利用合成数据与真实数据的训练流程，克服合成数据与真实数据之间的域差距。
• 通过专门的监督头使网络感知天气和一天中时间属性，从而提升模型的泛化能力。
• 在恶劣条件下实现高性能，同时不降低在标准（晴朗天气、白天）基准上的性能。

提出的方法

• 提出一种新型合成数据集AWSS，使用修改后的Silver模拟器生成，涵盖雨天、雾天、雪天和夜间条件，并带有精确的语义标注。
• 引入一种合成数据感知的训练策略，在训练过程中交替使用来自真实数据（Cityscapes）和合成数据（AWSS）的批次，以减少域偏移。
• 设计天气感知监督模块（WAS）和时间感知监督模块（TAS）作为辅助头，通过多任务学习进行训练，以指导模型学习对天气和夜间条件的鲁棒性特征。
• 将WAS和TAS集成到DeepLabV3+架构中，通过显式教导模型识别和适应恶劣视觉条件，从而增强特征提取能力。
• 使用结合主分割损失与WAS和TAS辅助损失的多任务损失函数，端到端训练模型，实现联合优化。
• 采用两阶段训练策略：先在Cityscapes上进行预训练（标准条件），然后在AWSS上进行微调，结合真实与合成数据以及辅助监督。

实验结果

研究问题

• RQ1 是否可以有效利用合成数据在不降低标准基准性能的前提下，提升恶劣天气和夜间条件下的语义分割性能？
• RQ2 与标准域自适应或微调相比，引入显式的天气和时间感知监督是否能显著提升模型鲁棒性？
• RQ3 在真实与合成数据上联合训练在多大程度上减少了语义分割中合成数据与真实世界图像之间的域差距？
• RQ4 使模型感知天气和时间属性是否能在所有恶劣条件下带来性能提升，包括训练期间未显式见过的条件？

主要发现

• 所提方法在ACDC数据集上实现了mIoU 14个百分点的提升（达到0.49 mIoU），优于现有方法在恶劣条件下的表现。
• 模型在标准条件下的性能保持强劲，在Cityscapes上达到0.75 mIoU，与最佳基线相当。
• 仅使用天气感知监督模块（WAS）即可在ACDC上实现mIoU 8个百分点的提升，其中在雾天（0.55 mIoU）和雨天（0.49 mIoU）的增益最大。
• 加入时间感知监督模块（TAS）后性能进一步提升，尤其在夜间（0.27 mIoU），同时也在其他恶劣天气条件下表现更优。
• 消融实验证实，仅在合成数据上训练会导致性能差，而结合真实与合成数据的联合训练及监督是成功的关键。
• 人行道类别的相对提升最高——较基线提升82%，归因于模型对湿滑、积雪或雨天路面检测能力的增强。