[论文解读] Penalizing Top Performers: Conservative Loss for Semantic Segmentation Adaptation

Xinge Zhu, Hui Zhou+3 more|arXiv (Cornell University)|Sep 4, 2018

Domain Adaptation and Few-Shot Learning参考文献 43被引用 15

一句话总结

本文提出了一种用于语义分割域自适应的新型对抗性损失——Conservative Loss，通过惩罚预测中的极端置信度来提升从合成图像到真实图像的泛化能力。通过结合对难样本的梯度下降与对高置信度预测的梯度上升，该方法在Synthia-to-Cityscapes数据集上实现了9.3 mIoU的性能提升，达到当前最先进水平，且无需增加推理成本。

ABSTRACT

Due to the expensive and time-consuming annotations (e.g., segmentation) for real-world images, recent works in computer vision resort to synthetic data. However, the performance on the real image often drops significantly because of the domain shift between the synthetic data and the real images. In this setting, domain adaptation brings an appealing option. The effective approaches of domain adaptation shape the representations that (1) are discriminative for the main task and (2) have good generalization capability for domain shift. To this end, we propose a novel loss function, i.e., Conservative Loss, which penalizes the extreme good and bad cases while encouraging the moderate examples. More specifically, it enables the network to learn features that are discriminative by gradient descent and are invariant to the change of domains via gradient ascend method. Extensive experiments on synthetic to real segmentation adaptation show our proposed method achieves state of the art results. Ablation studies give more insights into properties of the Conservative Loss. Exploratory experiments and discussion demonstrate that our Conservative Loss has good flexibility rather than restricting an exact form.

研究动机与目标

• 解决在合成数据上训练、在真实图像上测试时语义分割中的域偏移问题。
• 在不增加推理成本的前提下，提升模型对真实世界域的泛化能力。
• 设计一种损失函数，平衡源域上的判别能力与对域偏移的不变性。
• 在传统基于分类的方法失效的密集预测任务中，实现有效的域自适应。
• 设计一种灵活的损失机制，不依赖于固定函数形式，同时保持关键的不变性与判别性特征。

提出的方法

• 提出Conservative Loss，一种可微分损失，对低置信度预测应用梯度下降，对高置信度预测应用梯度上升。
• 使用分段函数对极端置信度（p_t > threshold）进行惩罚，赋予负梯度，以抑制对源域的过拟合。
• 将生成对抗网络（GAN）与重建判别器结合，以强制学习域不变的特征表示。
• 在两阶段训练框架中应用该损失：首先优化源域分割性能，然后联合优化域不变性与分割精度。
• 使用平衡因子λ对损失进行缩放，以灵活调节判别性与不变性之间的权衡。
• 在推理阶段不引入额外计算开销，保持高效性。

实验结果

研究问题

• RQ1 一种惩罚极端预测的损失函数是否能提升语义分割中的域泛化能力？
• RQ2 在单一损失函数中结合梯度下降与梯度上升，如何影响模型对域偏移的鲁棒性？
• RQ3 Conservative Loss是否在合成到真实图像的分割自适应任务中优于现有损失函数（如交叉熵和Focal Loss）？
• RQ4 损失函数的确切形式对性能是否至关重要？还是可通过其他同性质函数实现相似效果？
• RQ5 所提出的损失是否可灵活适配不同架构与数据集，而无需重新训练？

主要发现

• Conservative Loss在GTAV-to-Cityscapes域自适应基准上达到38.1 mIoU，相比之前SOTA方法提升9.3个百分点。
• 该方法优于交叉熵（34.4 mIoU）和Focal Loss（35.8 mIoU），在域偏移下展现出更优的泛化能力。
• 消融实验证实，对高置信度预测的惩罚对提升目标域性能至关重要。
• 具有类似性质的同质损失（如三次函数）可取得相近结果，表明损失的确切形式并非关键。
• 该损失在不同架构与数据集上均表现出灵活性与有效性，显示出广泛适用性。
• 可视化与分析表明，模型学习到的特征在源域上具有判别性，同时对域偏移具有鲁棒性。