[论文解读] WildNet: Learning Domain Generalized Semantic Segmentation from the Wild

Suhyeon Lee, Hongje Seong+2 more|arXiv (Cornell University)|Apr 4, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

WildNet 提出了一种通用领域语义分割模型，通过将源域的内容和风格扩展到多样化、未标注的‘野生’图像中，提升了模型的泛化能力。通过利用特征风格迁移、内容扩展学习、风格扩展学习以及语义一致性正则化，WildNet 在未见目标域上实现了 44.62% 的 mIoU，达到当前最优性能，显著优于仅单独处理风格或内容的先前方法。

ABSTRACT

We present a new domain generalized semantic segmentation network named WildNet, which learns domain-generalized features by leveraging a variety of contents and styles from the wild. In domain generalization, the low generalization ability for unseen target domains is clearly due to overfitting to the source domain. To address this problem, previous works have focused on generalizing the domain by removing or diversifying the styles of the source domain. These alleviated overfitting to the source-style but overlooked overfitting to the source-content. In this paper, we propose to diversify both the content and style of the source domain with the help of the wild. Our main idea is for networks to naturally learn domain-generalized semantic information from the wild. To this end, we diversify styles by augmenting source features to resemble wild styles and enable networks to adapt to a variety of styles. Furthermore, we encourage networks to learn class-discriminant features by providing semantic variations borrowed from the wild to source contents in the feature space. Finally, we regularize networks to capture consistent semantic information even when both the content and style of the source domain are extended to the wild. Extensive experiments on five different datasets validate the effectiveness of our WildNet, and we significantly outperform state-of-the-art methods. The source code and model are available online: https://github.com/suhyeonlee/WildNet.

研究动机与目标

• 为了解决语义分割模型在未见目标域上因过度拟合源域内容和风格而导致泛化能力差的问题。
• 克服先前领域自适应方法仅关注风格归一化或域不变特征学习的局限性。
• 通过利用未标注的野生图像对内容和风格进行多样化学习，提升模型鲁棒性，从而学习到领域泛化的特征。
• 实现在无需标注目标数据的情况下，对未见领域实现可靠的分割预测。

提出的方法

• 特征风格迁移在多个网络层上将野生图像的统计特征（均值和方差）转移到源特征中，以实现风格多样化。
• 内容扩展学习通过使用固定大小的野生特征词典引入野生图像中的语义变化，在潜在空间中增加类内可变性。
• 风格扩展学习通过在训练过程中将源特征与风格化野生特征结合，促使网络适应多样的野生风格。
• 语义一致性正则化确保当内容和风格均被扩展至野生分布时，预测结果仍保持一致。
• 采用带均匀采样的对比损失，以高效地存储和检索多样化野生内容，降低内存开销。

实验结果

研究问题

• RQ1 将源域的内容和风格扩展到未标注的野生图像中，是否能提升语义分割中的领域泛化能力？
• RQ2 与仅正则化风格或内容的单一方法相比，从多样化野生内容和风格中学习是否能带来更好的泛化性能？
• RQ3 内容和风格扩展的结合如何影响模型在未见目标域上的鲁棒性？
• RQ4 在最大化泛化性能方面，特征风格迁移与内容扩展的最佳配置是什么？

主要发现

• 当在 GTAV 上训练并在 Cityscapes 验证集上测试时，WildNet 达到了 44.62% 的 mIoU，显著优于基线模型（35.16%）和 RobustNet（36.58%）。
• 通过同时将内容和风格扩展至野生图像，模型在基线基础上实现了 +5.54% 的性能提升，证明了联合多样化的有效性。
• 在特征风格迁移中使用野生风格统计量相比随机风格增强带来了 +7.27% 的性能增益，凸显了自然风格分布的重要性。
• 使用大小为 393,216 的野生内容词典进行内容扩展，即使在小批量内应用而无需完整词典，也能提升泛化性能，显示出良好的可扩展性。
• 在深层网络中应用特征风格迁移会轻微降低性能，表明深层特征应更严格地保留语义内容。
• 与随机采样相比，使用均匀采样构建内容词典表现更优，生成了更丰富且更具代表性的内容表征。