[论文解读] Weather GAN: Multi-Domain Weather Translation Using Generative Adversarial Networks

Xuelong Li, Kai Kou+1 more|arXiv (Cornell University)|Mar 9, 2021

Generative Adversarial Networks and Image Synthesis参考文献 48被引用 24

一句话总结

本文提出Weather GAN，一种用于多领域天气转换的新型生成对抗网络，可实现晴天、多云、雾天、雨天和雪天之间的图像转换。通过整合天气线索分割模块、注意力模块和初始转换模块，该模型能够准确识别并转换特定天气特征，同时保留非天气区域，在视觉质量和天气类别准确性方面达到最先进水平。

ABSTRACT

In this paper, a new task is proposed, namely, weather translation, which refers to transferring weather conditions of the image from one category to another. It is important for photographic style transfer. Although lots of approaches have been proposed in traditional image translation tasks, few of them can handle the multi-category weather translation task, since weather conditions have rich categories and highly complex semantic structures. To address this problem, we develop a multi-domain weather translation approach based on generative adversarial networks (GAN), denoted as Weather GAN, which can achieve the transferring of weather conditions among sunny, cloudy, foggy, rainy and snowy. Specifically, the weather conditions in the image are determined by various weather-cues, such as cloud, blue sky, wet ground, etc. Therefore, it is essential for weather translation to focus the main attention on weather-cues. To this end, the generator of Weather GAN is composed of an initial translation module, an attention module and a weather-cue segmentation module. The initial translation module performs global translation during generation procedure. The weather-cue segmentation module identifies the structure and exact distribution of weather-cues. The attention module learns to focus on the interesting areas of the image while keeping other areas unaltered. The final generated result is synthesized by these three parts. This approach suppresses the distortion and deformation caused by weather translation. our approach outperforms the state-of-the-arts has been shown by a large number of experiments and evaluations.

研究动机与目标

• 解决图像到图像翻译任务中缺乏灵活的多类别天气转换的问题。
• 改进现有单条件方法（如去雾或去雨）无法改变天气类别或添加新天气效果的局限性。
• 在转换过程中保留非天气区域，同时准确转换云、雪和湿滑地面等天气线索。
• 开发一种具备高视觉保真度的双向多领域天气转换框架。
• 通过定量指标、分类准确率和用户研究评估模型性能。

提出的方法

• 生成器架构集成了三个模块：用于全局风格迁移的初始转换模块、用于识别和定位特定天气特征的天气线索分割模块，以及聚焦于相关图像区域的注意力模块。
• 天气线索分割模块利用语义分割技术检测并映射输入图像中天气线索（如蓝天、积雪、雾霾）的空间分布。
• 注意力模块动态突出显示感兴趣区域——尤其是与天气相关的区域——同时最小化对图像无关部分的改变。
• 通过融合三个模块的输出生成最终图像，确保结构一致性并减少失真。
• 采用生成对抗网络框架进行训练，损失函数包括对抗性损失、循环一致性损失和感知损失，以提升真实感和特征对齐。
• 消融研究验证了注意力模块与分割模块的必要性，表明若移除任一模块，均会导致伪影或不自然的融合效果。

实验结果

研究问题

• RQ1 基于GAN的模型能否在五种不同天气条件下有效实现双向多领域天气转换？
• RQ2 天气线索分割与注意力机制在图像翻译中如何改善特定天气特征的定位与转换？
• RQ3 多模块融合在天气转换过程中在多大程度上减少失真并保留非天气区域？
• RQ4 在视觉质量、类别准确率和用户偏好方面，Weather GAN与最先进方法相比表现如何？
• RQ5 当处理严重遮挡或低能见度图像时，模型的失败模式是什么？

主要发现

• Weather GAN在生成图像上的天气分类准确率最高达到87%，表明其与目标天气类别的高度对齐。
• 与最先进基线方法相比，该模型在FID和KID指标上表现最佳，证明其具有优越的图像质量和分布保真度。
• 用户研究表明，多数Weather GAN生成结果在视觉质量方面均被评定为所有对比方法中的最高分。
• 消融研究证实，若移除注意力模块或分割模块，将导致显著伪影，如非天气区域的错误转换或不自然的边界。
• 模型在相似天气条件之间的转换（如晴天到多云）表现最佳，而在更复杂的转换（如雪天到雾天）中准确率下降至45%。
• 在严重遮挡场景（如浓密降雪或浓雾）中出现失败案例，尽管注意力映射准确，但模型无法恢复丢失的结构细节，导致图像模糊和色彩失真。