[论文解读] Using Simulated Data to Generate Images of Climate Change

Gautier Cosne, Adrien Juraver+5 more|arXiv (Cornell University)|Jan 26, 2020

Generative Adversarial Networks and Image Synthesis参考文献 20被引用 5

一句话总结

本文提出了一种利用模拟3D环境和真实街景图像生成逼真、个性化洪水影响图像的领域自适应框架，采用改进的MUNIT GAN架构。通过利用具有精确语义和几何标签的合成数据，该模型在仅使用真实数据训练的基础上，显著提升了视觉保真度和结构一致性，生成了更加逼真且空间准确的洪水模拟结果。

ABSTRACT

Generative adversarial networks (GANs) used in domain adaptation tasks have the ability to generate images that are both realistic and personalized, transforming an input image while maintaining its identifiable characteristics. However, they often require a large quantity of training data to produce high-quality images in a robust way, which limits their usability in cases when access to data is limited. In our paper, we explore the potential of using images from a simulated 3D environment to improve a domain adaptation task carried out by the MUNIT architecture, aiming to use the resulting images to raise awareness of the potential future impacts of climate change.

研究动机与目标

• 为解决在气候变化可视化中训练逼真图像到图像翻译模型时真实世界成对数据（洪水与非洪水）稀缺的问题。
• 通过结合有限的真实数据与来自3D模拟器的高质量合成数据，提升生成洪水影响图像的真实感与空间准确性。
• 开发一种领域自适应方法，利用模拟数据中的语义分割和深度图来引导图像翻译，同时保持内容结构。
• 通过为任意给定的街景位置生成合理洪水情景，实现个性化气候变化可视化工具的构建。

提出的方法

• 基于Unity 3D构建了模拟环境，生成了1,000对成对图像（洪水与非洪水），并附带真实深度图、语义分割标签（10类）和二值洪水掩码。
• 对MUNIT架构进行改进，以实现内容与风格的解耦，同时通过二值掩码限制循环一致性损失仅作用于非洪水区域，避免重建被水覆盖的区域。
• 引入语义一致性损失，确保生成图像保留输入图像的相同语义结构，从而提升定位准确性和真实感。
• 在模拟数据上使用改进的DeepLab网络训练分割头，与图像生成器共享编码器，以提升潜在空间的解耦效果。
• 通过在分割头输出空间引入对抗性分类器，增强领域自适应能力，实现真实与模拟领域特征的对齐。
• 模型在真实图像与合成数据的联合监督下进行训练，实现了高保真度、几何感知的洪水生成。

实验结果

研究问题

• RQ1 与仅使用真实数据相比，使用具有精确标注的合成3D数据是否能显著提升GAN生成洪水影响图像的真实感与准确性？
• RQ2 领域自适应技术如何有效对齐真实与模拟图像领域之间的特征，以提升图像翻译质量？
• RQ3 改进后的MUNIT架构在真实还原场景以模拟洪水的同时，能在多大程度上保持内容结构？
• RQ4 将模拟器生成的深度图与语义分割标签整合，是否能增强生成洪水图像的空间一致性和视觉保真度？
• RQ5 在合成数据上训练的分割头如何提升图像到图像翻译中潜在空间的鲁棒性与结构质量？

主要发现

• 采用领域自适应方法联合训练真实与合成数据的模型（图2e）在水体纹理真实感和空间对齐方面显著优于仅使用真实数据训练的模型（图2c）。
• 引入领域自适应与语义一致性损失后，视觉伪影（如模糊纹理和错误的水体位置）明显减少，相较于未使用领域自适应的模型（图2d）表现更优。
• 生成图像中的水体表现出更佳的反光性与透明度，更接近真实洪水水体，而非类似水泥表面的质感，经定性对比可明显观察到。
• 利用模拟器提供的真实深度图与语义标签，显著提升了复杂城市与乡村场景中的洪水预测准确性。
• 在合成数据上训练的分割头增强了特征解耦，使图像翻译结果更具一致性与语义连贯性。
• 该模型成功保留了洪水场景中建筑物、树木与道路的结构细节，证明了在风格迁移过程中具备强大的内容保持能力。