[论文解读] Physically-Consistent Generative Adversarial Networks for Coastal Flood Visualization.

Björn Lütjens, Brandon Leshchinskiy+10 more|arXiv (Cornell University)|Apr 10, 2021

Generative Adversarial Networks and Image Synthesis参考文献 64被引用 5

一句话总结

本文提出了一种基于pix2pixHD的物理一致性GAN框架，利用NOAA SLOSH沿海洪水模型输出生成逼真的卫星影像，确保与基于物理的洪水地图一致。该框架在物理一致性和视觉真实感方面优于基线模型，并可推广至北极海冰融化可视化，同时发布了包含25,000对图像的公开数据集。

ABSTRACT

As climate change increases the intensity of natural disasters, society needs better tools for adaptation. Floods, for example, are the most frequent natural disaster, and better tools for flood risk communication could increase the support for flood-resilient infrastructure development. Our work aims to enable more visual communication of large-scale climate impacts via visualizing the output of coastal flood models as satellite imagery. We propose the first deep learning pipeline to ensure physical-consistency in synthetic visual satellite imagery. We advanced a state-of-the-art GAN called pix2pixHD, such that it produces imagery that is physically-consistent with the output of an expert-validated storm surge model (NOAA SLOSH). By evaluating the imagery relative to physics-based flood maps, we find that our proposed framework outperforms baseline models in both physical-consistency and photorealism. We envision our work to be the first step towards a global visualization of how climate change shapes our landscape. Continuing on this path, we show that the proposed pipeline generalizes to visualize arctic sea ice melt. We also publish a dataset of over 25k labelled image-pairs to study image-to-image translation in Earth observation.

研究动机与目标

• 通过生成逼真的沿海洪水卫星影像，提升公众和政策制定者对气候风险的理解。
• 确保深度学习模型生成的合成影像与专家验证的风暴潮模拟结果在物理上保持一致。
• 开发一种可推广的深度学习框架，将洪水模型输出转换为逼真的视觉表达。
• 将该方法扩展至其他气候影响的可视化，例如北极海冰融化。
• 发布大规模、高质量的25,000对图像配对数据集，以推动地球观测领域图像到图像翻译的研究。

提出的方法

• 将pix2pixHD GAN架构改进为从洪水模型输出到合成卫星影像的条件图像到图像翻译任务。
• 在训练过程中，将源自NOAA SLOSH风暴潮模拟的物理约束整合到生成器网络中，以引导其学习。
• 使用洪水模型输出与对应的真实卫星影像配对数据进行训练，以确保与物理洪水动态的一致性。
• 采用结合对抗性损失、内容损失和感知损失的损失函数，以平衡真实感与物理准确性。
• 通过与基于物理的真值洪水地图对比，验证生成影像的物理一致性。
• 通过将训练好的流程应用于气候模型输出，成功展示了其在北极海冰范围变化可视化中的泛化能力。

实验结果

研究问题

• RQ1 深度生成模型能否生成与专家验证的风暴潮模拟物理一致的逼真卫星影像？
• RQ2 所提出的基于GAN的框架在保持物理准确性和视觉真实感方面，相较于基线模型表现如何？
• RQ3 该训练模型在多大程度上可泛化以可视化其他气候现象，如北极海冰融化？
• RQ4 在图像翻译过程中引入基于物理的约束，对模型性能有何影响？
• RQ5 该框架在通过视觉上引人入胜且科学准确的可视化手段支持气候风险传播方面，效果如何？

主要发现

• 所提出的框架在与SLOSH基础洪水地图的一致性方面优于基线GAN模型。
• 经定性和定量比较验证，生成的影像展现出更优的逼真度。
• 该模型在可视化北极海冰融化方面表现出良好的泛化能力，表明其在沿海洪水之外具有广泛适用性。
• 在图像生成过程中引入基于物理的约束，显著提升了合成影像在气候影响传播中的可靠性。
• 发布的25,000对标注图像对数据集，为未来地球观测领域图像到图像翻译研究提供了宝贵的基准。
• 该框架实现了对沿海和极地地区气候变化影响的大规模、直观视觉化展示。