[论文解读] Visualizing the Consequences of Climate Change Using Cycle-Consistent Adversarial Networks

Victor Schmidt, Alexandra Sasha Luccioni+5 more|arXiv (Cornell University)|May 2, 2019

Species Distribution and Climate Change被引用 31

一句话总结

本文提出了一种基于CycleGAN的生成模型，通过街景图像可视化个人化、逼真的气候变化影响投影——特别是洪水——在熟悉地点的影响。该模型在未配对的洪水与非洪水图像上进行训练，并整合气候模型预测，生成生动、地点特定的可视化效果，以增强公众对气候变化的认知与应对行动的动机。

ABSTRACT

We present a project that aims to generate images that depict accurate, vivid, and personalized outcomes of climate change using Cycle-Consistent Adversarial Networks (CycleGANs). By training our CycleGAN model on street-view images of houses before and after extreme weather events (e.g. floods, forest fires, etc.), we learn a mapping that can then be applied to images of locations that have not yet experienced these events. This visual transformation is paired with climate model predictions to assess likelihood and type of climate-related events in the long term (50 years) in order to bring the future closer in the viewers mind. The eventual goal of our project is to enable individuals to make more informed choices about their climate future by creating a more visceral understanding of the effects of climate change, while maintaining scientific credibility by drawing on climate model projections.

研究动机与目标

• 通过视觉模拟使长期、抽象的气候风险更具象化和情感化，以克服气候行动的心理与认知障碍。
• 通过生成未来气候影响的逼真、本地化图像，弥合科学气候预测与公众认知之间的差距。
• 开发一种可扩展、易访问的工具，使个人能够可视化其特定房屋或社区可能受到野火、洪水等极端天气事件的影响。
• 为未来扩展奠定基础，整合多种气候灾害（如野火、干旱）以及用户驱动的“决策旋钮”，以模拟政策与行为干预的影响。
• 通过基于经验证的气候模型数据（特别是Dottori等，2016年；Vousdoukas等，2018年）的生成输出，保持科学可信度。

提出的方法

• 利用循环一致性对抗网络（CycleGAN）在无需配对训练数据的情况下，学习非洪水与洪水街景图像之间的图像翻译。
• 在谷歌街景图像中未配对的洪水前后房屋图像数据集上进行训练，利用循环一致性损失实现域到域的图像翻译。
• 将气候模型提供的二值洪水灾害图（特别是1公里分辨率的内陆与沿海洪水50年重现期预测）整合到图像生成过程中。
• 采用Dottori等（2016年）的河流与湖泊洪水模型输出，以及Vousdoukas等（2018年）在RCP 4.5情景下、2050年前海平面上升超过20厘米的沿海洪水预测结果。
• 应用训练好的CycleGAN，基于用户提供的地址及其对应的气候灾害概率，生成逼真、本地化的洪水房屋可视化图像。
• 计划将模型扩展以整合多种气候灾害（如野火、干旱）、可变时间范围以及交互式“选择旋钮”，以模拟个人与政策层面决策的影响。

实验结果

研究问题

• RQ1 基于CycleGAN的图像翻译能否有效生成未来气候变化影响（如洪水）在熟悉城市环境中的逼真、本地化可视化？
• RQ2 在无配对训练数据的情况下，气候模型预测（如50年一遇洪水）在多大程度上可准确映射为逼真图像转换？
• RQ3 此类可视化在增强公众对长期、概率性气候风险的理解与情感投入方面有多有效？
• RQ4 当前基于GAN的方法在模拟复杂环境变化时，其在保持物理合理性与最小化伪影方面存在哪些局限性？
• RQ5 如何通过气候模拟中的物理约束增强生成模型，以提升生成气候影响视觉效果的科学保真度？

主要发现

• CycleGAN模型在80张测试图像中的70%成功生成了逼真、视觉连贯的洪水房屋图像，证明了个性化气候可视化方法的可行性。
• 模型在带有周围草坪的独栋郊区住宅上表现最佳，表明其对场景上下文与纹理一致性的敏感性。
• 观察到视觉伪影，尤其是在天空区域，可能源于训练数据中的不一致（如洪水图像中存在树木或云彩），凸显了数据质量的挑战。
• 通过整合Dottori等（2016年）与Vousdoukas等（2018年）的二值洪水灾害图，实现了2050年预测的地理准确、科学依据充分的图像生成。
• 该方法无需配对图像即可实现气候风险的个性化可视化，克服了气候影响建模中数据稀缺的重大障碍。
• 未来计划扩展模型以整合多种气候灾害、动态时间范围以及交互式决策功能，将视觉结果与行为及政策选择关联。