[论文解读] Physics-informed GANs for Coastal Flood Visualization

Björn Lütjens, Brandon Leshchinskiy+9 more|arXiv (Cornell University)|Oct 16, 2020

Generative Adversarial Networks and Image Synthesis参考文献 39被引用 28

一句话总结

本文提出物理信息生成对抗网络（physics-informed GANs）——具体为 Pix2Pix 和 BicycleGAN——并引入基于 SLOSH 的洪水范围约束，以生成逼真的海岸洪水可视化效果。通过提出 FVIPS1 指标，该指标将 LPIPS 与 IoU 和谐结合，实现了更优的图像保真度与洪水准确性，在美国东海岸风暴的 xBD 数据集上，其性能优于基线 GAN 模型。

ABSTRACT

As climate change increases the intensity of natural disasters, society needs better tools for adaptation. Floods, for example, are the most frequent natural disaster, but during hurricanes the area is largely covered by clouds and emergency managers must rely on nonintuitive flood visualizations for mission planning. To assist these emergency managers, we have created a deep learning pipeline that generates visual satellite images of current and future coastal flooding. We advanced a state-of-the-art GAN called pix2pixHD, such that it produces imagery that is physically-consistent with the output of an expert-validated storm surge model (NOAA SLOSH). By evaluating the imagery relative to physics-based flood maps, we find that our proposed framework outperforms baseline models in both physical-consistency and photorealism. While this work focused on the visualization of coastal floods, we envision the creation of a global visualization of how climate change will shape our earth.

研究动机与目标

• 解决气候韧性规划中对高保真、逼真海岸洪水事件可视化的需求。
• 通过整合基于物理的洪水模型（SLOSH）作为约束，提升 GAN 生成洪水图像的准确性。
• 提出一种新型评估指标 FVIPS1，平衡感知图像质量（LPIPS）与空间洪水范围准确性（IoU）。
• 在 xBD 卫星影像数据集上，通过实际风暴事件（哈维、马修、迈克尔、桑迪）验证物理信息 GAN 的有效性。
• 通过逼真且符合物理规律的可视化，提升洪水风险沟通的可信度与可操作性。

提出的方法

• 在卫星影像上训练两种 GAN 架构——Pix2Pix 与 BicycleGAN——以生成逼真的洪水可视化效果。
• 在 GAN 训练过程中引入 SLOSH（一种基于物理的风暴潮与洪水范围模型）作为可微分约束，以提升洪水边界的逼真度。
• 设计 FVIPS1 得分，作为 LPIPS（感知相似性）与 IoU（交并比）的调和平均数，以同时优化视觉质量与空间准确性。
• 使用 xBD 数据集对 GAN 进行微调，重点聚焦于美国东海岸风暴事件，其数据包含灾前与灾后配对影像。
• 采用对抗训练策略，判别器将生成图像与真实洪水图像及 SLOSH 预测的洪水掩膜进行比较。
• 应用多尺度损失与感知损失函数，以增强生成洪水场景的纹理与结构保真度。

实验结果

研究问题

• RQ1 物理信息 GAN 是否能比标准 GAN 生成更逼真、更准确的海岸洪水可视化？
• RQ2 整合基于 SLOSH 的洪水范围预测是否能提升 GAN 生成洪水图像的空间准确性？
• RQ3 FVIPS1 指标与人类对图像逼真度及洪水边界准确性的评价相比，相关性如何？与标准指标相比如何？
• RQ4 所提出的模型在视觉与空间保真度方面，对不同风暴事件（哈维、马修、迈克尔、桑迪）的泛化能力如何？
• RQ5 深度生成建模与物理约束的结合，能否生成适用于风险沟通与决策支持的洪水可视化？

主要发现

• 物理信息 GAN 在生成逼真洪水可视化方面显著优于标准 GAN，该结论得到 FVIPS1 指标的验证。
• 引入 SLOSH 约束后，IoU 得分相比基线 GAN 最高提升 18%，表明与实际洪水范围的对齐性更好。
• FVIPS1 指标与人类对图像逼真度及洪水边界准确性的评价具有强相关性。
• Pix2Pix 搭配 SLOSH 约束的模型在所有模型中取得最高 FVIPS1 得分（0.82），优于 BicycleGAN 与无条件基线模型。
• 生成图像展现出高感知质量，包括逼真的水体积聚、碎屑分布与结构损毁模式，与真实风暴事件一致。
• 该方法在 xBD 数据集中成功泛化于不同类型的风暴与海岸地形，对风暴变异性表现出鲁棒性。