[论文解读] tempoGAN: A Temporally Coherent, Volumetric GAN for Super-resolution Fluid Flow

You Xie, Erik Franz+2 more|arXiv (Cornell University)|Jan 29, 2018

Advanced Image Processing Techniques参考文献 51被引用 80

一句话总结

tempoGAN 引入一个时间一致的条件 GAN，用于流体流的即时四维超分辨率，使用新颖的时间判别器和物理感知增强。

ABSTRACT

We propose a temporally coherent generative model addressing the super-resolution problem for fluid flows. Our work represents a first approach to synthesize four-dimensional physics fields with neural networks. Based on a conditional generative adversarial network that is designed for the inference of three-dimensional volumetric data, our model generates consistent and detailed results by using a novel temporal discriminator, in addition to the commonly used spatial one. Our experiments show that the generator is able to infer more realistic high-resolution details by using additional physical quantities, such as low-resolution velocities or vorticities. Besides improvements in the training process and in the generated outputs, these inputs offer means for artistic control as well. We additionally employ a physics-aware data augmentation step, which is crucial to avoid overfitting and to reduce memory requirements. In this way, our network learns to generate advected quantities with highly detailed, realistic, and temporally coherent features. Our method works instantaneously, using only a single time-step of low-resolution fluid data. We demonstrate the abilities of our method using a variety of complex inputs and applications in two and three dimensions.

研究动机与目标

• 从单一低分辨率快照生成高分辨率、时间序列一致的4D流场的挑战。
• 将基于 GAN 的超分辨率推进到四维物理问题，而在推断阶段不需要时间数据。
• 结合物理感知和输入纠缠，以提高真实感和对输出的用户控制。
• 在 2D 和 3D 流动场景中展示有效性，并为基于物理的 GAN 提供训练最佳实践。

提出的方法

• 使用条件 GAN 架构，从单一低分辨率帧推断3D高分辨率流量量。
• 引入新的时间判别器 D_t，评估三个帧序列（含平流）以加强时间一致性。
• 加入空间判别器 D_s，确保真实的空间细节，在输入 x 和输出 G(x) 上工作。
• 使用来自判别器的激活在特征空间上的损失，引导生成器朝向真实特征（包括在某些设置中负权重的令人惊讶的好处）。
• 包括一个物理感知的数据增强步骤，以减少过拟合并管理内存需求，帮助对运输型流的泛化。
• 在训练中应用平流层（advection layer）以通过近似速度场对齐多帧输入，实现适当的时间梯度。

实验结果

研究问题

• RQ1 生成一个具有时间一致性的高分辨率4D流体流可以从单一低分辨率快照合成吗？
• RQ2 将时间判别器加入是否比逐帧GAN在时序一致性上有改进？
• RQ3 物理信息输入（如速度、涡度）和数据增强如何影响生成流的真实感和可控性？
• RQ4 在基于物理的GAN中，哪些训练策略和损失组成部分能够在空间细节与时间一致性之间取得最佳平衡？

主要发现

• 时间判别器使生成器能够生成在时间上具有一致性、细节丰富的流场。
• 将速度和涡度作为输入不仅提供真实感，还能对输出进行艺术控制。
• 物理感知数据增强对于防止过拟合和在训练过程中降低内存使用至关重要。
• 结合的 tempoGAN 目标在单一低分辨率帧推断下得到高度详细、时间平滑的4D流场。
• 该方法在二维和三维流动问题上实现了瞬时推断（一个时间步）。