[论文解读] Pre-computed Liquid Spaces with Generative Neural Networks and Optical Flow

Boris Bonev, Lukas Prantl+1 more|arXiv (Cornell University)|Apr 25, 2017

Computer Graphics and Visualization Techniques参考文献 13被引用 15

一句话总结

本文提出了一种两阶段神经网络框架，利用预计算的液体形变场和光流，学习复杂、拓扑结构变化的液体表面时空表征。通过引入一个加权网络和一个具有物理感知损失函数的精炼生成器，该方法实现了动态液体模拟中实时、形变感知的表面合成。

ABSTRACT

We propose a novel approach for deformation-aware neural networks that learn the weighting and synthesis of dense volumetric deformation fields. Our method specifically targets the space-time representation of physical surfaces from liquid simulations. Liquids exhibit highly complex, non-linear behavior under changing simulation conditions such as different initial conditions. Our algorithm captures these complex phenomena in two stages: a first neural network computes a weighting function for a set of pre-computed deformations, while a second network directly generates a deformation field for refining the surface. Key for successful training runs in this setting is a suitable loss function that encodes the effect of the deformations, and a robust calculation of the corresponding gradients. To demonstrate the effectiveness of our approach, we showcase our method with several complex examples of flowing liquids with topology changes. Our representation makes it possible to rapidly generate the desired implicit surfaces. We have implemented a mobile application to demonstrate that real-time interactions with complex liquid effects are possible with our approach.

研究动机与目标

• 为在时间上高保真地表示复杂、非线性的液体形变提供解决方案。
• 实现在存在拓扑变化的液体模拟中，从初始条件快速生成隐式表面。
• 开发一种可微分框架，通过合适的损失函数与梯度计算捕捉形变影响。
• 展示利用学习到的形变场实现在移动设备上交互式液体效果的可行性。

提出的方法

• 第一阶段神经网络在一组预计算的体积形变场之上计算加权函数，以适应不同的初始条件。
• 第二阶段神经网络直接生成用于表面合成的精炼形变场，实现高保真重建。
• 该方法采用物理感知损失函数，编码形变的视觉与动态效果，以指导训练。
• 通过形变处理流程稳健地计算梯度，以支持两个网络的端到端训练。
• 使用光流建模模拟帧之间的时序一致性和运动。
• 框架端到端训练，以学习从模拟条件到隐式液体表面的映射。

实验结果

研究问题

• RQ1 神经网络如何有效学习对复杂液体行为的密集体积形变场进行加权与合成？
• RQ2 何种损失函数设计能够实现对形变感知液体表面生成的准确、可微分监督？
• RQ3 预计算的形变场结合神经网络精炼是否能在移动设备上实现实时性能？
• RQ4 该方法在处理液体模拟中的拓扑变化（如飞溅或合并）方面表现如何？

主要发现

• 该方法成功捕捉了包括飞溅与合并在内的复杂、非线性液体动力学。
• 采用物理感知损失函数显著提升了生成表面的视觉保真度与一致性。
• 稳健的梯度计算支持了两阶段网络架构的稳定且高效的端到端训练。
• 该框架实现了实时推理性能，使移动平台上的交互式液体效果成为可能。