[论文解读] Neural UpFlow: A Scene Flow Learning Approach to Increase the Apparent Resolution of Particle-Based Liquids

Bruno Roy, Pierre Poulin+1 more|arXiv (Cornell University)|Jun 9, 2021

Computer Graphics and Visualization Techniques参考文献 36被引用 4

一句话总结

本文提出 Neural UpFlow，一种利用场景光流估计提升基于粒子的流体模拟视图分辨率的深度学习方法。通过利用粒子邻域特征和形变感知损失，该模型从低分辨率输入中推断出高分辨率细节，并采用具有拓扑对齐的跨分辨率插值方法，提升真实感与泛化能力，即使在未见过的模拟设置下亦表现良好。

ABSTRACT

We present a novel up-resing technique for generating high-resolution liquids based on scene flow estimation using deep neural networks. Our approach infers and synthesizes small- and large-scale details solely from a low-resolution particle-based liquid simulation. The proposed network leverages neighborhood contributions to encode inherent liquid properties throughout convolutions. We also propose a particle-based approach to interpolate between liquids generated from varying simulation discretizations using a state-of-the-art bidirectional optical flow solver method for fluids in addition to a novel key-event topological alignment constraint. In conjunction with the neighborhood contributions, our loss formulation allows the inference model throughout epochs to reward important differences in regard to significant gaps in simulation discretizations. Even when applied in an untested simulation setup, our approach is able to generate plausible high-resolution details. Using this interpolation approach and the predicted displacements, our approach combines the input liquid properties with the predicted motion to infer semi-Lagrangian advection. We furthermore showcase how the proposed interpolation approach can facilitate generating large simulation datasets with a subset of initial condition parameters.

研究动机与目标

• 解决从粗粒度基于粒子的流体模拟中生成高分辨率流体细节的挑战，而无需昂贵的高分辨率模拟。
• 克服现有方法依赖 SDF 或需要多阶段训练的局限，直接在粒子上操作。
• 通过在插值框架中引入关键事件拓扑对齐约束，提升对未见模拟设置的泛化能力。
• 通过插值方法实现高效的机器学习数据增强，人工扩展多分辨率数据集。
• 通过多轮推理与基于邻域的卷积编码，降低推理噪声并提升表面质量。

提出的方法

• 提出一种深度神经网络，通过粒子邻域在卷积操作中编码分层流体属性。
• 引入一种形变感知损失函数，结合 Thuerey (2017) 提供的权重以指导学习并加速收敛。
• 采用双向光学流求解器处理流体，计算低分辨率与高分辨率模拟之间的场景光流。
• 应用跨分辨率插值，利用模拟属性将高分辨率位移映射至低分辨率粒子。
• 使用关键事件拓扑对齐约束校正形变场中的错位，尤其在喷溅等复杂特征区域表现更优。
• 通过不同上采样距离的多轮推理，降低噪声并防止位移后粒子的异常出现。

实验结果

研究问题

• RQ1 深度神经网络能否利用场景光流估计，仅从低分辨率粒子模拟中推断出高分辨率流体细节？
• RQ2 基于邻域的卷积在无显式 SDF 监督下，能否在不同尺度间有效保留流体特征？
• RQ3 关键事件拓扑对齐约束在多大程度上提升了生成流体细节的真实感与准确性？
• RQ4 所提出的插值框架能否泛化至未见的模拟设置，并保持合理的高分辨率输出？
• RQ5 多轮推理结合可变上采样距离对最终高分辨率流体动画的质量与噪声水平有何影响？

主要发现

• Neural UpFlow 仅使用低分辨率粒子输入，成功再现了液体上小尺度与大尺度的流体细节，如喷溅与冠状结构。
• 该方法在未见模拟设置下泛化能力出色，如图 18 所示，其在未接触过的配置下仍能生成合理的高分辨率细节。
• 关键事件拓扑对齐约束显著提升了形变场的准确性，减少了导致细节丢失的错位现象。
• 结合可变上采样距离的多轮推理有效降低了推理噪声，并防止了粒子在位移后出现，从而获得更平滑的表面表示。
• 插值框架实现了有效的数据增强，使有限的多分辨率模拟数据集得以人工扩展。
• 采用采样半径 d=0.5R 时，在不增加计算成本或降低结果质量的前提下，实现了最优的细节还原效果。