[论文解读] MultiScale MeshGraphNets

Meire Fortunato, Tobias Pfaff+3 more|arXiv (Cornell University)|Oct 2, 2022

Model Reduction and Neural Networks被引用 26

一句话总结

本文提出 MultiScale MeshGraphNets (MS-MGN)，一种用于基于网格的仿真、具层次两分辨率的图神经网络，可通过实现多尺度信息传播并利用高精度标签，在准确性和效率上优于 MeshGraphNets。

ABSTRACT

In recent years, there has been a growing interest in using machine learning to overcome the high cost of numerical simulation, with some learned models achieving impressive speed-ups over classical solvers whilst maintaining accuracy. However, these methods are usually tested at low-resolution settings, and it remains to be seen whether they can scale to the costly high-resolution simulations that we ultimately want to tackle. In this work, we propose two complementary approaches to improve the framework from MeshGraphNets, which demonstrated accurate predictions in a broad range of physical systems. MeshGraphNets relies on a message passing graph neural network to propagate information, and this structure becomes a limiting factor for high-resolution simulations, as equally distant points in space become further apart in graph space. First, we demonstrate that it is possible to learn accurate surrogate dynamics of a high-resolution system on a much coarser mesh, both removing the message passing bottleneck and improving performance; and second, we introduce a hierarchical approach (MultiScale MeshGraphNets) which passes messages on two different resolutions (fine and coarse), significantly improving the accuracy of MeshGraphNets while requiring less computational resources.

研究动机与目标

• 解决 MeshGraphNets (MGN) 在高分辨率网格上信息传播的瓶颈。
• 提出具双分辨率信息传播的分层 MS-MGN，以提高准确性并降低计算量。
• 研究高精度标签以教授子网格动力学并提升预测。
• 在 CylinderFlow 数据集上评估不同网格分辨率的性能。

提出的方法

• 使用四个图：精细图（G^h）、粗糙图（G^l）、下采样图（G^{down}）和上采样图（G^{up}）。
• 保留来自 MGN 的 Encode-Process-Decode 框架，对 G^h 和 G^l 进行独立更新。
• 实现一个类 V-循环的处理器：对 G^h 进行局部更新，downsample 到 G^l，在 G^l 上更新，然后上采样回 G^h，再进行进一步的 G^h 更新。
• 用下一步预测进行训练并迭代应用于滚动预测；损失函数作用于精细图的节点。
• 通过插值高分辨率参考解来提供更好的训练信号，以引入高精度标签。

实验结果

研究问题

• RQ1 在高分辨率下，当 MGN 由于信息传播速度受限而停滞时，MS-MGN 能否恢复空间收敛？
• RQ2 在相同的消息传递步数下，多尺度信息传递与粗图是否比 MGN 提高了准确性和计算效率？
• RQ3 高精度标签如何影响模型学习子网格动力学及在不同分辨率下提升预测？
• RQ4 MS-MGN 对滚动预测的稳定性和多步误差累积有何影响？
• RQ5 粗网格的选择相较于非结构化网格的可一致性对性能有何影响？

主要发现

• 在相同总消息传递步数下，MS-MGN 相较于 MGN 可降低单步预测误差。
• 使用 25 个消息传递步（mps）的 MS-MGN 能密切跟踪参考求解器的空间收敛曲线。
• 利用高精度标签进行训练使 MGN 能在较粗的网格上超越参考求解器，且 MS-MGN 在各分辨率下均优于参考。
• 由于粗层更新成本较低且信息传播高效，MS-MGN 在各网格分辨率下比 MGN 提供更好的准确性/计算权衡。
• 误差分析表明在 Graph Fourier Transform 分析中，MS-MGN 能抑制跨长程空间相关的误差。