[论文解读] Reinforcement Learning for Adaptive Mesh Refinement

Jiachen Yang, Tarik Dzanic+10 more|arXiv (Cornell University)|Mar 1, 2021

Model Reduction and Neural Networks参考文献 44被引用 7

一句话总结

该论文将自适应网格加密（AMR）建模为马尔可夫决策过程，并利用深度强化学习（RL）训练网格加密策略，以在计算预算下优化长期精度。该方法优于传统的Zienkiewicz-Zhu误差估计器，可在不同网格尺寸和加密预算下泛化，并且无需真实解——证明了强化学习能够学习到优于即时误差驱动启发式方法的前瞻性、非贪婪加密策略。

ABSTRACT

Large-scale finite element simulations of complex physical systems governed by partial differential equations (PDE) crucially depend on adaptive mesh refinement (AMR) to allocate computational budget to regions where higher resolution is required. Existing scalable AMR methods make heuristic refinement decisions based on instantaneous error estimation and thus do not aim for long-term optimality over an entire simulation. We propose a novel formulation of AMR as a Markov decision process and apply deep reinforcement learning (RL) to train refinement policies directly from simulation. AMR poses a new problem for RL as both the state dimension and available action set changes at every step, which we solve by proposing new policy architectures with differing generality and inductive bias. The model sizes of these policy architectures are independent of the mesh size and hence can be deployed on larger simulations than those used at train time. We demonstrate in comprehensive experiments on static function estimation and time-dependent equations that RL policies can be trained on problems without using ground truth solutions, are competitive with a widely-used error estimator, and generalize to larger, more complex, and unseen test problems.

研究动机与目标

• 为解决现有AMR方法依赖于基于瞬时误差估计的启发式、贪心加密决策的局限性，这些决策可能无法实现长期最优。
• 将AMR重新表述为使用马尔可夫决策过程（MDP）的序列决策问题，以优化整个模拟过程中的累积精度。
• 设计可扩展的、变尺寸的策略架构用于强化学习，使其独立于网格大小，从而可在训练时未使用的大规模模拟中部署。
• 在具有已知解的小型代表性问题上训练强化学习策略，并通过一种新颖的奖励设计，将这些策略迁移至更大、未见过的问题上，即使在无真实解的情况下也能实现。
• 评估强化学习是否能够学习到更优的、非贪心的加密策略，以前瞻性地应对未来解的特征，如传播前沿或间断。

提出的方法

• 将AMR形式化为马尔可夫决策过程（MDP），其中状态空间和动作空间随网格加密动态变化，状态为当前网格和解，动作为单元加密选择。
• 提出三种新型策略架构——Graphnet、IPN和基于图神经网络（GNN）的架构，通过利用网格拓扑结构和局部特征交互，处理变尺寸的状态和动作空间。
• 基于与参考解的解误差设计训练用奖励函数，并通过相对误差改进和基于模拟的评估，将其扩展至无真实解的问题。
• 在小型静态测试问题（如$8\times8$网格）上训练强化学习策略，然后将其部署于更大、未见过的网格和时间依赖性问题上。
• 采用课程学习和迁移学习策略，实现在不同加密预算和网格分辨率（包括$64\times64$和$200\times200$网格）下的泛化。
• 使用$L^2$和$L^\infty$误差等指标，与基线方法（包括广泛使用的Zienkiewicz-Zhu（ZZ）误差估计器和真实误差的“理想”基线）进行性能评估。

实验结果

研究问题

• RQ1 强化学习能否学习到优于传统启发式误差估计器（如Zienkiewicz-Zhu）的自适应网格加密策略，从而在最终解精度方面表现更优？
• RQ2 在小规模、低预算模拟上训练的强化学习策略，是否能无需微调即泛化至更大网格和更高加密预算？
• RQ3 在无真实解访问的情况下训练的强化学习策略，能否有效从静态问题迁移至时间依赖性问题（如对流问题），即使在无真实解时？
• RQ4 强化学习策略是否能学习到前瞻性的加密行为，避免基于瞬时误差的次优贪心决策？
• RQ5 能否设计出可扩展的、与网格尺寸无关的策略架构，以处理实际模拟中AMR的动态状态和动作空间？

主要发现

• 在$8\times8$网格上以$ B=10 $的加密预算训练的强化学习策略，在$16\times16$和$64\times64$网格上均优于Zienkiewicz-Zhu（ZZ）估计器，显示出在不同网格尺寸间的强大泛化能力。
• 在时间依赖性对流问题上，使用$ B=20 $训练的RL策略（Graphnet）在$ B=50 $测试时显著优于ZZ估计器和真实误差基线，尤其在圆形特征上表现更优。
• 使用$ B=10 $训练的IPN策略可泛化至$ B=100 $，并在传播前沿上做出定性正确的加密决策，即使预算增加了五倍。
• 在保持解与网格长度尺度比的$ 200\times200 $网格上，IPN策略在圆形特征上优于真实误差基线，表明其对尺度和复杂度具有鲁棒性。
• 在无真实解的情况下训练的强化学习策略，仍能达到与真实误差理想基线相当的性能，验证了所提奖励设计在真实场景中的有效性。
• IPN和Graphnet架构表现出互补优势：IPN在静态或缓慢传播特征（如Burgers方程）上表现更优，而Graphnet在平滑移动特征（如凸起的对流）上表现更佳。