[论文解读] Physics-Informed Neural Network Policy Iteration: Algorithms, Convergence, and Verification

Yiming Meng, Ruikun Zhou+4 more|arXiv (Cornell University)|Feb 15, 2024

Neural Networks and Applications被引用 10

一句话总结

本论文引入两种神经政策迭代算法（ELM-PI 和 PINN-PI）来通过 GHJB/HJB 方程解决非线性最优控制；证明收敛到粘性解，并添加形式化稳定性验证。

ABSTRACT

Solving nonlinear optimal control problems is a challenging task, particularly for high-dimensional problems. We propose algorithms for model-based policy iterations to solve nonlinear optimal control problems with convergence guarantees. The main component of our approach is an iterative procedure that utilizes neural approximations to solve linear partial differential equations (PDEs), ensuring convergence. We present two variants of the algorithms. The first variant formulates the optimization problem as a linear least square problem, drawing inspiration from extreme learning machine (ELM) for solving PDEs. This variant efficiently handles low-dimensional problems with high accuracy. The second variant is based on a physics-informed neural network (PINN) for solving PDEs and has the potential to address high-dimensional problems. We demonstrate that both algorithms outperform traditional approaches, such as Galerkin methods, by a significant margin. We provide a theoretical analysis of both algorithms in terms of convergence of neural approximations towards the true optimal solutions in a general setting. Furthermore, we employ formal verification techniques to demonstrate the verifiable stability of the resulting controllers.

研究动机与目标

• 解决传统方法在高维非线性最优控制问题上的困难与挑战的动机。
• 开发能够通过 PDE 求解器求解广义 Hamilton-Jacobi-Bellman 方程的神经政策迭代方法。
• 提供对 HJB 方程粘性解的理论收敛性保证。
• 结合形式化验证技术来证明控制器的稳定性。
• 探索从低维到高维的可扩展性，并与经典 Galerkin 方法进行比较。

提出的方法

• 将控制问题表述为一个控制线性系统并建立 GHJB/HJB 方程。
• 提出两种神经政策迭代变体：ELM-PI（带有随机隐层的线性最小二乘）和 PINN-PI（基于物理信息的神经网络方法）。
• ELM-PI 通过固定随机特征映射近似 V(x)；使用梯度 DV 更新策略。
• PINN-PI 使用神经网络表示 V_i，并通过自动微分优化残差损失，强制 GHJB 方程与边界条件。
• 引入一个稳定性保持的损失项，使局部线性二次行为与经典的 Riccati 基础稳定性洞见相一致。
• 提出一个利用 SMT 求解器的形式化验证框架，以证明围绕原点的神经 Lyapunov 条件。
• 理论结果表明策略迭代收敛到 HJB 的粘性解；在温和假设下建立对神经近似的收敛性。

实验结果

研究问题

• RQ1 神经近似的 GHJB 解是否会收敛到 HJB 方程的粘性解？
• RQ2 神经政策迭代是否能高效计算高精度解并缓解维数灾难？
• RQ3 神经政策迭代是否会得到稳定控制器，是否可以形式化验证其稳定性？
• RQ4 ELM-PI 与 PINN-PI 在低维与高维问题上的表现差异如何？
• RQ5 是否存在一个验证框架能够确保所得到的控制器的安全性？

主要发现

• 带有神经近似的策略迭代收敛到 HJB 方程的粘性解。
• ELM-PI 在低维问题上以高精度和快速求解占优，而 PINN-PI 在更高维度上具有更好的尺度性。
• PINN-PI 在高维中也能达到具有竞争力的精度，在某些情况下优于传统的基于 Galerkin 的 PDE 求解器。
• 如果不包含针对稳定性的约束，PINN-PI 可能产生不稳定的控制器；对于安全关键应用，必须进行正式验证。
• 一个基于线性二次逼近的稳定性保持损失项能改善高维下的训练与稳定性。
• 作者给出了 exact PI 的收敛性分析，并在实际条件下提供神经 PI 收敛的框架。