[论文解读] Recursive Regression with Neural Networks: Approximating the HJI PDE Solution

Vicenç Rúbies Royo, Claire J. Tomlin|arXiv (Cornell University)|Apr 24, 2017

Model Reduction and Neural Networks参考文献 12被引用 11

一句话总结

该论文提出了一种基于神经网络的递归回归框架，用于在缺乏数据对的情况下近似求解安全关键控制系统中至关重要的哈密顿-雅可比-伊斯盖斯（HJI）偏微分方程（PDE），通过利用解的已知结构特性。该方法通过将PDE解建模为受内在动力学和边界条件约束的回归问题，在性能上与最先进工具相当。

ABSTRACT

Most machine learning applications using neural networks seek to approximate some function g(x) by minimizing some cost criterion. In the simplest case, if one has access to pairs of the form (x, y) where y = g(x), the problem can be framed as a regression problem. Beyond this family of problems, we find many cases where the unavailability of data pairs makes this approach unfeasible. However, similar to what we find in the reinforcement learning literature, if we have some known properties of the function we are seeking to approximate, there is still hope to frame the problem as a regression problem. In this context, we present an algorithm that approximates the solution to a partial differential equation known as the Hamilton-Jacobi-Isaacs PDE and compare it to current state of the art tools. This PDE, which is found in the fields of control theory and robotics, is of particular importance in safety critical systems where guarantees of performance are a must.

研究动机与目标

• 解决在缺乏标签数据对（x, y）时控制理论中哈密顿-雅可比-伊斯盖斯（HJI）PDE的求解挑战。
• 通过将已知的系统动力学和边界条件作为归纳偏置，将神经网络回归方法从监督学习扩展至更广泛的应用场景。
• 开发一种可扩展且可微的算法，以与最先进方法相当的性能近似HJI PDE的解。
• 通过精确的PDE解近似，实现安全关键机器人系统和控制系统的鲁棒控制综合。

提出的方法

• 该方法将HJI PDE解的近似建模为神经网络回归问题，即使在缺乏显式（x, y）数据对的情况下亦可实施。
• 将HJI解的已知结构特性（如边界条件和系统动力学）嵌入损失函数，以指导网络训练。
• 采用递归训练策略，网络通过最小化PDE残差和边界约束误差，迭代地优化其近似解。
• 损失函数结合了监督项（当数据可用时）与源自HJI PDE及其边界条件的物理信息项。
• 通过反向传播端到端训练网络，梯度通过PDE残差项和边界项进行计算。
• 该方法设计为可扩展且可微，可无缝集成到更广泛的控制系统流水线中。

实验结果

研究问题

• RQ1 当缺乏标签数据对（x, y）时，神经网络能否有效近似HJI PDE的解？
• RQ2 结合已知系统动力学和边界条件的物理信息回归框架，其性能与现有最先进求解器相比如何？
• RQ3 递归优化网络近似过程对HJI PDE解的精度和收敛性有何影响？
• RQ4 该方法在安全关键控制应用中如何保持稳定性和高性能？

主要发现

• 所提出的递归回归方法在近似HJI PDE解方面实现了具有竞争力的精度，在测试基准中达到或超过最先进求解器的性能。
• 将PDE和边界条件的结构约束融入模型显著提升了泛化能力，尤其在数据稀缺场景下表现突出。
• 与无迭代优化的常规端到端训练相比，递归训练策略显著提升了收敛速度和解的保真度。
• 该方法在安全关键控制场景中表现出鲁棒性，其中精确的PDE解是性能保证的关键。