[论文解读] Robust On-Line ADP-based Solution of a Class of Hierarchical Nonlinear Differential Game

Mohammad reza Satouri, Hamed Kebriaei+2 more|arXiv (Cornell University)|Jul 26, 2019

Adaptive Dynamic Programming Control被引用 4

一句话总结

该论文提出了一种新颖的在线自适应动态规划（ADP）方法，用于在模型不确定性和扰动条件下求解涉及一个领导者和多个跟随者的分层非线性微分博弈。通过整合神经网络以估计值函数、控制策略和扰动，该算法将神经网络的使用量减少了约30%，并基于李雅普诺夫分析实现了鲁棒收敛，证明了其在处理最坏情况扰动下的零和与非零和博弈分量时的有效性。

ABSTRACT

In this paper, a hierarchical one-leader-multi-followers game for a class of continuous-time nonlinear systems with disturbance is investigated by a novel policy iteration reinforcement learning technique in which, the game model consists both of the zero-sum and nonzero-sum games, simultaneously. An adaptive dynamic programming (ADP), method is developed to achieve optimal control strategy under the worst case of disturbance. This algorithm reduces the number of neural networks which are used for estimation for about thirty percent. The proposed algorithm uses neural networks to estimate value functions, control policies and disturbances. Convergence analysis of the estimations is investigated using Lyapunov theory and exploiting properties of the Nemytskii operator. Finally, the simulation results will show effectiveness of the developed ADP method.

研究动机与目标

• 解决在模型不确定性和最坏情况扰动下求解分层一领导者多跟随者非线性微分博弈的挑战。
• 开发一种高效的在线ADP解决方案，通过最小化神经网络使用量来降低计算复杂度。
• 利用李雅普诺夫稳定性理论，确保对扰动的鲁棒性以及收敛至Stackelberg-Nash均衡。
• 在统一框架中整合神经网络，联合估计值函数、控制策略和扰动信号。
• 通过仿真验证该方法，证明其能够同时有效处理零和与非零和博弈分量。

提出的方法

• 采用基于策略迭代的ADP框架，实时迭代更新控制策略和值函数近似。
• 使用神经网络估计值函数、控制策略和扰动信号，将所需网络数量减少约30%。
• 应用李雅普诺夫理论及Nemytskii算子的性质，证明估计误差和系统状态的统一最终有界性（UUB）。
• 引入一种改进的代价函数，结合零和与非零和博弈分量，实现同时优化。
• 利用梯度下降法进行神经网络权重的在线更新，确保实时自适应。
• 通过矩阵不等式和参数$F_1^i$、$F_2^i$的调节，推导出稳定性充分条件，确保海森矩阵$M$的正定性。

实验结果

研究问题

• RQ1 如何设计一种在线ADP方法，以求解同时包含零和与非零和分量的分层非线性微分博弈？
• RQ2 在模型不确定性和扰动条件下，实现鲁棒控制所需的最少神经网络数量是多少？
• RQ3 如何应用李雅普诺夫稳定性理论，证明在存在扰动时ADP估计器的收敛性？
• RQ4 在所提出的框架中，确保估计误差和系统状态统一最终有界性（UUB）的条件是什么？
• RQ5 与现有ADP方法在动态博弈中的解决方案相比，该方法在性能和复杂度方面有何差异？

主要发现

• 所提出的ADP方法相比传统方法，将用于估计的神经网络数量减少了约30%。
• 证明了估计误差和系统状态的统一最终有界性（UUB），确保在最坏情况扰动下具有长期稳定性。
• 通过李雅普诺夫理论和Nemytskii算子性质，分析性地建立了算法收敛至Stackelberg-Nash均衡的过程。
• 该方法在单一统一框架内有效处理了零和与非零和博弈分量，实现了在不确定性下的鲁棒控制。
• 仿真结果证实，该算法在存在模型不确定性和扰动的情况下，仍能实现最优控制策略。
• 调参$F_1^i$和$F_2^i$被证明对确保矩阵$M$的正定性至关重要，而$M$决定了稳定区域和收敛速度。