[论文解读] Recurrent Equilibrium Networks: Flexible Dynamic Models with Guaranteed Stability and Robustness

Max Revay, Ruigang Wang+1 more|arXiv (Cornell University)|Apr 13, 2021

Neural Networks and Reservoir Computing被引用 7

一句话总结

本文提出了循环平衡网络（RENs），这是一种新型的可微分动力学模型，通过收缩理论和增量积分二次约束（IQC）保证稳定性和鲁棒性。通过在 ℝ^N 中直接参数化模型而无需约束，RENs 实现了无约束优化训练，同时确保所有模型均满足良好定义性、收缩性以及对输入扰动的鲁棒性，适用于系统辨识、观测器设计和控制，且具有可证明的稳定性保证。

ABSTRACT

This paper introduces recurrent equilibrium networks (RENs), a new class of nonlinear dynamical models} for applications in machine learning, system identification and control. The new model class admits ``built in'' behavioural guarantees of stability and robustness. All models in the proposed class are contracting -- a strong form of nonlinear stability -- and models can satisfy prescribed incremental integral quadratic constraints (IQC), including Lipschitz bounds and incremental passivity. RENs are otherwise very flexible: they can represent all stable linear systems, all previously-known sets of contracting recurrent neural networks and echo state networks, all deep feedforward neural networks, and all stable Wiener/Hammerstein models, and can approximate all fading-memory and contracting nonlinear systems. RENs are parameterized directly by a vector in R^N, i.e. stability and robustness are ensured without parameter constraints, which simplifies learning since \HL{generic methods for unconstrained optimization such as stochastic gradient descent and its variants can be used}. The performance and robustness of the new model set is evaluated on benchmark nonlinear system identification problems, and the paper also presents applications in data-driven nonlinear observer design and control with stability guarantees.

研究动机与目标

• 开发一类灵活的非线性动力学模型，其本身即保证稳定性与鲁棒性，适用于机器学习、系统辨识和控制。
• 克服标准神经网络的局限性，后者通常缺乏稳定性与鲁棒性保证，且对输入扰动敏感。
• 提供一种参数化方法，确保良好定义性、收缩性及增量鲁棒性，而无需依赖约束优化或复杂的认证程序。
• 将现有模型（如RNN、回声状态网络、深度前馈网络以及稳定Wiener/ Hammerstein系统）统一并扩展至单一框架内。
• 利用标准无约束优化工具，实现具有可证明稳定性和鲁棒性的实际学习与控制应用。

提出的方法

• RENs 采用平衡网络（隐式网络）结构，其中输出定义为一个固定点方程的解，从而保证良好定义性。
• 模型直接在 ℝ^N 中参数化，消除了对参数约束的需求，使标准无约束优化方法（如随机梯度下降）得以应用。
• 通过收缩理论实现稳定性，确保所有轨迹无论初始条件或输入如何，均全局收敛。
• 通过增量积分二次约束（IQC）保证鲁棒性，其中包含Lipschitz常数和增量无源性的边界，支持性能与鲁棒性之间的权衡。
• 该框架支持多种模型类型，包括稳定线性系统、深度前馈网络和收缩RNN，通过将其作为特例嵌入。
• 理论保证通过Scharre补全和基于李雅普诺夫的分析推导得出，条件以线性矩阵不等式（LMIs）形式表述，便于验证。

实验结果

研究问题

• RQ1 是否可以设计一种深度学习模型，使得稳定性与鲁棒性由结构本身保证，而非事后验证？
• RQ2 如何构建一个统一框架，将RNN、前馈网络和Wiener系统等不同模型类别统一于单一稳定且鲁棒的架构中？
• RQ3 是否可能在无约束空间中参数化一个稳定且鲁棒的神经网络模型，以简化使用标准优化算法的训练过程？
• RQ4 RENs 在多大程度上可逼近一般衰减记忆性和收缩性非线性系统，同时保持稳定性和鲁棒性？
• RQ5 RENs 是否可有效应用于数据驱动的观测器与控制器设计，具备可证明的收敛性与鲁棒性？

主要发现

• RENs 确保良好定义性，其解的存在性与唯一性由平衡网络结构及系统矩阵的正定性保证。
• 所有 REN 模型均为收缩模型，意味着无论初始条件或输入如何，所有轨迹均全局收敛至彼此，确保强非线性稳定性。
• 模型满足用户定义的增量IQC，包括Lipschitz界和增量无源性，从而实现对输入扰动和对抗攻击的鲁棒性。
• 在 ℝ^N 中的参数化允许无约束优化，使标准训练算法（如随机梯度下降）无需额外约束或正则化即可使用。
• RENs 可逼近所有稳定、衰减记忆的非线性系统，并将所有稳定线性系统、收缩RNN、回声状态网络和深度前馈网络作为特例包含在内。
• 在基准系统辨识任务上的实证评估表明，RENs 在保持强稳定性和鲁棒性的同时实现了高精度，其在敏感性和收敛性方面优于标准RNN。