[论文解读] RobustNeuralNetworks.jl: a Package for Machine Learning and Data-Driven Control with Certified Robustness

Nicholas H. Barbara, Max Revay+3 more|arXiv (Cornell University)|Jun 22, 2023

Model Reduction and Neural Networks被引用 4

一句话总结

该论文介绍了 RobustNeuralNetworks.jl，这是一个 Julia 软件包，可通过循环平衡网络（RENs）和利普希茨有界深度网络（LBDNs）实现具有认证鲁棒性的神经网络训练。通过直接参数化权重以满足用户定义的鲁棒性约束（如利普希茨界），该方法在无需昂贵的对抗性训练的情况下实现了认证鲁棒性，从而可在控制和状态估计等安全关键应用中实现可靠部署。

ABSTRACT

Neural networks are typically sensitive to small input perturbations, leading to unexpected or brittle behaviour. We present RobustNeuralNetworks.jl: a Julia package for neural network models that are constructed to naturally satisfy a set of user-defined robustness metrics. The package is based on the recently proposed Recurrent Equilibrium Network (REN) and Lipschitz-Bounded Deep Network (LBDN) model classes, and is designed to interface directly with Julia's most widely-used machine learning package, Flux.jl. We discuss the theory behind our model parameterization, give an overview of the package, and provide a tutorial demonstrating its use in image classification, reinforcement learning, and nonlinear state-observer design.

研究动机与目标

• 为解决标准神经网络在小幅度输入扰动下的脆弱性，特别是在安全关键应用中的问题。
• 提供一种计算高效的替代方案，以替代对抗性训练和约束优化，用于鲁棒神经网络训练。
• 通过与 Flux.jl 的无缝互操作性，将认证鲁棒性集成到现有的机器学习工作流中。
• 在强化学习和非线性状态估计中，为控制器和观测器提供形式化保证的鲁棒训练。
• 通过一个高层级、用户友好的软件包，使研究人员和实践者能够轻松访问先进的鲁棒神经网络架构。

提出的方法

• 采用循环平衡网络（RENs），一种灵活的神经网络架构，其参数化方式可满足用户定义的鲁棒性约束。
• 采用利普希茨有界深度网络（LBDNs），这是 RENs 的一种专用前馈子类，其利普希茨常数具有内置上界。
• 通过直接参数化网络权重和偏置来强制实现鲁棒性，从而在使用标准优化方法（如 SGD）训练的同时保证鲁棒性。
• 利用 Julia 的多分派和类型系统，高效且可组合地实现鲁棒神经网络层。
• 原生集成到 Flux.jl 中，允许用户在现有机器学习流水线中构建鲁棒模型。
• 利用可微分模拟和通过动力学的反向传播，实现端到端的鲁棒控制器训练，并具备认证鲁棒性。

Figure 2: Simulation of a contracting REN with a single internal state. The system is simulated from two different initial states with the same sinusoidal input. The contracting system exponentially forgets its initial condition.

实验结果

研究问题

• RQ1 是否可以设计一种神经网络架构，使其鲁棒性通过构造方式保证，而非通过对抗性训练学习得到？
• RQ2 如何将利普希茨约束直接嵌入神经网络权重中，以确保对输入扰动的敏感度有界？
• RQ3 在实际控制任务（如强化学习和状态估计）中，不牺牲性能的前提下，认证鲁棒性能在多大程度上实现？
• RQ4 使用 Julia 等高层科学计算语言，鲁棒神经网络在实际中能以多高的效率进行训练和部署？
• RQ5 能否在极少代码修改和完全兼容的前提下，实现鲁棒模型与现有机器学习框架（如 Flux.jl）的集成？

主要发现

• REN 和 LBDN 架构允许使用标准无约束优化方法训练出具有认证鲁棒性的神经网络。
• 该软件包实现了在强化学习任务中对鲁棒控制器的端到端训练，利普希茨界 γ=20，确保对输入变化的响应有界。
• LBDN 控制器在 80 个随机采样的目标位置下成功稳定了非线性弹簧-质量-阻尼系统，证明了其在状态估计和控制中的鲁棒性。
• 与 Flux.jl 的集成使得鲁棒模型可无缝应用于现有机器学习工作流，包括可微分模拟和反向传播。
• 该方法实现了“两全其美”——在不增加对抗性训练或约束优化计算开销的前提下，实现了鲁棒性保证。
• 教程展示了该框架在图像分类、强化学习和非线性状态观测器设计中的成功应用，验证了其多功能性。

Figure 3: Association of models and their parameters in (a) Flux.jl and (b) RobustNeuralNetworks.jl . In (a), model parameters $\theta$ are associated with the model . In (b), the direct parameters $\theta$ are associated with the parameterization model_ps , and are converted to explicit parameters