[论文解读] Online Stochastic Optimization for Unknown Linear Systems: Data-Driven Synthesis and Controller Analysis

Gianluca Bianchin, Luis M. Vaquero+2 more|arXiv (Cornell University)|Aug 30, 2021

Traffic Prediction and Management Techniques被引用 6

一句话总结

该论文提出了一种针对未知随机线性时不变（LTI）系统的数据驱动控制器，可在不依赖系统动态或扰动分布知识的情况下，将系统调节至时变随机优化问题的解。通过直接从开环输入-输出数据估计稳态传递函数，该方法使受随机梯度下降启发的控制器能够实现收缩的闭环动态，从而在存在模型不确定性与噪声时仍能确保对优化器的稳定跟踪。

ABSTRACT

This paper proposes a data-driven control framework to regulate an unknown, stochastic linear dynamical system to the solution of a (stochastic) convex optimization problem. Despite the centrality of this problem, most of the available methods critically rely on a precise knowledge of the system dynamics (thus requiring off-line system identification and model refinement). To this aim, in this paper we first show that the steady-state transfer function of a linear system can be computed directly from control experiments, bypassing explicit model identification. Then, we leverage the estimated transfer function to design a controller -- which is inspired by stochastic gradient descent methods -- that regulates the system to the solution of the prescribed optimization problem. A distinguishing feature of our methods is that they do not require any knowledge of the system dynamics, disturbance terms, or their distributions. Our technical analysis combines concepts and tools from behavioral system theory, stochastic optimization with decision-dependent distributions, and stability analysis. We illustrate the applicability of the framework on a case study for mobility-on-demand ride service scheduling in Manhattan, NY.

研究动机与目标

• 解决在系统动态和扰动分布事先未知的情况下控制未知随机线性系统的问题。
• 克服现有基于模型的控制方法所受的限制，这些方法需要精确的系统辨识与模型优化。
• 仅利用开环实验中的输入-输出数据，实现实时调节系统至随机凸优化问题解的在线控制。
• 在系统参数与扰动存在不确定性的情况下，为控制器性能提供理论保证。
• 通过曼哈顿地区按需出行服务的案例研究，验证该框架在实际应用中的可行性。

提出的方法

• 直接从有限长度、非稳态的输入-输出轨迹中估计未知LTI系统的稳态传递函数，绕过显式的系统辨识过程。
• 利用行为系统理论证明，仅凭单条足够丰富的轨迹即可计算传递函数，而无需了解系统矩阵。
• 提出一种受随机梯度下降启发的数据驱动控制器，利用估计的传递函数将系统引导至时变随机优化问题的解。
• 表征在存在扰动时传递函数估计中的近似误差，并显式界定由此产生的跟踪误差。
• 设计控制器增益，通过平衡响应速度与对模型不确定性的鲁棒性，确保闭环动态的严格收缩性。
• 采用投影控制器更新以在优化问题中强制执行约束，确保在按需出行等实际应用中的可行性。

实验结果

研究问题

• RQ1 是否能够仅从输入-输出数据直接估计未知LTI系统的稳态传递函数，而无需系统辨识？
• RQ2 如何设计控制器，使未知随机LTI系统能够调节至时变随机优化问题的解？
• RQ3 未知扰动对数据驱动传递函数估计精度及控制器性能有何影响？
• RQ4 在系统动态与扰动分布未知的情况下，闭环系统在何种条件下仍能保持稳定与收缩？
• RQ5 在按需出行系统等实际应用中，所提出的基于数据驱动的控制器相较于固定策略或基于模型的方法有何表现？

主要发现

• 未知LTI系统的稳态传递函数可直接从单条有限长度的输入-输出轨迹中计算得出，无需估计系统矩阵。
• 当存在扰动时，数据驱动的传递函数估计会产生有界的近似误差，该误差在本文中被显式表征。
• 当控制器增益适切选择时，所提出的控制器可确保闭环动态的严格收缩性——即增益足够小以慢于系统响应，但又足够大以抵消模型不确定性引起分布漂移的影响。
• 跟踪误差收敛至约10⁻²的稳态值，由于优化器随时间变化，误差不再进一步减小，仿真结果已验证该结论。
• 在按需出行案例研究中，基于控制器的自适应定价策略相较于固定定价策略，实现了更高的乘车接受率、利润和车队利用率。
• 在需求波动期间，控制器通过动态调整价格以最大化车队利用率与盈利能力，显著优于固定定价策略。