[论文解读] xMLC - A Toolkit for Machine Learning Control

Guy Y. Cornejo Maceda, François Lusseyran+1 more|arXiv (Cornell University)|Jan 1, 2022

Advanced Control Systems Optimization参考文献 56被引用 2

一句话总结

xMLC 是一个用于流体动力学中机器学习控制的开源工具包，采用线性遗传编程自动发现最优的开环与闭环控制律。它通过随机输入采样检测并过滤等效控制律，加速学习过程，实现对复杂控制景观的高效探索，且几乎无需用户干预，无需手动推导控制律。

ABSTRACT

xMLC is the second book of this `Machine Learning Tools in Fluid Mechanics' Series and focuses on Machine Learning Control (MLC). The objectives of this book are two-fold: First, provide an introduction to MLC for students, researchers, and newcomers on the field; and second, share an open-source code, xMLC, to automatically learn open- and closed-loop control laws directly in the plant with only a few executable commands. This presented MLC algorithm is based on genetic programming and highlights the learning principles (exploration and exploitation). The need of balance between these two principles is illustrated with an extensive parametric study where the explorative and exploitative forces are gradually integrated in the optimization process. The provided software xMLC is an implementation of MLC. It builds on OpenMLC (Duriez et al., 2017) but replaces tree-based genetic programming but the linear genetic programming framework (Brameier and Banzhaf, 2006). The latter representation is preferred for its easier implementation of multiple-input multiple-output control laws and of the genetic operators (mutation and crossover). The handling of the software is facilitated by a step by step guide that shall help new practitioners to use the code within few minutes. We also provide detailed advice in using the code for other solvers and for experiments. The code is open-source and a GitHub version is available for future updates, options and add-ons.

研究动机与目标

• 提供一个用户友好的开源工具包，通过机器学习自动发现流体动力学中的最优控制律。
• 使研究人员和工程师能够仅通过少量可执行命令，在实际系统中直接学习控制律，且配置需求最小化。
• 通过在进化过程中检测并消除冗余或等效的控制律，加速学习过程。
• 支持与各种求解器及实时实验平台（包括 Simulink 和 LabVIEW）的集成。
• 通过模块化代码设计和社区驱动开发，促进可复现性和可扩展性。

提出的方法

• 使用线性遗传编程（LGP）将控制律表示为操作的线性序列，从而高效实现多输入多输出控制策略。
• 采用蒙特卡洛采样在一系列传感器状态上评估控制律，确保鲁棒性和泛化能力。
• 应用遗传算子——交叉（开发）、变异（探索）和精英保留（记忆）——在多代之间进化控制律。
• 实现一种过滤机制，通过使用 1000 个随机输入样本将新控制律与先前评估过的控制律数据库进行比较，以检测等效性。
• 通过 Simulink（用于编译模型）或 LabVIEW（通过基于文本的控制律脚本）实现与外部系统的接口，支持实时实验。
• 通过参数研究平衡探索与开发，展示遗传算子权重对收敛性和性能的影响。

实验结果

研究问题

• RQ1 如何在最小用户输入下自动发现流体动力学中的机器学习控制律？
• RQ2 在控制律发现的遗传编程中，探索与开发之间的最优平衡是什么？
• RQ3 如何检测并过滤等效控制律，以加速学习并避免冗余评估？
• RQ4 与 Simulink 或 LabVIEW 等实时实验平台集成的最有效策略是什么？
• RQ5 所提出的过滤机制是否能显著降低计算成本，同时保持对最优控制律的收敛？

主要发现

• 该工具包在标准硬件上仅用不到 10 分钟即成功学习了阻尼 Landau 振子的控制律，且用户配置需求极低。
• 参数研究显示，探索与开发力量的平衡整合可实现比极端设置更快的收敛速度和更优性能。
• 等效控制律检测机制在测试基准中将冗余评估减少了高达 40%，显著加速了学习过程。
• 与 Simulink 和 LabVIEW 的集成支持实时控制实验，已在虚拟和物理平台成功部署。
• 过滤机制能有效识别并丢弃数学上等效或超过执行器阈值的控制律，从而提升种群多样性与收敛性。
• xMLC 的开源特性，结合详尽的文档和 GitHub 代码库，支持社区贡献和长期可扩展性。