[论文解读] Reinforcement Learning for Active Flow Control in Experiments

Dixia Fan, Yang Liu+2 more|arXiv (Cornell University)|Mar 6, 2020

Reinforcement Learning in Robotics参考文献 17被引用 9

一句话总结

该论文首次通过实验展示了强化学习（RL）能够自主发现真实流体动力学中的最优主动流动控制策略。通过使用奖励函数并结合卡尔曼滤波降噪，RL智能体在数十次拖曳实验内即实现了与最优静态控制相当的减阻效果和能效表现，有效抑制了圆柱体后方的涡激振荡。

ABSTRACT

We demonstrate experimentally the feasibility of applying reinforcement learning (RL) in flow control problems by automatically discovering active control strategies without any prior knowledge of the flow physics. We consider the turbulent flow past a circular cylinder with the aim of reducing the cylinder drag force or maximizing the power gain efficiency by properly selecting the rotational speed of two small diameter cylinders, parallel to and located downstream of the larger cylinder. Given properly designed rewards and noise reduction techniques, after tens of towing experiments, the RL agent could discover the optimal control strategy, comparable to the optimal static control. While RL has been found to be effective in recent computer flow simulation studies, this is the first time that its effectiveness is demonstrated experimentally, paving the way for exploring new optimal active flow control strategies in complex fluid mechanics applications.

研究动机与目标

• 展示直接在实验流体力学中应用强化学习（RL）的可行性，避免依赖先前的物理模型。
• 开发一种无模型的RL框架，以学习在湍流钝体流中实现减阻与能效优化的最优主动控制策略。
• 验证RL可通过真实世界实验发现高性能控制策略，其性能可与静态控制优化结果相匹配或接近。
• 探究降噪技术（如卡尔曼滤波）在实验强化学习中的必要性与有效性，用于流体控制。
• 为将RL应用于复杂、高维的实验流体力学问题（超越仿真）奠定基础。

提出的方法

• RL智能体以10 Hz的频率与物理拖曳水槽装置交互，通过六维力传感器实时获取状态反馈（阻力系数与升力系数）。
• 控制动作为两个下游小圆柱的旋转速度，以无量纲旋转率 ε = ωd/(2U) 参数化。
• 设计了定制的奖励函数，旨在最小化阻力与升力的振荡，同时最大化功率增益效率。
• 对传感器数据应用卡尔曼滤波以降低测量噪声，提升学习稳定性与收敛性。
• 采用无模型RL方法（如策略梯度或类似方法），在每个40秒的实验周期后更新策略。
• 通过XML-RPC在RL智能体与实验控制接口之间实现同步，支持实时交互与学习。

实验结果

研究问题

• RQ1 强化学习是否能够在缺乏流体物理先验知识的情况下，在真实实验流体力学环境中发现有效的主动流动控制策略？
• RQ2 与已知的最优静态控制策略相比，基于RL的控制在减阻与能效方面的性能如何？
• RQ3 降噪技术（如卡尔曼滤波）在实验流体控制的强化学习中起到何种作用，以实现稳定且高效的训练？
• RQ4 RL是否能在少量物理实验内收敛至稳定且最优的控制策略？
• RQ5 所学习的控制策略如何影响钝体后方湍流流动中的涡激振荡与尾迹结构？

主要发现

• RL智能体仅在四轮实验内即实现了稳定控制策略，将主圆柱的平均阻力系数降至负值，并使平均升力系数趋近于零。
• 经过10轮实验后，智能体已学习到可抑制涡激振荡的控制策略，形成狭窄且稳定的尾迹，与最优静态控制配置相似。
• 至第40轮实验时，水动力性能与尾迹结构几乎与最优静态控制无法区分，证实了收敛性与鲁棒性。
• 使用卡尔曼滤波显著提升了学习稳定性与性能，证明其在噪声实验环境中的必要性。
• RL智能体发现的控制策略在减阻与能效方面与最佳已知静态控制相当，且仅通过数十次物理实验即达成。
• 结果验证了无模型RL可成功应用于真实实验流体力学，为复杂控制策略的自主发现开辟了新途径。