[论文解读] RL-Controller: a reinforcement learning framework for active structural control

Soheila Sadeghi Eshkevari, Soheil Sadeghi Eshkevari+2 more|arXiv (Cornell University)|Mar 13, 2021

Elevator Systems and Control参考文献 34被引用 4

一句话总结

本文提出 RL-Controller，一种用于建筑在地震荷载下主动结构控制的无模型强化学习框架，通过训练智能体最小化层间位移。采用数据驱动方法结合深度强化学习，相比 LQG 控制，平均层间位移降低 25%，加速度降低 26%，同时控制力能耗更低，展现出无需事先掌握系统知识的优越性能。

ABSTRACT

To maintain structural integrity and functionality during the designed life cycle of a structure, engineers are expected to accommodate for natural hazards as well as operational load levels. Active control systems are an efficient solution for structural response control when a structure is subjected to unexpected extreme loads. However, development of these systems through traditional means is limited by their model dependent nature. Recent advancements in adaptive learning methods, in particular, reinforcement learning (RL), for real-time decision making problems, along with rapid growth in high-performance computational resources, help structural engineers to transform the classic model-based active control problem to a purely data-driven one. In this paper, we present a novel RL-based approach for designing active controllers by introducing RL-Controller, a flexible and scalable simulation environment. The RL-Controller includes attributes and functionalities that are defined to model active structural control mechanisms in detail. We show that the proposed framework is easily trainable for a five story benchmark building with 65% reductions on average in inter story drifts (ISD) when subjected to strong ground motions. In a comparative study with LQG active control method, we demonstrate that the proposed model-free algorithm learns more optimal actuator forcing strategies that yield higher performance, e.g., 25% more ISD reductions on average with respect to LQG, without using prior information about the mechanical properties of the system.

研究动机与目标

• 开发一种灵活、可扩展且无模型的主动控制框架，用于结构系统，以克服传统依赖模型的控制方法的局限性。
• 在无需事先了解结构力学特性的情况下，利用强化学习实现实时、自适应的建筑地震激励控制。
• 通过最小化强地面运动期间的层间位移、加速度和基底剪力，提升结构的韧性。
• 在复杂、不确定和动态环境中，证明数据驱动的强化学习控制优于经典最优控制方法（如 LQG）的优越性。
• 在五层基准建筑上验证该框架，使用多种历史地震记录。

提出的方法

• 该框架将主动结构控制建模为马尔可夫决策过程（MDP），其中智能体（神经网络）根据实时结构状态观测选择控制力。
• 采用具有经验回放和目标网络的深度 Q 网络（DQN），以稳定训练过程，并在连续状态-动作空间中近似最优动作价值函数。
• 环境模拟一个五层基准建筑，通过历史地震的基底激励进行仿真，包括白噪声和脉冲型地面运动，以增强训练的鲁棒性。
• 奖励函数设计用于惩罚高阶层间位移和加速度，同时最小化控制力能耗，以实现性能的平衡。
• 使用七种不同的地震记录（例如，Northridge、Kobe、Loma Prieta）联合训练 RL 智能体，以确保在不同地面运动特性下的泛化能力。
• 在相同条件下将该框架与 LQG 控制方法进行对比，以多指标评估性能。

实验结果

研究问题

• RQ1 无模型强化学习框架是否能在多种地震激励下，优于经典基于模型的控制方法（如 LQG）以最小化结构响应？
• RQ2 在训练中包含脉冲型和白噪声地面运动，如何影响基于 RL 的控制器的鲁棒性和性能？
• RQ3 在缺乏对结构力学特性先验知识的情况下，RL-Controller 能在多大程度上减少层间位移和加速度？
• RQ4 在真实世界地震场景下，RL-Controller 与 LQG 的控制力能耗和基底剪力相比如何？
• RQ5 RL-Controller 是否能在无需重新训练的情况下，泛化到广泛的地面运动参数（幅值、频率、持续时间）？

主要发现

• 在七次历史地震中，RL-Controller 相较于 LQG 控制，平均层间位移（ISD）降低 25%，证明了其在振动抑制方面的优越性。
• 与 LQG 相比，RL-Controller 将平均楼层加速度降低了 26%，表明对惯性力的控制更优，提升了人员舒适度。
• 平均而言，RL-Controller 的控制力能耗比 LQG 低 30%，以控制信号的归一化能量衡量，表明其具有更高的能量效率。
• 在 RL-Controller 作用下，最大楼层剪力显著降低，最大受控剪力与未受控剪力之比相比 LQG 降低了 20%，表明结构安全性更高。
• 在全部七次地震记录中，RL-Controller 均优于 LQG，四项性能指标（J1–J4）均一致提升，表现出强大的泛化能力和鲁棒性。
• 该框架成功学习到在位移控制与加速度抑制之间取得平衡，避免了控制系统中常见的权衡，通过有效吸收冲击脉冲实现。