[论文解读] Proportional integral derivative controller assisted reinforcement learning for path following by autonomous underwater vehicles

Simen Theie Havenstrøm, Camilla Sterud+2 more|arXiv (Cornell University)|Feb 3, 2020

Adaptive Dynamic Programming Control参考文献 38被引用 4

一句话总结

本文提出了一种新颖的深度强化学习（DRL）方法，用于自主水下航行器（AUVs）的3D路径跟踪，通过集成比例-积分-微分（PID）控制器来辅助DRL训练。PID辅助方法将控制分解为三个执行器（方向舵、升降舵、推力），实现了稳定、高效的训练，减少了时间步数，并在未见过的海流条件下表现出更强的鲁棒性，相较于端到端DRL在稳定性和收敛性方面表现更优。

ABSTRACT

Control theory provides engineers with a multitude of tools to design controllers that manipulate the closed-loop behavior and stability of dynamical systems. These methods rely heavily on insights about the mathematical model governing the physical system. However, if a system is highly complex, it might be infeasible to produce a reliable mathematical model of the system. Without a model most of the theoretical tools to develop control laws break down. In these settings, machine learning controllers become attractive: Controllers that can learn and adapt to complex systems, developing control laws where the engineer cannot. This article focuses on utilizing machine learning controllers in practical applications, specifically using deep reinforcement learning in motion control systems for an autonomous underwater vehicle with six degrees-of-freedom. Two methods are considered: end-to-end learning, where the vehicle is left entirely alone to explore the solution space in its search for an optimal policy, and PID assisted learning, where the DRL controller is essentially split into three separate parts, each controlling its own actuator.

研究动机与目标

• 解决在复杂、不确定的水下环境中控制6自由度自主水下航行器（AUVs）的挑战。
• 克服传统控制方法依赖精确数学模型的局限性，这些方法在非线性和干扰条件下表现不佳。
• 探索数据驱动的机器学习控制（MLC）作为基于模型控制在AUV路径跟踪中的可行替代方案。
• 通过在DRL训练中引入PID控制器作为监督层，提升训练的稳定性和收敛速度。
• 验证DRL控制器在未见过的干扰（如变化的海流）下的鲁棒性，证明其泛化能力。

提出的方法

• 采用近端策略优化（PPO）算法进行深度强化学习（DRL），训练智能体以跟踪3D空间轨迹。
• 实施PID辅助学习框架，其中DRL智能体仅依次控制一个执行器（方向舵、升降舵或推力），其余两个执行器由固定PID控制器稳定。
• 使用二次型代价函数作为奖励信号，以最小化跟踪误差和控制努力。
• 在无海流的仿真环境中训练DRL智能体，随后在未见过的海流扰动下评估其性能。
• 从训练效率、收敛性和鲁棒性角度，对比端到端DRL（全智能体控制）与PID辅助DRL（按执行器模块化控制）的表现。
• 使用高保真AUV仿真模型生成的合成数据，生成训练轨迹和奖励信号。

实验结果

研究问题

• RQ1 与端到端DRL相比，采用PID辅助控制的DRL是否能在3D路径跟踪中实现更快、更稳定的训练？
• RQ2 当在无海流条件下训练时，DRL控制器在面对未见过的海流扰动时表现如何？
• RQ3 PID辅助架构在多大程度上减少了达到收敛所需的仿真时间步数？
• RQ4 DRL智能体是否能在无需重新训练的情况下泛化到新型、此前未训练过的环境条件？
• RQ5 在使用黑箱深度神经网络与混合PID-DRL控制结构之间，可解释性与性能之间的权衡如何？

主要发现

• 与端到端学习相比，PID辅助DRL方法显著减少了训练控制器所需的仿真时间步数。
• 尽管在静水环境中训练，DRL智能体在遭遇不同强度海流时仍能实现稳定的3D路径跟踪。
• 在海流存在时观察到恒定的垂直控制偏差，表明实现了部分补偿但未实现完全扰动抑制。
• 端到端DRL方法表现良好，但对训练设置高度敏感，且奖励函数设计复杂。
• PID辅助方法在未见过的扰动下表现出鲁棒性，表明其在实际应用中具有泛化潜力。
• 缺乏先验模型知识以及通过探索与利用实现的DRL自适应调参特性，被证实是相对于传统控制方法的关键优势。