[论文解读] Reinforcement Learning for Low-Thrust Trajectory Design of Interplanetary Missions

Alessandro Zavoli, Lorenzo Federici|arXiv (Cornell University)|Aug 19, 2020

Spacecraft Dynamics and Control参考文献 29被引用 6

一句话总结

本文提出一种基于近端策略优化（PPO）的强化学习框架，用于在多种不确定性（包括过程噪声、观测误差、控制误差和推力缺失事件）下设计鲁棒的低推力深空轨道。该方法将最优控制问题重新表述为马尔可夫决策过程（MDP），并通过训练深度神经网络生成闭环制导律，在存在随机扰动的情况下，地球-火星任务仿真中实现了高约束满足率和高有效载荷质量效率。

ABSTRACT

This paper investigates the use of Reinforcement Learning for the robust design of low-thrust interplanetary trajectories in presence of severe disturbances, modeled alternatively as Gaussian additive process noise, observation noise, control actuation errors on thrust magnitude and direction, and possibly multiple missed thrust events. The optimal control problem is recast as a time-discrete Markov Decision Process to comply with the standard formulation of reinforcement learning. An open-source implementation of the state-of-the-art algorithm Proximal Policy Optimization is adopted to carry out the training process of a deep neural network, used to map the spacecraft (observed) states to the optimal control policy. The resulting Guidance and Control Network provides both a robust nominal trajectory and the associated closed-loop guidance law. Numerical results are presented for a typical Earth-Mars mission. First, in order to validate the proposed approach, the solution found in a (deterministic) unperturbed scenario is compared with the optimal one provided by an indirect technique. Then, the robustness and optimality of the obtained closed-loop guidance laws is assessed by means of Monte Carlo campaigns performed in the considered uncertain scenarios. These preliminary results open up new horizons for the use of reinforcement learning in the robust design of interplanetary missions.

研究动机与目标

• 开发一种在多种不确定性源（包括过程噪声、观测误差、控制误差和推力缺失事件）下具有鲁棒性的闭环制导律，适用于低推力深空任务。
• 解决传统间接法和确定性优化方法在处理随机扰动和高不确定性方面的局限性，特别是在冗余度有限且地面访问受限的微纳卫星任务中。
• 通过与间接最优控制解在确定性场景下的对比，验证基于强化学习的方法在深空轨道设计中的可行性和最优性。
• 通过在不同随机不确定性模型下开展蒙特卡洛实验，评估所学策略的鲁棒性和性能。
• 探索深度强化学习作为通用框架在鲁棒空间任务设计中的潜力，尤其在传统方法变得不切实际的场景中。

提出的方法

• 将最优控制问题重新表述为时间离散的马尔可夫决策过程（MDP），从而可应用标准的强化学习技术。
• 采用通过近端策略优化（PPO）算法训练的深度神经网络，将航天器状态观测映射为最优控制动作，形成闭环制导与控制策略。
• 选择PPO算法因其在策略梯度强化学习中具有稳定性与样本效率，特别适用于高维连续控制任务。
• 训练过程使用自定义环境，模拟包含高斯噪声扰动、控制误差和推力缺失事件（MTEs）的三维地球-火星转移任务。
• 通过蒙特卡洛实验评估策略在不同不确定性场景下的鲁棒性，测量终端约束违反情况和最终航天器质量。
• 引入ε-约束松弛技术以改善约束处理，但建议未来工作采用更先进的约束MDP形式化方法。

实验结果

研究问题

• RQ1 强化学习能否在多种不确定性源（包括过程噪声、观测误差和控制误差）下有效设计鲁棒的低推力深空轨道？
• RQ2 在确定性、无扰动场景下，PPO训练策略的性能与间接最优控制解相比如何？
• RQ3 在诸如推力缺失事件等随机扰动下，所学策略在多大程度上能维持终端约束满足和有效载荷质量效率？
• RQ4 推力缺失事件发生的位置如何影响策略的恢复能力及任务目标达成能力？
• RQ5 所提出的强化学习框架能否推广至其他深空任务及超出高斯扰动的随机动力学模型？

主要发现

• 在确定性场景下，PPO策略获得的解与间接方法计算的最优轨迹高度一致，验证了该方法的准确性。
• 在状态和观测不确定性下，策略在满足终端约束方面成功率为0%，表明对状态估计误差高度敏感。
• 在推力大小和方向的控制不确定性下，成功率为8%；在多个推力缺失事件下为16.8%，单个事件下为18.8%，显示出中等程度的鲁棒性。
• 在69.8%的单次MTE案例和70.4%的多次MTE案例中，策略成功从完全推力丧失中恢复，但当MTE发生在任务末期时，由于ΔV补偿不足而发生失败。
• 在约束违反较多的场景中，最终航天器质量增加，表明约束执行不力会导致推进剂使用效率降低，进而减少有效载荷质量。
• 约束违反和质量结果的高方差凸显了MTE发生时机的关键作用，也表明在基于强化学习的制导中需改进约束处理机制。