[论文解读] Progress and summary of reinforcement learning on energy management of MPS-EV

Jincheng Hu, Lin Yang+5 more|arXiv (Cornell University)|Nov 8, 2022

Electric Vehicles and Infrastructure被引用 4

一句话总结

本文对多电源电动汽车（MPS-EVs）中基于强化学习（RL）的能源管理策略（RL-EMS）进行了全面综述与系统性分析。研究探讨了关键设计要素——算法、感知与决策方案、奖励函数及训练方法，揭示了先进RL技术与当前RL-EMS应用之间的差距，并提出了将先进人工智能技术整合到能源管理中的未来方向。

ABSTRACT

The high emission and low energy efficiency caused by internal combustion engines (ICE) have become unacceptable under environmental regulations and the energy crisis. As a promising alternative solution, multi-power source electric vehicles (MPS-EVs) introduce different clean energy systems to improve powertrain efficiency. The energy management strategy (EMS) is a critical technology for MPS-EVs to maximize efficiency, fuel economy, and range. Reinforcement learning (RL) has become an effective methodology for the development of EMS. RL has received continuous attention and research, but there is still a lack of systematic analysis of the design elements of RL-based EMS. To this end, this paper presents an in-depth analysis of the current research on RL-based EMS (RL-EMS) and summarizes the design elements of RL-based EMS. This paper first summarizes the previous applications of RL in EMS from five aspects: algorithm, perception scheme, decision scheme, reward function, and innovative training method. The contribution of advanced algorithms to the training effect is shown, the perception and control schemes in the literature are analyzed in detail, different reward function settings are classified, and innovative training methods with their roles are elaborated. Finally, by comparing the development routes of RL and RL-EMS, this paper identifies the gap between advanced RL solutions and existing RL-EMS. Finally, this paper suggests potential development directions for implementing advanced artificial intelligence (AI) solutions in EMS.

研究动机与目标

• 对多电源电动汽车（MPS-EVs）中基于强化学习的能源管理策略（RL-EMS）的设计要素进行系统性分析。
• 评估先进RL算法、感知方案、决策机制、奖励函数以及创新训练方法在提升能源管理性能方面的作用。
• 识别当前最先进的RL解决方案与MPS-EVs中现有RL-EMS实现之间的差距。
• 提出可操作的发展方向，以将先进的人工智能技术整合到能源管理系统中，从而提升效率与续航能力。

提出的方法

• 对2010至2022年间发表的142篇RL-EMS研究进行结构化综述，重点关注算法、感知、决策、奖励与训练方法等组件。
• 将EMS中使用的RL算法分类为深度Q网络（DQN）、近端策略优化（PPO）、深度确定性策略梯度（DDPG）及其他深度强化学习方法。
• 基于状态观测方法对感知方案进行分析，包括完整状态、部分状态及基于传感器的输入。
• 将决策方案分类为在线与离线控制策略，特别关注其在实时应用中的适用性。
• 将奖励函数分类为燃油经济性、能效性及综合目标，突出其设计中的权衡关系。
• 综述如课程学习、迁移学习与多智能体训练等创新训练方法，评估其对收敛性与性能的影响。

实验结果

研究问题

• RQ1 不同RL算法如何影响MPS-EVs中能源管理策略的训练稳定性和性能？
• RQ2 在RL-EMS中，何种感知与决策方案在实时能源管理方面最为有效？
• RQ3 不同的奖励函数设计如何影响RL-EMS中的燃油经济性与能效性？
• RQ4 创新训练方法在提升RL-EMS中的样本效率与泛化能力方面发挥何种作用？
• RQ5 当前最先进的RL技术与MPS-EVs中RL-EMS实现之间存在哪些关键差距？

主要发现

• 如PPO与DQN等深度强化学习算法在能源管理中表现出色，其中PPO展现出更优的样本效率与稳定性。
• 将燃油经济性与电池退化因素结合的奖励函数，相比单目标奖励，能显著提升长期效率。
• 由于实际传感器限制，部分状态感知方案被广泛采用，但完整状态观测在仿真中可实现更优性能。
• 课程学习与迁移学习等创新训练方法显著缩短训练时间并加快收敛速度。
• 尽管RL技术不断进步，但大多数RL-EMS实现仍依赖于简化的环境，未能充分运用现代RL技术。
• 在泛化能力与鲁棒性方面，最先进的RL解决方案与其实现在MPS-EV能源管理中的应用之间存在明显差距。