[论文解读] RL-GA: A Reinforcement Learning-Based Genetic Algorithm for Electromagnetic Detection Satellite Scheduling Problem

Yanjie Song, Luona Wei+4 more|arXiv (Cornell University)|Jun 12, 2022

Satellite Communication Systems被引用 5

一句话总结

本文提出RL-GA，一种基于强化学习增强的遗传算法，用于电磁探测卫星调度问题（EDSSP），通过Q-learning动态选择进化算子并引导种群搜索。该方法在大规模及真实场景实例中均实现了超过90%的检测收益与任务完成率，解决方案质量与效率均优于现有最先进算法。

ABSTRACT

The study of electromagnetic detection satellite scheduling problem (EDSSP) has attracted attention due to the detection requirements for a large number of targets. This paper proposes a mixed-integer programming model for the EDSSP problem and a genetic algorithm based on reinforcement learning (RL-GA). Numerous factors that affect electromagnetic detection are considered in the model, such as detection mode, bandwidth, and other factors. The RL-GA embeds a Q-learning method into an improved genetic algorithm, and the evolution of each individual depends on the decision of the agent. Q-learning is used to guide the population search process by choosing evolution operators. In this way, the search information can be effectively used by the reinforcement learning method. In the algorithm, we design a reward function to update the Q value. According to the problem characteristics, a new combination of is proposed. The RL-GA also uses an elite individual retention strategy to improve search performance. After that, a task time window selection algorithm (TTWSA) is proposed to evaluate the performance of population evolution. Several experiments are used to examine the scheduling effect of the proposed algorithm. Through the experimental verification of multiple instances, it can be seen that the RL-GA can solve the EDSSP problem effectively. Compared with the state-of-the-art algorithms, the RL-GA performs better in several aspects.

研究动机与目标

• 为解决具有多种约束（如探测模式、带宽和存储容量）的复杂电磁探测卫星调度问题（EDSSP）。
• 开发一种混合优化方法，将遗传算法（GA）与强化学习（RL）结合，实现算子的自适应选择并提升搜索性能。
• 设计一种针对EDSSP特性的新型<状态, 动作>组合与奖励函数，以有效引导Q-learning。
• 在大规模及真实场景实例上评估算法性能，验证其在实际调度场景中的可扩展性与鲁棒性。

提出的方法

• 提出一种混合整数规划模型，整合探测模式、带宽与存储容量约束，用于EDSSP。
• 将Q-learning集成到改进的遗传算法中，其中智能体根据状态相关的Q值选择进化算子（如交叉、变异）。
• 基于种群搜索性能设计自定义的<状态, 动作>表示，以指导强化学习决策。
• 采用奖励函数，在每个进化周期后更新Q值，反映解的质量与进展。
• 应用精英个体保留策略，以保留高适应度个体，提升收敛性。
• 引入任务时间窗选择算法（TTWSA），用于评估与引导调度过程中的种群进化。

实验结果

研究问题

• RQ1 如何有效将强化学习集成到遗传算法中，以提升EDSSP中搜索的自适应能力？
• RQ2 在EDSSP中使用Q-learning进行算子选择时，最优的<状态, 动作>表示是什么？
• RQ3 与现有最先进算法相比，所提出的RL-GA方法在检测收益与任务完成率方面表现如何？
• RQ4 RL-GA算法能否在大规模及真实EDSSP实例中保持高性能？
• RQ5 奖励函数与精英保留策略在提升解决方案质量与收敛速度方面起到何种作用？

主要发现

• RL-GA算法在多日调度中保持稳定的每日检测收益，并维持超过90%的任务完成率。
• 在大规模及超大规模实例中，RL-GA在解决方案质量与计算时间方面均优于现有最先进算法。
• 该算法可稳定规划每日1,000项任务，性能一致，验证了其可扩展性与长期运行可行性。
• Q-learning的集成实现了算子的自适应选择，显著提升了搜索效率与解的适应性。
• TTWSA有效评估种群进化，有助于获得更优的调度结果并加快收敛速度。
• 所提方法可推广应用于其他顺序相关组合优化问题，而不仅限于卫星调度。