[论文解读] Reinforcement Learning-assisted Evolutionary Algorithm: A Survey and Research Opportunities

Yanjie Song, Yutong Wu+8 more|arXiv (Cornell University)|Aug 25, 2023

Metaheuristic Optimization Algorithms Research被引用 5

一句话总结

本综述介绍了强化学习辅助的进化算法（RL-EA），通过将强化学习（RL）融入进化算法，采用动态算子选择、参数调优和解生成等自适应策略，以提升优化性能。该综述提供了全面的分类体系，回顾了关键的集成方法，并指出了训练成本、超参数调优和基准测试等关键挑战，为智能优化领域的未来研究奠定了基础。

ABSTRACT

Evolutionary algorithms (EA), a class of stochastic search methods based on the principles of natural evolution, have received widespread acclaim for their exceptional performance in various real-world optimization problems. While researchers worldwide have proposed a wide variety of EAs, certain limitations remain, such as slow convergence speed and poor generalization capabilities. Consequently, numerous scholars actively explore improvements to algorithmic structures, operators, search patterns, etc., to enhance their optimization performance. Reinforcement learning (RL) integrated as a component in the EA framework has demonstrated superior performance in recent years. This paper presents a comprehensive survey on integrating reinforcement learning into the evolutionary algorithm, referred to as reinforcement learning-assisted evolutionary algorithm (RL-EA). We begin with the conceptual outlines of reinforcement learning and the evolutionary algorithm. We then provide a taxonomy of RL-EA. Subsequently, we discuss the RL-EA integration method, the RL-assisted strategy adopted by RL-EA, and its applications according to the existing literature. The RL-assisted procedure is divided according to the implemented functions including solution generation, learnable objective function, algorithm/operator/sub-population selection, parameter adaptation, and other strategies. Additionally, different attribute settings of RL in RL-EA are discussed. In the applications of RL-EA section, we also demonstrate the excellent performance of RL-EA on several benchmarks and a range of public datasets to facilitate a quick comparative study. Finally, we analyze potential directions for future research.

研究动机与目标

• 提供对强化学习辅助进化算法（RL-EA）在优化领域中的全面综述。
• 识别并分类强化学习与进化算法集成的各种方式，包括直接集成与间接集成方法。
• 分析RL-EA框架中使用的RL辅助策略，如解生成、参数自适应以及算子选择。
• 突出当前RL-EA的局限性，包括高昂的训练成本、超参数敏感性以及缺乏标准化基准。
• 概述推动RL-EA在复杂优化问题中理论与实际部署的未来关键研究方向。

提出的方法

• 基于集成方法提出RL-EA的分类体系：直接（端到端RL控制）与间接（RL引导算法组件）。
• 将RL辅助策略划分为六类：解生成、可学习的目标函数、算法/算子/子群体选择、参数自适应以及其他自适应策略。
• 回顾RL组件设计，包括奖励塑造、状态表示、动作空间定义以及策略网络架构。
• 分析深度强化学习与策略梯度方法在RL-EA中的应用，强调其在支持优化中序列决策方面的关键作用。
• 讨论低成本训练替代方案，如进化策略与迁移学习，以降低RL训练开销。
• 在标准基准和公开数据集上评估RL-EA的性能，证明其在收敛速度与鲁棒性方面优于传统EAs。

实验结果

研究问题

• RQ1 如何有效将强化学习集成到进化算法中以提升优化性能？
• RQ2 RL-EA中占主导地位的RL辅助策略有哪些？它们如何提升搜索效率与解的质量？
• RQ3 在EA框架中训练RL组件的主要挑战是什么？如何缓解这些挑战？
• RQ4 RL的不同属性设置（如奖励设计、状态表示）如何影响RL-EA的性能？
• RQ5 在基准测试与理论分析方面存在哪些关键缺口，阻碍了RL-EA的广泛应用？

主要发现

• RL-EA在基准问题与公开数据集上表现出优越性能，展现出比传统EAs更快的收敛速度与更好的泛化能力。
• RL的集成使得算子选择、参数控制与解生成实现动态自适应，显著提升了搜索效率。
• 尽管实证结果强劲，但大多数RL-EA研究缺乏对组件行为或整体算法收敛性的理论分析。
• 高昂的训练成本与超参数敏感性仍是实际部署的主要障碍，尤其在大规模优化任务中。
• 现有基准不足以有效评估RL-EA，亟需开发定制化、领域特定的基准。
• 预训练与迁移学习技术可降低RL训练开销，为实现可扩展的RL-EA部署提供了可行路径。