[论文解读] NEORL: NeuroEvolution Optimization with Reinforcement Learning

Majdi I. Radaideh, Katelin Du+5 more|arXiv (Cornell University)|Dec 1, 2021

Neural Networks and Applications被引用 8

一句话总结

NEORL 是一个开源的 Python 框架，整合了神经进化、强化学习和进化计算，用于连续、离散和约束性工程问题的全局优化。通过统一 25 余种算法、支持并行计算、超参数调优以及核能和燃料电池系统等真实世界基准测试，NEORL 在性能上与最先进框架相当。

ABSTRACT

We present an open-source Python framework for NeuroEvolution Optimization with Reinforcement Learning (NEORL) developed at the Massachusetts Institute of Technology. NEORL offers a global optimization interface of state-of-the-art algorithms in the field of evolutionary computation, neural networks through reinforcement learning, and hybrid neuroevolution algorithms. NEORL features diverse set of algorithms, user-friendly interface, parallel computing support, automatic hyperparameter tuning, detailed documentation, and demonstration of applications in mathematical and real-world engineering optimization. NEORL encompasses various optimization problems from combinatorial, continuous, mixed discrete/continuous, to high-dimensional, expensive, and constrained engineering optimization. NEORL is tested in variety of engineering applications relevant to low carbon energy research in addressing solutions to climate change. The examples include nuclear reactor control and fuel cell power production. The results demonstrate NEORL competitiveness against other algorithms and optimization frameworks in the literature, and a potential tool to solve large-scale optimization problems. More examples and benchmarking of NEORL can be found here: https://neorl.readthedocs.io/en/latest/index.html

研究动机与目标

• 解决工程应用中神经进化与基于强化学习的优化缺乏统一、用户友好框架的问题。
• 克服现有 Python 库（如 DEAP 和 EvoloPy）的局限性，整合来自进化计算、深度强化学习和混合神经进化领域的先进、最前沿算法。
• 实现可扩展的并行优化，支持自动超参数调优和详尽的文档说明，适用于高维、昂贵和约束性问题等多种问题类型。
• 在核反应堆控制和燃料电池发电等真实世界低碳能源应用中，验证 NEORL 的有效性。
• 提供一个灵活、可扩展的平台，以支持未来多目标优化和物理信息驱动设计工作流的开发。

提出的方法

• 在 Python 中实现一个模块化、面向对象的框架，统一来自进化计算（如 DE、PSO、GWO、HHO）、深度强化学习（如 PPO、DQN）和混合神经进化算法的算法。
• 使用强化学习智能体学习策略网络以生成候选解，目标函数的适应度值作为奖励信号。
• 通过多进程和分布式计算支持并行执行，加速在多个 CPU/GPU 资源上的优化过程。
• 在框架的配置管道中集成自动超参数调优，采用贝叶斯优化或随机搜索。
• 设计统一的 API 以支持连续和离散优化，内置对约束条件和混合整数变量的支持。
• 嵌入领域感知的物理先验知识，如灵敏度系数和数据驱动的闭合关系，以指导物理信息驱动的工程问题优化。

实验结果

研究问题

• RQ1 一个统一的框架能否有效整合神经进化、强化学习和进化计算，以应对多样化优化问题？
• RQ2 NEORL 在基准测试和真实世界工程任务中，与 nlopt、DEAP、EvoloPy 和 PyOpt 等成熟优化库相比，性能如何？
• RQ3 通过策略梯度训练的强化学习智能体，在高维或约束性优化中，能否显著优于传统进化算法？
• RQ4 NEORL 的模块化设计在支持新型混合算法的开发与集成方面，其能力如何，特别是在多目标或物理信息驱动优化场景中？
• RQ5 NEORL 在解决低碳能源系统中大规模、昂贵且真实世界工程问题方面的有效性如何？

主要发现

• NEORL 在多种基准测试和工程问题中，与 nlopt、DEAP、EvoloPy 和 PyOpt 等多个最先进算法和优化框架相比，表现出具有竞争力的性能。
• 该框架成功解决了核反应堆控制和燃料电池发电中的复杂、高维和约束性优化任务，验证了其在真实世界应用中的有效性。
• NEORL 集成了来自不同类别（进化计算、深度强化学习、混合算法）的 25 余种算法，支持对解空间的稳健探索，通过避免算法偏见，体现了‘无免费午餐’原理。
• 框架对并行计算和自动超参数调优的支持，显著缩短了优化时间并提升了收敛效率。
• 基准测试结果表明，NEORL 在组合优化、连续优化和混合整数问题等多种问题类型中，均表现出高精度和高稳定性。
• 开源特性与全面的文档（https://neorl.readthedocs.io）促进了广泛采用和社区贡献，示例脚本在 GitHub 仓库中公开可获取。