[论文解读] Reinforcement Learning on Job Shop Scheduling Problems Using Graph Networks.

Mohammed Sharafath Abdul Hameed, Andreas Schwung|arXiv (Cornell University)|Sep 8, 2020

Scheduling and Optimization AlgorithmsEngineering参考文献 42被引用 18

一句话总结

本文提出一种基于图神经网络的分布式强化学习方法，通过建模资源间相互作用，实现灵活、可扩展的作业车间调度优化。在多机器人和复杂生产基准测试中，该方法在动态环境中展现出优异的性能与适应性。

ABSTRACT

This paper presents a novel approach for job shop scheduling problems using deep reinforcement learning. To account for the complexity of production environment, we employ graph neural networks to model the various relations within production environments. Furthermore, we cast the JSSP as a distributed optimization problem in which learning agents are individually assigned to resources which allows for higher flexibility with respect to changing production environments. The proposed distributed RL agents used to optimize production schedules for single resources are running together with a co-simulation framework of the production environment to obtain the required amount of data. The approach is applied to a multi-robot environment and a complex production scheduling benchmark environment. The initial results underline the applicability and performance of the proposed method.

研究动机与目标

• 通过建模资源间依赖关系，解决现实作业车间调度的复杂性与动态性问题。
• 通过去中心化学习智能体提升生产环境变化下的调度灵活性。
• 通过为各资源分配独立的强化学习智能体，实现可扩展且自适应的调度。
• 在具有动态约束的现实复杂调度环境中验证该方法的有效性。
• 展示基于图的深度强化学习在工业调度中的可行性与性能表现。

提出的方法

• 使用图神经网络对生产环境中任务、机器和资源之间的关系进行建模。
• 为每个资源分配专用的强化学习智能体，实现分布式优化。
• 智能体通过与协同仿真框架的交互进行学习，该框架可模拟实时生产动态。
• 将作业车间调度视为分布式优化问题，提升可扩展性与适应性。
• 通过强化学习智能体与协同仿真环境的持续交互收集训练数据。
• 该方法支持动态重构，并能对生产变化做出实时响应。

实验结果

研究问题

• RQ1 图神经网络能否有效建模作业车间调度环境中的复杂相互依赖关系？
• RQ2 基于资源级智能体的分布式强化学习架构在动态环境中如何提升调度适应性？
• RQ3 与集中式或非图基方法相比，该方法在性能上实现了哪些提升？
• RQ4 该方法在复杂多资源生产环境中是否具备良好的可扩展性？
• RQ5 该方法在工业调度场景的实时仿真中泛化能力如何？

主要发现

• 所提出方法成功利用图神经网络建模了复杂的资源间关系。
• 与集中式方法相比，分布式强化学习智能体在动态生产环境中展现出更高的适应性。
• 该方法在复杂生产调度基准环境上表现出优异性能。
• 协同仿真框架实现了在真实条件下的高效数据收集。
• 初步结果证实该方法在多机器人和工业调度场景中的适用性与可扩展性。
• 图网络与分布式强化学习的结合实现了实时、灵活的调度优化。