[论文解读] Scalable Multi-Agent Reinforcement Learning for Warehouse Logistics with Robotic and Human Co-Workers

Aleksandar Krnjaic, Steleac, Raul D.+9 more|arXiv (Cornell University)|Dec 22, 2022

Advanced Manufacturing and Logistics Optimization被引用 8

一句话总结

该论文提出了一种用于仓库物流的分层多智能体强化学习（MARL）框架，其中中央管理者将任务分配给机器人和人工智能体，以优化订单拣选性能。通过在管理者-工作者层级结构中分解大规模动作空间，该方法在多种仓库配置下实现了显著更高的拣选率——相比行业启发式方法最高提升41.3%，同时保持了样本效率和可扩展性。

ABSTRACT

We consider a warehouse in which dozens of mobile robots and human pickers work together to collect and deliver items within the warehouse. The fundamental problem we tackle, called the order-picking problem, is how these worker agents must coordinate their movement and actions in the warehouse to maximise performance in this task. Established industry methods using heuristic approaches require large engineering efforts to optimise for innately variable warehouse configurations. In contrast, multi-agent reinforcement learning (MARL) can be flexibly applied to diverse warehouse configurations (e.g. size, layout, number/types of workers, item replenishment frequency), and different types of order-picking paradigms (e.g. Goods-to-Person and Person-to-Goods), as the agents can learn how to cooperate optimally through experience. We develop hierarchical MARL algorithms in which a manager agent assigns goals to worker agents, and the policies of the manager and workers are co-trained toward maximising a global objective (e.g. pick rate). Our hierarchical algorithms achieve significant gains in sample efficiency over baseline MARL algorithms and overall pick rates over multiple established industry heuristics in a diverse set of warehouse configurations and different order-picking paradigms.

研究动机与目标

• 开发一种可扩展的、通用的MARL解决方案，用于混合使用机器人和人工的仓库订单拣选。
• 降低传统启发式方法在适应可变仓库布局、规模和运营约束时所需的高昂工程投入。
• 通过分层策略分解，在复杂、动态的仓库环境中提升样本效率和整体拣选率。
• 在多种仓库配置下超越既有的行业启发式方法（PDM和FM），同时保持对不同优化目标的灵活性。
• 实现自动策略学习，使其能够适应仓库条件的变化而无需人工重新设计。

提出的方法

• 设计一种分层MARL架构，由中央管理者为工作者智能体（拣选员和AGV）分配目标，从而降低联合动作空间的复杂度。
• 端到端联合训练管理者与工作者策略，使用全局奖励信号（如拣选率）以最大化整体系统性能。
• 在三种成熟的MARL算法基础上集成该分层框架：独立演员评论家（IAC）、共享网络演员评论家（SNAC）和共享经验演员评论家（SEAC）。
• 使用高保真、仿真优化的环境来模拟真实仓库动态，包括物品补货、智能体移动和订单完成。
• 将仓库空间划分为大小相等的区域（Y），以指导目标分配，提升训练稳定性和可扩展性。
• 使用深度强化学习结合经验回放和目标网络进行策略训练，以每小时订单行数为主要优化指标。

实验结果

研究问题

• RQ1 与非分层MARL基线相比，分层MARL方法是否能在复杂多智能体仓库物流中显著提升样本效率和整体拣选率？
• RQ2 在多种仓库配置（如小型、中型、大型和分离布局）下，分层MARL在多大程度上优于既有的行业启发式方法（PDM和FM）？
• RQ3 动作空间的分层分解在混合机器人与人工团队中如何影响性能、行驶距离和空闲时间之间的权衡？
• RQ4 所提出方法是否能在不重新训练的情况下泛化到不同仓库规模、智能体数量和物品分布模式？
• RQ5 所学策略是否存在未预期的后果，例如行驶距离增加或空闲时间减少，这些后果如何影响运营成本和员工福祉？

主要发现

• 分层MARL算法（HIAC、HSNAC、HSEAC）在所有测试的仓库配置中均持续优于非分层MARL基线（IAC、SNAC、SEAC）和行业启发式方法（PDM和FM）。
• 在分离布局中，HSEAC的拣选率比FM启发式方法高出41.3%，比PDM高出18.6%，表明其在复杂布局中具有强大的泛化能力。
• 在大型布局中，HSEAC比FM高出11.4%，比PDM高出22.0%，凸显了该分层方法在高复杂度场景下的可扩展性。
• 分层算法收敛速度显著快于其非分层对应方法，尤其是在更大、更复杂的环境中，表明样本效率得到提升。
• 尽管拣选率大幅提升，但所学策略也增加了总行驶距离并减少了拣选员的空闲时间，提示在维护成本和员工福祉方面可能存在权衡。
• 在小型布局中，由于任务难度较低，IAC的性能与分层方法相当（差异在2.2%以内），表明分层优势主要体现在复杂场景中。