[论文解读] Online 3D Bin Packing with Constrained Deep Reinforcement Learning

Hang Zhao, Qijin She+3 more|arXiv (Cornell University)|Jun 26, 2020

Optimization and Packing Problems参考文献 51被引用 13

一句话总结

本文提出一种约束型深度强化学习（DRL）方法，用于在实时约束下进行在线3D bin packing，其中物品必须在到达时立即打包且不可重新调整。该方法采用预测与投影方案，在训练过程中施加可行性掩码，从而实现对稳定、顺序依赖打包策略的高效学习，在初步测试中表现优于当前最先进方法并达到人类水平性能。

ABSTRACT

We solve a challenging yet practically useful variant of 3D Bin Packing Problem (3D-BPP). In our problem, the agent has limited information about the items to be packed into the bin, and an item must be packed immediately after its arrival without buffering or readjusting. The item's placement also subjects to the constraints of collision avoidance and physical stability. We formulate this online 3D-BPP as a constrained Markov decision process. To solve the problem, we propose an effective and easy-to-implement constrained deep reinforcement learning (DRL) method under the actor-critic framework. In particular, we introduce a feasibility predictor to predict the feasibility mask for the placement actions and use it to modulate the action probabilities output by the actor during training. Such supervisions and transformations to DRL facilitate the agent to learn feasible policies efficiently. Our method can also be generalized e.g., with the ability to handle lookahead or items with different orientations. We have conducted extensive evaluation showing that the learned policy significantly outperforms the state-of-the-art methods. A user study suggests that our method attains a human-level performance.

研究动机与目标

• 解决实际的在线3D bin packing挑战，其中物品按顺序到达，必须立即打包，不允许缓冲或重新调整。
• 将物理稳定性和顺序依赖约束整合到打包过程中，反映现实世界物流与机器人应用的实际需求。
• 开发一种深度强化学习框架，学习在有限前瞻和严格实时约束下的可行且稳定的打包策略。
• 在基准数据集上，实现优于现有启发式与学习型方法的空间利用率和打包效率。
• 通过用户研究评估该方法与人类直觉的性能对比，证明其达到接近人类或更优的表现。

提出的方法

• 将问题建模为约束型马尔可夫决策过程（CMDP），以捕捉顺序依赖性和物理稳定性约束。
• 提出一种预测与投影方案：智能体首先将可行性掩码预测作为辅助任务。
• 利用预测的掩码在训练期间对动作网络的概率进行投影和调制，从而仅允许可行动作。
• 采用高度图表示法编码3D打包状态，并通过蒙特卡洛树搜索（MCTS）支持多箱和前瞻物品处理。
• 通过将动作空间扩大一倍并学习面向方向的策略，将方法扩展至处理物品旋转。
• 在基于策略优化的在线策略演员-评论家框架下训练DRL智能体，以确保稳定性和可行性。

实验结果

研究问题

• RQ1 深度强化学习智能体是否能在前瞻有限且不可重新调整的在线环境中高效打包3D物品？
• RQ2 所提出的预测与投影方案在训练过程中对物理稳定性和顺序依赖约束的强制效果如何？
• RQ3 该方法在空间利用率和打包物品数量方面是否优于现有启发式与学习型方法？
• RQ4 所学习的策略是否能在现实打包任务中实现与人类直觉相当或更优的性能？
• RQ5 该方法在不修改网络架构的前提下，对多箱打包和物品旋转的泛化能力如何？

主要发现

• 在真实机器人测试中，该方法实现了66.3%的平均空间利用率，显著优于边界规则基线（39.2%）和在线BPH（43.2%）。
• 在RS基准测试中，该方法实现了50.5%的空间利用率，平均打包12.2件物品，优于最佳基线（BPH）3.5件和15.1个百分点的空间利用率。
• 在CUT-1和CUT-2基准测试中，该方法分别实现了73.4%和66.9%的空间利用率，优于CUT-1上的离线LBP方法，并在CUT-2上接近其性能。
• 在包含1,851场游戏的用户研究中，AI赢得1,339场（胜率72.3%），平均空间利用率达68.9%，而人类玩家为52.1%。
• 允许物品旋转使RS数据集上的空间利用率提升11.6%，平均打包物品数增加3件，证明了该方法对形状变化的鲁棒性。