[论文解读] ORL: Reinforcement Learning Benchmarks for Online Stochastic Optimization Problems

Bharathan Balaji, Jordan Bell-Masterson+8 more|arXiv (Cornell University)|Nov 24, 2019

Optimization and Search Problems参考文献 32被引用 22

一句话总结

本文提出了 ORL，一个用于在线随机优化问题强化学习的基准测试套件，涵盖装箱问题、报童问题和车辆路径问题。通过使用标准强化学习算法并进行最少的超参数调优及简单的神经网络，作者展示了训练出的策略在所有三个问题上均达到与现有基线相当或更优的性能，凸显了强化学习在现实世界动态资源分配中的巨大潜力。

ABSTRACT

Reinforcement Learning (RL) has achieved state-of-the-art results in domains such as robotics and games. We build on this previous work by applying RL algorithms to a selection of canonical online stochastic optimization problems with a range of practical applications: Bin Packing, Newsvendor, and Vehicle Routing. While there is a nascent literature that applies RL to these problems, there are no commonly accepted benchmarks which can be used to compare proposed approaches rigorously in terms of performance, scale, or generalizability. This paper aims to fill that gap. For each problem we apply both standard approaches as well as newer RL algorithms and analyze results. In each case, the performance of the trained RL policy is competitive with or superior to the corresponding baselines, while not requiring much in the way of domain knowledge. This highlights the potential of RL in real-world dynamic resource allocation problems.

研究动机与目标

• 为解决在线随机优化问题中强化学习方法缺乏标准化基准的问题。
• 建立一个公平且可复现的评估框架，用于在不同问题实例和规模下比较强化学习算法。
• 证明即插即用的强化学习算法可在无需大量领域特定工程优化的情况下，于典型动态资源分配问题上实现竞争性或更优的性能。
• 通过在 OpenAI Gym 和 RLlib 中开源环境，支持可配置的问题复杂度，为未来研究提供支持。
• 评估在复杂场景（如大规模车辆路径问题）下，策略在未见分布和问题规模上的泛化能力。

提出的方法

• 将每个问题——装箱问题、报童问题和车辆路径问题——形式化为具有状态、动作和奖励组件的马尔可夫决策过程（MDP）。
• 定义状态空间，包含物品尺寸、箱子装载水平以及车辆状态（如位置、载重、时间）；定义动作空间，包含装箱决策或路径选择。
• 在装箱问题和车辆路径问题中使用负增量浪费作为奖励信号，在报童问题中使用基于成本的奖励以反映过量或不足补货的惩罚。
• 所有环境均使用 OpenAI Gym 接口实现，并与 RLlib 集成，以支持可扩展的训练和超参数调优。
• 使用两层前馈神经网络训练标准深度强化学习算法（如 PPO、SAC），不进行任何问题特定的奖励工程或网络结构修改。
• 通过参数化问题复杂度（如箱子尺寸、物品类型数量、地图大小、订单数量），实现在不同规模和分布下的公平比较。

实验结果

研究问题

• RQ1 即插即用的深度强化学习算法是否可在无需领域特定奖励工程的情况下，于典型在线随机优化问题上实现竞争性或更优的性能？
• RQ2 强化学习策略在不同问题规模和输入分布下的泛化性能如何，特别是在未见过的场景中？
• RQ3 在动态环境下，强化学习策略在资源利用率和成本最小化方面，相对于传统启发式基线的性能优势有多大？
• RQ4 在大规模车辆路径等复杂环境中，训练时间与收敛行为如何随问题复杂度的增加而变化？
• RQ5 动作掩码和约束强制在受限优化任务中对提升策略可行性与性能方面起到何种作用？

主要发现

• 在装箱问题中，强化学习策略在所有三种分布类型（线性浪费、可完美装填、有界浪费）下均达到与基线相当或更优的性能，且仅需极少的超参数调优。
• 在报童问题中，强化学习策略在期望成本方面与经典最优策略相当或更优，尤其在需求具有未知分布的随机情况下表现突出。
• 在车辆路径问题中，强化学习策略在 5×5 和 8×8 地图场景下（含 5–10 个订单）优于基线 MIP 求解器，平均奖励更高（例如，5 个订单、2 个取货点时为 854.45 vs. 640.01），并在需求分布偏移时表现出一致的泛化能力。
• 强化学习智能体学会了避免接受高风险订单以规避惩罚，尤其在取货点数量增加时，订单漏送率随时间持续下降。
• 即使经过三天的训练，更大规模实例（如 8×8 地图、5 个订单）的策略仍在持续改进，表明更长的训练时间可进一步提升性能，且尚未出现过拟合现象。
• 在奖励函数中引入订单漏送惩罚显著影响了策略行为，尤其在复杂实例中性能差距更为明显，表明智能体已学会优先保障交付可靠性。