[论文解读] POMO: Policy Optimization with Multiple Optima for Reinforcement Learning

Yeong‐Dae Kwon, Jinho Choo+4 more|arXiv (Cornell University)|Oct 30, 2020

Reinforcement Learning in Robotics参考文献 29被引用 135

一句话总结

POMO 通过探索多个起始点并使用共享基线来训练一个用于组合优化的增强学习求解器，在 TSP、CVRP 和 KP 上取得了最先进的结果，并且推断速度更快。

ABSTRACT

In neural combinatorial optimization (CO), reinforcement learning (RL) can turn a deep neural net into a fast, powerful heuristic solver of NP-hard problems. This approach has a great potential in practical applications because it allows near-optimal solutions to be found without expert guides armed with substantial domain knowledge. We introduce Policy Optimization with Multiple Optima (POMO), an end-to-end approach for building such a heuristic solver. POMO is applicable to a wide range of CO problems. It is designed to exploit the symmetries in the representation of a CO solution. POMO uses a modified REINFORCE algorithm that forces diverse rollouts towards all optimal solutions. Empirically, the low-variance baseline of POMO makes RL training fast and stable, and it is more resistant to local minima compared to previous approaches. We also introduce a new augmentation-based inference method, which accompanies POMO nicely. We demonstrate the effectiveness of POMO by solving three popular NP-hard problems, namely, traveling salesman (TSP), capacitated vehicle routing (CVRP), and 0-1 knapsack (KP). For all three, our solver based on POMO shows a significant improvement in performance over all recent learned heuristics. In particular, we achieve the optimality gap of 0.14% with TSP100 while reducing inference time by more than an order of magnitude.

研究动机与目标

• 在强化学习用于组合优化（CO）中识别对称性和多重最优解。
• 开发一种利用多种最优表示来改善探索性和稳定性的训练方法。
• 提出一种高效的推断方法，利用多次贪婪滚动和实例增强。
• 在三个 NP-hard 问题（TSP、CVRP、KP）上展示 POMO，在间隙和速度方面优于先前的神经 RL 方法。

提出的方法

• 为每个实例指定 N 个不同的起始节点，以并行生成多条解的 rollout。
• 使用一个共享基线 b_shared(s)，其值作为 N 条轨迹的平均回报来计算，以降低梯度方差并抵抗过早收敛。
• 结合多起点轨迹方案和共享基线对策略参数进行优化，应用 REINFORCE。
• 采用多贪婪轨迹推断方法，对来自不同起点的 N 条贪婪轨迹进行评估以选择最佳解。
• 在推断阶段通过应用问题变换（例如坐标旋转/变换）来进行实例增强，从而为同一实例生成额外的贪婪滚动。
• 证明与 Attention Model 策略网络的兼容性，并在网络解码器中实现并行 rollout 生成。

实验结果

研究问题

• RQ1 利用对称性和多重最优解是否能够改善 CO 问题的强化学习中的探索性和稳定性？
• RQ2 跨多条轨迹的共享基线是否比贪婪滚动基线更能降低梯度方差并缓解局部极小值？
• RQ3 多起点贪婪推断和实例增强如何影响 TSP、CVRP 和 KP 的解质量与推断时间？

主要发现

• POMO 在 TSP100 上使用多次贪婪滚动和增强，取得近似最优解，最优性差距仅为 0.14%，在质量与速度方面胜过先前的学习启发式方法。
• 使用多个起始节点和共享基线进行训练，在策略学习的稳定性和样本效率方面优于贪婪滚动基线，且对局部极小值的易感性更低。
• 在推断阶段，带实例增强的多起点贪婪滚动通常比单轨迹或纯采样方法产生更好的解，并且可以显著降低推断时间。
• POMO 在同一神经网络和训练程序下，在三个问题（TSP、CVRP、KP）上实现了具有竞争力或更优的性能，凸显了其问题无关的适用性。
• 该方法在推断阶段显示出显著的加速（如 TSP100），同时保持或提升相对于当代神经 RL 方法的解质量。