[论文解读] Self-Improvement for Neural Combinatorial Optimization: Sample without Replacement, but Improvement

Jonathan Pirnay, Dominik G. Grimm|arXiv (Cornell University)|Mar 22, 2024

Neural Networks and Applications被引用 4

一句话总结

本文提出 Gumbeldore（GD），一种用于神经组合优化的自提升框架，通过在多轮训练中监督模仿当前策略采样得到的最佳解，实现模型训练。通过结合批量随机束搜索、基于优势的策略更新以及核采样，GD 在 TSP、CVRP 和尤其是 JSSP 上实现了最先进性能，且无需强化学习或专家轨迹。

ABSTRACT

Current methods for end-to-end constructive neural combinatorial optimization usually train a policy using behavior cloning from expert solutions or policy gradient methods from reinforcement learning. While behavior cloning is straightforward, it requires expensive expert solutions, and policy gradient methods are often computationally demanding and complex to fine-tune. In this work, we bridge the two and simplify the training process by sampling multiple solutions for random instances using the current model in each epoch and then selecting the best solution as an expert trajectory for supervised imitation learning. To achieve progressively improving solutions with minimal sampling, we introduce a method that combines round-wise Stochastic Beam Search with an update strategy derived from a provable policy improvement. This strategy refines the policy between rounds by utilizing the advantage of the sampled sequences with almost no computational overhead. We evaluate our approach on the Traveling Salesman Problem and the Capacitated Vehicle Routing Problem. The models trained with our method achieve comparable performance and generalization to those trained with expert data. Additionally, we apply our method to the Job Shop Scheduling Problem using a transformer-based architecture and outperform existing state-of-the-art methods by a wide margin.

研究动机与目标

• 解决策略梯度方法在神经组合优化中计算成本高和训练不稳定的难题。
• 通过从模型生成轨迹中实现自监督训练，减少对精确求解器提供的昂贵专家解的依赖。
• 通过避免重复并利用基于轮次的束搜索与基于优势的更新提升多样性，提高解搜索的采样效率。
• 通过避免复杂强化学习微调，实现大规模架构（如 Transformer）中的强泛化能力。
• 证明基于迭代自模仿的简单、问题无关训练循环可达到或超越专家监督与强化学习方法的性能。

提出的方法

• 在每轮训练中，使用当前策略对每个实例采样多个解，束宽 k=32，进行四轮批量随机束搜索。
• 从每个实例的采样解集中选择表现最佳的解作为监督学习的伪专家轨迹。
• 采用可证明的策略改进策略更新策略，根据其估计优势（目标值偏差）调整序列概率。
• 引入随轮次递增的动态核采样策略，以平衡探索与利用。
• 在多轮中维护一个搜索树，避免有放回采样，提升多样性与收敛性。
• 将方法应用于基于 Transformer 的架构，用于 JSSP，采用作业与机器级别的注意力机制及 ALiBi 位置编码。

实验结果

研究问题

• RQ1 仅使用模型生成解的自模仿循环是否能在神经组合优化中实现与专家监督训练相当的性能？
• RQ2 如何通过最小化冗余与重复解，在自提升训练中最大化采样效率？
• RQ3 基于监督模仿的简单、问题无关训练方案在大规模问题中，能否显著优于复杂的策略梯度方法？
• RQ4 随机束搜索与基于优势的策略更新相结合，是否能以极低计算开销显著提升解的质量？
• RQ5 所提出方法是否能实现大规模 Transformer 架构中的强泛化能力，而这些架构通常因策略梯度方法计算不可行而难以训练？

主要发现

• Gumbeldore 在 TSP 和 CVRP 上实现了与专家监督训练相当的性能，即使完全无法访问精确求解器的解。
• 在作业车间调度问题（JSSP）上，该方法显著超越现有最先进方法，展现出强大的泛化能力与可扩展性。
• 基于优势的更新与动态核采样显著提升了采样效率，减少了对大量样本的需求。
• 该方法使无需强化学习即可训练大规模 Transformer 模型用于 JSSP，克服了策略梯度微调在计算上的不可行性。
• 结合束搜索与渐进式策略更新的自模仿循环，在训练轮次中实现了持续且可量化的性能提升。
• 该方法具有问题无关性，在 TSP、CVRP 和 JSSP 等多样化组合优化问题中均表现有效，且仅需极少的架构或超参数调优。