[论文解读] Neural Combinatorial Optimization with Heavy Decoder: Toward Large Scale Generalization

Fu Luo, Xi Lin+3 more|arXiv (Cornell University)|Oct 12, 2023

Vehicle Routing Optimization Methods被引用 20

一句话总结

引入 LEHD，一种 Light Encoder 和 Heavy Decoder 模型，通过在构建过程中动态更新节点关系，将神经组合优化推广到大规模 TSP 和 CVRP。使用数据高效的有监督方案进行训练，并在推理阶段通过 Random Re-Construct 改善解。

ABSTRACT

Neural combinatorial optimization (NCO) is a promising learning-based approach for solving challenging combinatorial optimization problems without specialized algorithm design by experts. However, most constructive NCO methods cannot solve problems with large-scale instance sizes, which significantly diminishes their usefulness for real-world applications. In this work, we propose a novel Light Encoder and Heavy Decoder (LEHD) model with a strong generalization ability to address this critical issue. The LEHD model can learn to dynamically capture the relationships between all available nodes of varying sizes, which is beneficial for model generalization to problems of various scales. Moreover, we develop a data-efficient training scheme and a flexible solution construction mechanism for the proposed LEHD model. By training on small-scale problem instances, the LEHD model can generate nearly optimal solutions for the Travelling Salesman Problem (TSP) and the Capacitated Vehicle Routing Problem (CVRP) with up to 1000 nodes, and also generalizes well to solve real-world TSPLib and CVRPLib problems. These results confirm our proposed LEHD model can significantly improve the state-of-the-art performance for constructive NCO. The code is available at https://github.com/CIAM-Group/NCO_code/tree/main/single_objective/LEHD.

研究动机与目标

• 解决现有构造式 NCO 模型在大规模问题上的泛化能力不足。
• 提出一个 LEHD 架构，在解的构建过程中动态建模节点关系。
• 通过部分解增广开发数据高效的有监督训练。
• 引入灵活的推理改进机制（Random Re-Construct）以提升解的质量。

提出的方法

• 提出一个 Light Encoder and Heavy Decoder (LEHD) 架构，其中轻量编码器只有一个注意力层，重解码器有 L 个注意力层。
• 在解码过程中，在每一步动态重新嵌入起始节点、目的节点以及可用节点，以捕捉与规模无关的关系。
• 通过一种有监督方案进行训练，该方案以随机大小和方向构造部分解（学习构建部分解）。
• 结合贪婪推理与 Random Re-Construct (RRC) 在预算内迭代改进解。
• 在 TSP 和 CVRP 上比较 LEHD 与经典求解器及多种 NCO 基线，覆盖规模最高至 1000 节点。

实验结果

研究问题

• RQ1 LEHD 是否能够在不进行特定问题定制的情况下，将小规模训练推广到大规模的 TSP/CVRP 实例（高达 1000 节点）？
• RQ2 动态的重解码器设计是否比重编码器设计在构造性 NCO 上带来更好的泛化性能？

主要发现

• 在大规模 TSP/CVRP 展现出鲁棒的泛化能力，能够在高达 1000 节点的情况下给出具有竞争力的间隙。
• 在 1000 RCC 迭代下，LEHD 在 TSP1000 上达到近似最优的间隙，在 CVRP1000 上在某些预算下达到小于 1% 的间隙。
• 在足够的 RCC 迭代下，LEHD 可以超越若干基于学习的基线，甚至在 CVRP2xx–CVRP5xx 上与 LKH3 相媲美。
• RRC 和部分解训练在性能上优于 POMO 或随机采样等方法。
• 消融实验显示，在大规模实例上的泛化能力，重解码器优于重编码器设计。