[论文解读] Neural Combinatorial Optimization: a New Player in the Field

Andoni I. Garmendia, Josu Ceberio+1 more|arXiv (Cornell University)|May 3, 2022

Metaheuristic Optimization Algorithms Research被引用 8

一句话总结

本文提出一种带有注意力机制的图神经网络（GNN），用于线性排序问题（LOP）的端到端神经组合优化（NCO），LOP是经典的NP难问题。该模型通过学习节点表征，逐步预测下一个要放置的项目来构建解，在性能上与精确算法和元启发式方法相当，同时突出了在数据需求、可迁移性和可扩展性方面的挑战。

ABSTRACT

Neural Combinatorial Optimization attempts to learn good heuristics for solving a set of problems using Neural Network models and Reinforcement Learning. Recently, its good performance has encouraged many practitioners to develop neural architectures for a wide variety of combinatorial problems. However, the incorporation of such algorithms in the conventional optimization framework has raised many questions related to their performance and the experimental comparison with other methods such as exact algorithms, heuristics and metaheuristics. This paper presents a critical analysis on the incorporation of algorithms based on neural networks into the classical combinatorial optimization framework. Subsequently, a comprehensive study is carried out to analyse the fundamental aspects of such algorithms, including performance, transferability, computational cost and generalization to larger-sized instances. To that end, we select the Linear Ordering Problem as a case of study, an NP-hard problem, and develop a Neural Combinatorial Optimization model to optimize it. Finally, we discuss how the analysed aspects apply to a general learning framework, and suggest new directions for future work in the area of Neural Combinatorial Optimization algorithms.

研究动机与目标

• 批判性评估神经组合优化（NCO）模型在经典组合优化框架中的集成。
• 研究端到端NCO模型在代表性NP难问题上的性能、可迁移性、计算成本和泛化能力。
• 开发并评估一种基于GNN的NCO模型用于线性排序问题（LOP），作为案例研究。
• 为NCO方法与传统精确算法和元启发式算法之间的严格比较提供指导。
• 探索将NCO模型作为元启发式框架中的低层级决策模块，以提高搜索效率的潜力。

提出的方法

• 使用带有注意力机制的图神经网络（GNN）对问题实例进行编码，学习捕捉结构信息和与目标相关的信息的节点表征。
• 在解构建的每一步，模型生成候选项目上的概率分布，以指导选择下一个要放置的项目。
• 训练过程采用强化学习，基于最终解的目标函数值来优化策略网络。
• 模型在多样化的问题实例上进行训练，包括随机生成的实例和可能具有问题特异性的实例，以评估数据依赖性。
• 在LOP基准实例上，将性能与精确求解器、经典构造启发式算法以及两种最先进的元启发式算法进行对比评估。
• 通过在训练时未使用的更大规模实例上评估模型，测试其可迁移性和泛化能力，以评估可扩展性和鲁棒性。

实验结果

研究问题

• RQ1 所提出的NCO模型在LOP上的性能与精确求解器和最先进的元启发式算法相比如何？
• RQ2 训练数据的数量和多样性对模型在未见实例上的泛化和可迁移性有何影响？
• RQ3 端到端NCO模型的训练和推理计算成本如何，尤其是在更大问题规模下？
• RQ4 当在小规模实例上训练时，NCO模型能否有效泛化到更大规模实例？其局限性是什么？
• RQ5 NCO模型在多大程度上可作为传统元启发式框架中的智能可学习组件，以提高搜索效率？

主要发现

• 所提出的NCO模型在解的质量上表现具有竞争力，在LOP基准上优于经典构造启发式算法，并接近最先进的元启发式算法的性能。
• 模型性能高度依赖于训练实例的数量和多样性，有效学习需要数千个实例。
• 当缺乏特定问题的数据时，随机实例生成器可作为可行的基线进行训练，特别是当结合主动搜索技术以适应目标实例时。
• 模型在更大规模实例上的泛化能力有限，表明需要在更大规模数据上训练或对网络架构进行修改，以实现可扩展性。
• NCO模型在轨迹式元启发式框架（如局部搜索）中作为低层级决策模块展现出强大潜力，可更高效地引导邻域探索。
• 本研究指出，需要建立标准化基准和严格的评估协议，以公平比较NCO方法与传统优化算法。