[论文解读] Solving Dynamic Graph Problems with Multi-Attention Deep Reinforcement Learning

Udesh Gunarathna, Renata Borovica‐Gajic+2 more|arXiv (Cornell University)|Jan 13, 2022

Vehicle Routing Optimization Methods被引用 7

一句话总结

该论文提出GTA-RL，一种多注意力深度强化学习架构，通过编码时间图特征并动态聚焦于这些特征，以解决TSP和VRP等动态图组合优化问题。该方法在性能上优于最先进学习基方法，并在动态和实时版本的NP难图问题中达到最优求解器的效率水平。

ABSTRACT

Graph problems such as traveling salesman problem, or finding minimal Steiner trees are widely studied and used in data engineering and computer science. Typically, in real-world applications, the features of the graph tend to change over time, thus, finding a solution to the problem becomes challenging. The dynamic version of many graph problems are the key for a plethora of real-world problems in transportation, telecommunication, and social networks. In recent years, using deep learning techniques to find heuristic solutions for NP-hard graph combinatorial problems has gained much interest as these learned heuristics can find near-optimal solutions efficiently. However, most of the existing methods for learning heuristics focus on static graph problems. The dynamic nature makes NP-hard graph problems much more challenging to learn, and the existing methods fail to find reasonable solutions. In this paper, we propose a novel architecture named Graph Temporal Attention with Reinforcement Learning (GTA-RL) to learn heuristic solutions for graph-based dynamic combinatorial optimization problems. The GTA-RL architecture consists of an encoder capable of embedding temporal features of a combinatorial problem instance and a decoder capable of dynamically focusing on the embedded features to find a solution to a given combinatorial problem instance. We then extend our architecture to learn heuristics for the real-time version of combinatorial optimization problems where all input features of a problem are not known a prior, but rather learned in real-time. Our experimental results against several state-of-the-art learning-based algorithms and optimal solvers demonstrate that our approach outperforms the state-of-the-art learning-based approaches in terms of effectiveness and optimal solvers in terms of efficiency on dynamic and real-time graph combinatorial optimization.

研究动机与目标

• 解决图属性（如边权重）随时间变化的动态图组合优化问题挑战。
• 克服现有深度强化学习方法仅关注静态图问题、在动态环境中失效的局限性。
• 开发一种无需手工规则或领域特定工程的通用、可扩展的启发式学习框架。
• 将模型扩展至实时场景，其中输入特征是逐步揭示的，而非事先已知。
• 展示模型在训练时未使用的大规模图实例（如50节点图）上的泛化能力。

提出的方法

• 设计一种基于多头自注意力的时间编码-解码架构，以在时间步上嵌入动态图特征。
• 采用策略梯度强化学习框架，训练模型在组合优化中做出序列决策。
• 引入一种贪心推理变体（GTA-RL-greedy），基于注意力分数选择动作，以提升解的质量。
• 开发一种实时变体（GTA-RL-rt），在新特征到达时缓冲过去状态并逐步更新模型。
• 在推理期间使用束搜索策略（束宽10），以提升解的稳定性和质量。
• 使用基于最终解质量（如环游长度）的稀疏奖励，通过强化学习端到端训练模型。

实验结果

研究问题

• RQ1 深度强化学习模型能否有效学习到在边权重或节点特征随时间演变的动态图组合优化问题中的启发式方法？
• RQ2 在动态TSP和VRP问题中，所提出的GTA-RL模型在解质量与效率方面，相较于最先进学习基方法和手工设计启发式方法表现如何？
• RQ3 训练好的模型在泛化能力方面能扩展到多大程度，即推广至比训练时使用的图实例更大（如50节点图）？
• RQ4 当输入特征在推理阶段并非完全可用且逐步揭示时，实时变体（GTA-RL-rt）的有效性如何？
• RQ5 与精确求解器相比，该模型是否能在保持计算效率的同时，在动态环境中实现近似最优性能？

主要发现

• GTA-RL在动态TSP和VRP问题上的解质量上优于最先进学习基基线方法和手工设计启发式方法。
• 在动态TSP50上，GTA-RL实现环游长度为8.17，仅与在50节点图上训练的模型相差3.6%，表现出强大的泛化能力。
• 在动态VRP50上，GTA-RL与在50节点图上训练的模型相比，环游长度差异为4.3%，表明其具有稳健的可扩展性。
• 实时变体GTA-RL-rt仅使用当前时间信息，其平均环游长度接近GTA-RL-greedy，尽管由于随机特征变化导致波动性更高。
• 可视化结果表明，GTA-RL-greedy生成的路径比注意力模型（AM）更连贯、更短，且与最优Gurobi解相比显著更接近。
• 该模型在动态环境中实现了近似最优性能，同时保持了高效率，其速度和可扩展性优于精确求解器。