[论文解读] What's Wrong with Deep Learning in Tree Search for Combinatorial Optimization

Maximilian Böther, Otto Kißig+4 more|arXiv (Cornell University)|Jan 25, 2022

Advanced Graph Neural Networks被引用 10

一句话总结

本文批判性地评估了深度学习在组合优化树搜索中的应用，特别是针对最大独立集问题。通过改进代码质量，重新实现具有影响力的Intel-TreeSearch算法，发现其图神经网络（GNN）并未学习到有意义的解表示——即使将GNN输出替换为随机值，性能仍相近。关键发现是，算法技术（如图核化）而非深度学习才是决定解质量的关键，这削弱了先前基于深度学习求解器的可复现性和宣称的有效性。

ABSTRACT

Combinatorial optimization lies at the core of many real-world problems. Especially since the rise of graph neural networks (GNNs), the deep learning community has been developing solvers that derive solutions to NP-hard problems by learning the problem-specific solution structure. However, reproducing the results of these publications proves to be difficult. We make three contributions. First, we present an open-source benchmark suite for the NP-hard Maximum Independent Set problem, in both its weighted and unweighted variants. The suite offers a unified interface to various state-of-the-art traditional and machine learning-based solvers. Second, using our benchmark suite, we conduct an in-depth analysis of the popular guided tree search algorithm by Li et al. [NeurIPS 2018], testing various configurations on small and large synthetic and real-world graphs. By re-implementing their algorithm with a focus on code quality and extensibility, we show that the graph convolution network used in the tree search does not learn a meaningful representation of the solution structure, and can in fact be replaced by random values. Instead, the tree search relies on algorithmic techniques like graph kernelization to find good solutions. Thus, the results from the original publication are not reproducible. Third, we extend the analysis to compare the tree search implementations to other solvers, showing that the classical algorithmic solvers often are faster, while providing solutions of similar quality. Additionally, we analyze a recent solver based on reinforcement learning and observe that for this solver, the GNN is responsible for the competitive solution quality.

研究动机与目标

• 通过提供标准化基准套件，解决深度学习在组合优化中面临的可复现性危机。
• 严格评估在引导式树搜索中GNN是否真正提升了解质量，还是性能源于算法组件。
• 在NP难问题上，比较基于机器学习的求解器与经典算法求解器在速度和解质量方面的表现。
• 评估近期强化学习方法是否具备竞争力，以及GNN是否对其成功至关重要。
• 为未来最大独立集问题求解器的公平、可扩展且可复现的评估奠定基础。

提出的方法

• 开发了一个开源、可扩展的基准套件，支持五种最先进求解器：Intel-TreeSearch、Gurobi、KaMIS、Learning What To Defer，以及基于PyTorch/DGL的Intel-TreeSearch重新实现（DGL-TreeSearch）。
• 以清晰、模块化且高性能的代码重新实现Intel-TreeSearch算法，确保可复现性，并支持系统的消融研究。
• 通过将GNN输出替换为随机值，开展详尽的消融实验，以检验网络是否对解质量有实质性贡献。
• 在树搜索框架中应用图核化及其他算法优化，以隔离其对性能的影响，排除深度学习组件的干扰。
• 在多样化的真实世界与合成图数据集上，比较基于机器学习的求解器与经典求解器（Gurobi、KaMIS）的性能表现。
• 评估基于强化学习的求解器（Learning What To Defer），以确定GNN是否对其竞争力表现至关重要。

实验结果

研究问题

• RQ1 Intel-TreeSearch算法中的图神经网络是否学习到了最大独立集问题解结构的有意义表示？
• RQ2 当用随机值替换GNN输出时，引导式树搜索的性能是否仍可复现，表明网络并非必要？
• RQ3 与树搜索中的深度学习组件相比，图核化等算法技术在解质量方面贡献有多大？
• RQ4 在相同基准图上，经典算法求解器（如Gurobi、KaMIS）在速度和解质量方面与基于深度学习的树搜索方法相比如何？
• RQ5 近期基于强化学习的组合优化求解器的成功，是源于GNN组件，还是其他因素更为关键？

主要发现

• Intel-TreeSearch算法中的GNN并未学习到解结构的有意义表示，因为将GNN输出替换为随机值后，解质量几乎不变。
• 树搜索性能的主要驱动力是图核化及其他算法优化，而非深度学习组件。
• 由于依赖不可复现的超参数和实现缺陷，Intel-TreeSearch原始论文的结果在原始代码或重新实现代码下均无法复现。
• 当未应用核化时，经典求解器（如Gurobi和KaMIS）在速度和解质量方面均优于基于深度学习的树搜索方法。
• 基于强化学习的求解器Learning What To Defer能够快速获得具有竞争力的结果，且其GNN对性能至关重要，表明GNN在特定学习框架中仍具有效性。
• 该基准套件实现了对最大独立集问题未来求解器在多样化图类型上的公平、可复现且可扩展的评估。