[论文解读] On Representing Mixed-Integer Linear Programs by Graph Neural Networks

Ziang Chen, Jialin Liu+3 more|arXiv (Cornell University)|Oct 19, 2022

Vehicle Routing Optimization Methods被引用 6

一句话总结

本文研究图神经网络（GNNs）在混合整数线性规划（MILPs）上的表征极限，证明标准GNN无法区分所有可行与不可行的MILP，这是由于其固有的表达能力限制。作者表明，通过将MILP限制为可展开实例或添加随机特征，GNN能够可靠地近似可行度、最优目标值和最优解，精度达到预定水平，该结论通过小规模数值实验得到验证。

ABSTRACT

While Mixed-integer linear programming (MILP) is NP-hard in general, practical MILP has received roughly 100--fold speedup in the past twenty years. Still, many classes of MILPs quickly become unsolvable as their sizes increase, motivating researchers to seek new acceleration techniques for MILPs. With deep learning, they have obtained strong empirical results, and many results were obtained by applying graph neural networks (GNNs) to making decisions in various stages of MILP solution processes. This work discovers a fundamental limitation: there exist feasible and infeasible MILPs that all GNNs will, however, treat equally, indicating GNN's lacking power to express general MILPs. Then, we show that, by restricting the MILPs to unfoldable ones or by adding random features, there exist GNNs that can reliably predict MILP feasibility, optimal objective values, and optimal solutions up to prescribed precision. We conducted small-scale numerical experiments to validate our theoretical findings.

研究动机与目标

• 研究图神经网络（GNNs）是否能够表征混合整数线性规划（MILPs）的关键属性，如可行性、最优目标值和最优解。
• 识别GNN在表达一般MILP时的根本局限性，特别是其无法区分某些可行与不可行实例的能力。
• 建立GNN能够有效近似MILP特征（包括可行度和最优解）的条件。
• 通过在MILP表征中使用GNN与随机特征或可展开结构的小规模数值实验，验证理论发现。

提出的方法

• 将MILPs建模为二分图或三分图，以利用GNN的排列不变性与表征能力。
• 使用Weisfeiler-Lehman（WL）测试作为GNN区分能力的理论基准，并将其与MILP实例的可区分性关联起来。
• 引入“可展开MILPs”概念——即其约束矩阵结构允许顺序处理的MILPs——使GNN能够有效表征此类实例。
• 提出向MILP实例添加随机特征以增强GNN的表达能力，确保不同MILP实例被映射到不同的嵌入表示。
• 理论分析证明，在可展开或添加随机特征的条件下，GNN能够以预定精度近似可行度、最优目标值和最优解。
• 通过在合成MILP数据集上使用多层感知机（MLPs）进行消息传递、采用Adam优化器和均方误差损失函数训练的GNN，开展小规模数值实验。

实验结果

研究问题

• RQ1 GNN能否可靠预测混合整数线性规划的可行性？
• RQ2 GNN能否以预定精度近似MILP的最优目标值？
• RQ3 在具备足够表征能力的前提下，GNN能否学习预测MILP的最优解？
• RQ4 对MILPs进行何种结构或特征层面的修改，可使GNN克服其固有的表征局限性？

主要发现

• 由于其分离能力受限于Weisfeiler-Lehman测试，标准GNN无法区分所有可行与不可行的MILP实例。
• 对于可展开MILPs——即具有特定顺序处理结构的MILPs——存在GNN能够以任意预定精度近似可行度、最优目标值和最优解。
• 向MILP实例添加随机特征可使GNN实现对可行度和最优解的可靠近似，即使在一般MILPs上亦成立。
• 数值实验表明，带有随机特征的GNN泛化能力良好：可行度的测试误差从10个训练样本时的0.289降至1000个样本时的0.022；最优目标值的误差从5.9e-3降至1.1e-6。
• 在最优解预测方面，使用1000个训练样本时，测试误差保持在0.21以下，表明在随机特征设置下具有强大的泛化能力。