[论文解读] On Representing Linear Programs by Graph Neural Networks

Ziang Chen, Jialin Liu+3 more|arXiv (Cornell University)|Sep 25, 2022

Neural Networks and Applications被引用 9

一句话总结

本文建立了使用图神经网络（GNNs）表示和求解线性规划（LPs）的理论基础，证明了GNNs能够可靠地预测一大类LP的可行性、有界性以及最优解。通过利用Weisfeiler-Lehman同构性测试，作者构建了具有足够表达能力的GNN，能够区分不同LP实例并映射到正确输出，数值实验验证了其在可行性与解预测方面具有高准确度。

ABSTRACT

Learning to optimize is a rapidly growing area that aims to solve optimization problems or improve existing optimization algorithms using machine learning (ML). In particular, the graph neural network (GNN) is considered a suitable ML model for optimization problems whose variables and constraints are permutation--invariant, for example, the linear program (LP). While the literature has reported encouraging numerical results, this paper establishes the theoretical foundation of applying GNNs to solving LPs. Given any size limit of LPs, we construct a GNN that maps different LPs to different outputs. We show that properly built GNNs can reliably predict feasibility, boundedness, and an optimal solution for each LP in a broad class. Our proofs are based upon the recently--discovered connections between the Weisfeiler--Lehman isomorphism test and the GNN. To validate our results, we train a simple GNN and present its accuracy in mapping LPs to their feasibilities and solutions.

研究动机与目标

• 建立使用图神经网络（GNNs）表示和求解线性规划（LPs）的理论基础，解决学习优化（L2O）中的一个基本开放问题。
• 证明GNNs具备足够的表达能力，可区分不同LP实例，并将它们映射到正确输出，包括可行性、有界性及最优解。
• 通过实证实验验证理论结论，表明简单的GNN可在合成数据上准确预测关键LP属性与解。
• 弥合GNN-based优化模型中理论表达能力与实际性能之间的差距，尤其针对LP等排列不变性问题。

提出的方法

• 作者构建了一种将LP编码为双分图的GNN架构，其中变量和约束作为节点，约束作为边，保持排列不变性。
• 他们以Weisfeiler-Lehman（WL）同构性测试作为理论基础，证明GNNs能够区分对应于不同LP的非同构图结构。
• GNN采用多层消息传递机制，节点和边特征通过可学习的MLP进行更新，最终通过读出函数生成预测结果。
• 理论证明依赖于这样一个事实：当网络具有足够深度和宽度时，GNNs可近似任意可测的、排列不变的函数，适用于LP实例的可行性、有界性及最优解预测。
• 通过使用包含m=10个约束和n=50个变量的合成LP进行数值实验，生成稀疏A矩阵和随机系数，用于训练和评估GNN。
• GNN使用Adam优化器和均方误差损失进行训练，性能通过可行性、目标值和解准确度等指标在未见测试实例上的表现进行评估。

实验结果

研究问题

• RQ1 图神经网络（GNNs）在理论上能否表示和预测线性规划（LPs）的关键属性，如可行性与有界性？
• RQ2 GNNs在区分不同LP实例方面具有何种表达能力？能否可靠地将不同LP映射到不同输出？
• RQ3 当在有限数据集上进行训练时，GNN模型在预测最优解方面对未见LP实例的泛化能力如何？
• RQ4 基于Weisfeiler-Lehman同构性测试的GNN理论表达能力，在LP预测任务的实际性能中如何体现？

主要发现

• 理论分析证明，只要网络具有足够的宽度和深度，GNNs就能以高精度表示任意LP实例，并预测其可行性、有界性及最优解。
• 作者构建的GNN能够将不同LP映射到不同输出，证明GNNs可通过Weisfeiler-Lehman框架区分非同构的LP结构。
• 在数值实验中，当在2500个样本上进行训练时，GNN在训练集上的可行性预测误差为0%，测试集误差仅为17.5%，表现出强大的泛化能力。
• 在最优目标值预测方面，当在2500个样本上进行训练时，GNN在测试集上的相对误差为0.173，表明其回归性能良好。
• 在最优解预测方面，当在2500个训练样本上进行训练时，GNN在测试集上的相对误差为0.274，证实其能够近似复杂解映射。
• 结果表明，增加训练数据量可提升泛化性能，暗示更大的数据集可增强GNN对未见LP实例的泛化能力。