[论文解读] Revised Note on Learning Algorithms for Quadratic Assignment with Graph Neural Networks

Alex Nowak, Soledad Villar+2 more|arXiv (Cornell University)|Jun 22, 2017

Data Mining Algorithms and Applications被引用 16

一句话总结

本文提出一种基于数据驱动的方法，利用图神经网络（GNN）学习求解NP难的二次分配问题（QAP）的算法，表明即使在计算预算较低的情况下，GNN在随机图模型上的表现也优于传统的基于松弛的方法（如半定规划（SDP）和LowRankAlign），显示出在平均情况下的更好准确率-复杂度权衡。

ABSTRACT

Inverse problems correspond to a certain type of optimization problems formulated over appropriate input distributions. Recently, there has been a growing interest in understanding the computational hardness of these optimization problems, not only in the worst case, but in an average-complexity sense under this same input distribution. In this revised note, we are interested in studying another aspect of hardness, related to the ability to learn how to solve a problem by simply observing a collection of previously solved instances. These 'planted solutions' are used to supervise the training of an appropriate predictive model that parametrizes a broad class of algorithms, with the hope that the resulting model will provide good accuracy-complexity tradeoffs in the average sense. We illustrate this setup on the Quadratic Assignment Problem, a fundamental problem in Network Science. We observe that data-driven models based on Graph Neural Networks offer intriguingly good performance, even in regimes where standard relaxation based techniques appear to suffer.

研究动机与目标

• 探究基于GNN的数据驱动学习是否能在平均情况设置下有效求解二次分配问题（QAP）。
• 评估GNN在特定输入分布下生成的QAP实例上，相对于已建立的基于松弛的方法（如SDP、谱方法）的性能。
• 通过研究简化GNN架构的优化景观，分析QAP的可学习难度。
• 理解在分布假设下，GNN是否能够学习到匹配或超越已知QAP计算阈值的算法。
• 探索在较小实例上训练的基于GNN的求解器在应用于更大、未见过的输入时的泛化能力与可扩展性。

提出的方法

• 将问题表述为基于图的优化：在X为置换矩阵的约束下，最大化trace(AXBX^T)。
• 采用包含20层、每层20个特征图的GNN架构，初始值使用节点度或2跳度嵌入。
• 通过随机梯度下降进行训练，以最小化20,000个QAP实例数据集上预测解与植入（真实）解之间的经验损失。
• GNN在图算子（邻接矩阵和拉普拉斯矩阵）的线性组合与逐点非线性变换之间交替，以建模非线性消息传递。
• 实验在两种图模型上进行：带有植入同构的Erdős–Rényi随机图和扰动正则图。
• 在对齐准确率和计算成本方面，将GNN的性能与SDP松弛（来自[33]）和LowRankAlign（来自[9]）进行比较。

实验结果

研究问题

• RQ1 GNN能否学习到有效的QAP求解算法，并泛化到来自相同输入分布的新实例？
• RQ2 在准确率和计算效率方面，基于GNN的求解器与传统基于松弛的方法（如SDP、谱对齐）相比表现如何？
• RQ3 GNN架构的优化景观在多大程度上受到控制QAP统计和计算阈值的相同测度集中现象的影响？
• RQ4 GNN能否在对称或难以对齐的图结构中学习到接近理论统计和计算阈值的解，特别是在此类结构中？
• RQ5 GNN泛化到更大输入的能力是否依赖于训练分布的大小？此类泛化的局限性是什么？

主要发现

• 在带有植入同构的Erdős–Rényi随机图上，基于GNN的方法在对齐准确率上优于SDP松弛和LowRankAlign。
• 在已知更具对称性和挑战性的扰动正则图上，GNN成功提取了稳定且独特的特征，并在性能上优于不可训练的基线方法。
• 即使在计算预算较低的情况下，GNN模型也表现出色，表明在平均情况设置下具有有利的准确率-复杂度权衡。
• 优化景观分析表明，GNN的景观复杂度受与控制QAP统计难度相同的测度集中现象支配。
• 结果表明，GNN可能能够学习接近最优阈值的算法，但在具有多个社区或高度对称性的问题上，性能差距依然存在。
• 本研究强调，基于小实例训练的GNN可能无法很好地泛化到更大输入，提示需要非渐近泛化界。