[论文解读] Optimizing over trained GNNs via symmetry breaking

Shiqiang Zhang, Juan S Campos Salazar+6 more|arXiv (Cornell University)|May 16, 2023

Machine Learning in Materials Science被引用 6

一句话总结

本文提出对称性破缺约束，通过消除阻碍分支定界求解器的同构图表示，以优化训练好的图神经网络（GNN）。通过基于邻居集合字典序对节点进行索引并固定一个节点，该方法确保了可行解的存在，同时大幅减少解空间，在分子设计任务中，MIP性能提升了50%至90%。

ABSTRACT

Optimization over trained machine learning models has applications including: verification, minimizing neural acquisition functions, and integrating a trained surrogate into a larger decision-making problem. This paper formulates and solves optimization problems constrained by trained graph neural networks (GNNs). To circumvent the symmetry issue caused by graph isomorphism, we propose two types of symmetry-breaking constraints: one indexing a node 0 and one indexing the remaining nodes by lexicographically ordering their neighbor sets. To guarantee that adding these constraints will not remove all symmetric solutions, we construct a graph indexing algorithm and prove that the resulting graph indexing satisfies the proposed symmetry-breaking constraints. For the classical GNN architectures considered in this paper, optimizing over a GNN with a fixed graph is equivalent to optimizing over a dense neural network. Thus, we study the case where the input graph is not fixed, implying that each edge is a decision variable, and develop two mixed-integer optimization formulations. To test our symmetry-breaking strategies and optimization formulations, we consider an application in molecular design.

研究动机与目标

• 解决由于图同构导致GNN优化中对称性的问题，该问题会扩大搜索空间并减缓收敛速度。
• 开发一种通用框架，利用混合整数规划（MIP）对训练好的GNN进行优化，适用于多种GNN架构。
• 确保对称性破缺约束不会消除所有可行解，通过构建具有理论保证的图索引算法来实现。
• 通过将基于GNN的优化问题表述为MIP，实现机器学习中的逆问题，如分子设计。
• 在真实世界分子数据集上，对比两种MIP公式——双线性和大M（big-M）——以评估性能与可扩展性。

提出的方法

• 提出两类对称性破缺约束：(1) 固定特定节点为索引0；(2) 通过字典序对邻居集合进行排序以打破同构性。
• 设计一种图索引算法，为任意无向图中的节点分配唯一索引，确保在所提约束下保持可行性。
• 证明所得到的索引满足对称性破缺约束，并保留每个同构类的至少一个代表。
• 使用优化与机器学习工具包（OMLT）将GNN层转换为MIP兼容约束，实现与标准MIP求解器的集成。
• 为GNN优化设计两种MIP公式——双线性和大M（big-M）——其中前者更紧致且更具可扩展性。
• 将对称性破缺约束集成到MIP公式中，以减少对称解的数量，加速分支定界搜索。

实验结果

研究问题

• RQ1 能否系统性地将对称性破缺约束应用于GNN优化，以减少解空间而不损失可行解？
• RQ2 节点索引与邻居集合的字典序排序在消除GNN优化中的对称解方面有多有效？
• RQ3 对称性破缺对优化训练好的GNN时MIP求解器的性能有何影响？
• RQ4 在分子设计问题中，双线性与大M（big-M）MIP公式在解质量、收敛速度和可扩展性方面如何比较？
• RQ5 所提出的框架能否泛化至不同GNN架构，并应用于真实世界的逆问题，如分子设计？

主要发现

• 所提出的对称性破缺约束减少了对称解的数量，在QM9和ZINC数据集上使MIP求解时间平均提升50%至90%。
• 双线性公式在解质量与计算效率方面优于大M（big-M）公式，尤其在较大图上表现更优。
• 在QM9数据集上，添加对称性破缺约束（BrS）后，8节点图的平均MIP时间从21,431秒降至5,251秒，降幅达80%。
• 图索引算法保证了每个同构类中至少存在一个可行解，确保不会丢失最优解。
• 在ZINC数据集上，双线性+BrS公式平均耗时131秒（Q1: 115秒，Q3: 167秒），显著优于大M+BrS（平均94秒，但方差更高）。
• 该方法具有良好的可扩展性：在QM9的8节点图上，双线性+BrS公式将平均时间从22,300秒降至4,587秒，提升达79%。