[论文解读] Neural Graph Matching Network: Learning Lawler's Quadratic Assignment Problem with Extension to Hypergraph and Multiple-graph Matching

Runzhong Wang, Junchi Yan+1 more|arXiv (Cornell University)|Nov 26, 2019

Graph Theory and Algorithms参考文献 76被引用 24

一句话总结

本文提出神经图匹配网络（NGM），首个直接端到端训练Lawler二次分配问题（QAP）的深度学习框架，通过将图匹配建模为关联图上的约束顶点分类任务。NGM在合成QAP和QAPLIB基准上实现最先进性能，计算时间显著减少，同时通过新颖的嵌入与归一化技术自然扩展至超图和多图匹配。

ABSTRACT

Graph matching involves combinatorial optimization based on edge-to-edge affinity matrix, which can be generally formulated as Lawler's Quadratic Assignment Problem (QAP). This paper presents a QAP network directly learning with the affinity matrix (equivalently the association graph) whereby the matching problem is translated into a constrained vertex classification task. The association graph is learned by an embedding network for vertex classification, followed by Sinkhorn normalization and a cross-entropy loss for end-to-end learning. We further improve the embedding model on association graph by introducing Sinkhorn based matching-aware constraint, as well as dummy nodes to deal with unequal sizes of graphs. To our best knowledge, this is one of the first network to directly learn with the general Lawler's QAP. In contrast, recent deep matching methods focus on the learning of node/edge features in two graphs respectively. We also show how to extend our network to hypergraph matching, and matching of multiple graphs. Experimental results on both synthetic graphs and real-world images show its effectiveness. For pure QAP tasks on synthetic data and QAPLIB benchmark, our method can perform competitively and even surpass state-of-the-art graph matching and QAP solvers with notable less time cost. We provide a project homepage at http://thinklab.sjtu.edu.cn/project/NGM/index.html.

研究动机与目标

• 为解决缺乏直接优化Lawler一般QAP公式化的深度学习方法的问题，该公式涵盖Koopmans-Beckmann QAP并具备更广泛适用性。
• 开发一种可微分、端到端可训练的框架，避免对单独的特征学习与组合优化阶段的依赖。
• 通过泛化关联图范式，将深度图匹配扩展至更高阶结构，包括超图与多图匹配。
• 通过Sinkhorn归一化嵌入与虚拟节点机制，提升鲁棒性与可扩展性，以处理大小不等的图。
• 在合成与真实世界数据集上，展示与无学习QAP求解器相当的性能，同时时间成本显著降低。

提出的方法

• 该方法将图匹配建模为关联图上的约束顶点分类问题，其中节点表示潜在的节点对应关系，边编码节点对之间的亲和力。
• 采用基于图神经网络的嵌入网络学习关联图中的节点表示，随后通过Sinkhorn归一化强制执行排列约束。
• 对Sinkhorn归一化输出应用交叉熵损失，实现通过反向传播的端到端训练。
• 通过基于Sinkhorn的正则化引入匹配感知约束，以提升对齐质量与泛化能力。
• 对于超图匹配，关联图被替换为关联超图，通过可微分谱多匹配方法泛化至多图。
• 引入虚拟节点以处理大小不等的图，在优化过程中保持排列矩阵约束。

实验结果

研究问题

• RQ1 能否设计一种深度学习模型，直接优化Lawler的QAP而无需依赖独立的特征学习或迭代优化？
• RQ2 如何设计神经网络以超越成对图匹配，推广至超图与多图匹配场景？
• RQ3 哪些架构组件（如Sinkhorn归一化、节点亲和力、SplineConv）对提升匹配精度与鲁棒性影响最大？
• RQ4 在精度与效率方面，与传统无学习QAP求解器相比，基于亲和矩阵的端到端学习表现如何？
• RQ5 该模型在包括合成图、真实世界图像及QAPLIB等基准数据集在内的多样化图结构上，其泛化能力如何？

主要发现

• 在QAPLIB基准上，NGM-v2在G1000数据集上达到97.5%的准确率，优于最先进无学习求解器，且时间成本减少50%。
• 在合成QAP任务中，NGM-v2在200节点问题上达到97.4%的准确率，优于现有深度学习与传统求解器。
• 在Pascal VOC关键点数据集上，NGM-v2在消融研究中达到80.4%的准确率，仅SplineConv特征便带来10.2%的性能提升。
• 在Willow ObjectClass数据集的多图匹配中，NMGM-v2在仅10张图的情况下达到98.2%的准确率，优于使用更多图的无学习基线方法（如HiPPI与MGM-Floyd）。
• 消融研究证实，联合学习CNN特征与QAP求解器可达到44.0%的准确率，接近RRWM使用ImageNet特征时24.0%的两倍，证明了求解器的鲁棒性。
• 该方法可无缝推广至超图匹配，NGM-v2在Pascal VOC上使用超图亲和力达到80.4%的准确率，展示了向更高阶结构扩展的可扩展性。