[论文解读] Pointer Graph Networks

Petar Veličković, Lars Buesing+4 more|arXiv (Cornell University)|Jun 11, 2020

Advanced Graph Neural Networks被引用 16

一句话总结

指针图网络（PGNs）通过使节点能够相互指向，引入了一种可微分的、有监督的方法，用于学习动态的、稀疏的图结构，从而在静态输入图的基础上增加可学习的指针边。这使得PGNs能够建模复杂的、基于指针的数据结构，如不相交集合合并与链接/切割树，在动态图连通性任务中实现了5倍的分布外泛化能力，优于标准GNN和Deep Sets。

ABSTRACT

Graph neural networks (GNNs) are typically applied to static graphs that are assumed to be known upfront. This static input structure is often informed purely by insight of the machine learning practitioner, and might not be optimal for the actual task the GNN is solving. In absence of reliable domain expertise, one might resort to inferring the latent graph structure, which is often difficult due to the vast search space of possible graphs. Here we introduce Pointer Graph Networks (PGNs) which augment sets or graphs with additional inferred edges for improved model generalisation ability. PGNs allow each node to dynamically point to another node, followed by message passing over these pointers. The sparsity of this adaptable graph structure makes learning tractable while still being sufficiently expressive to simulate complex algorithms. Critically, the pointing mechanism is directly supervised to model long-term sequences of operations on classical data structures, incorporating useful structural inductive biases from theoretical computer science. Qualitatively, we demonstrate that PGNs can learn parallelisable variants of pointer-based data structures, namely disjoint set unions and link/cut trees. PGNs generalise out-of-distribution to 5x larger test inputs on dynamic graph connectivity tasks, outperforming unrestricted GNNs and Deep Sets.

研究动机与目标

• 通过使图拓扑结构实现动态的、数据驱动的学习，以解决GNN中静态图结构的局限性。
• 通过融入经典数据结构中的归纳偏置，提升算法推理任务中的泛化能力。
• 证明神经网络能够学习并泛化复杂的、基于指针的算法，如不相交集合合并与链接/切割树。
• 提供一种有监督的、稀疏的且高效的潜在图结构推理方法，在不牺牲计算效率的前提下提升模型表达能力。

提出的方法

• PGNs采用编码器、处理器和解码器网络相结合的混合架构，通过在动态学习的指针边上进行分步消息传递。
• 在每个时间步，每个节点通过可微分的路由机制预测指向另一个节点的指针，形成对称的指针邻接矩阵 Π(t)。
• 处理器网络 P 使用指针矩阵 Π(t−1) 作为关系归纳偏置，通过消息传递更新节点表示。
• 一种掩码机制识别每个步骤中被修改的节点，使模型能够将计算聚焦于相关实体。
• 模型通过直接监督中间数据结构状态（如DSU或LCT配置）进行训练，实现与经典算法行为的精确对齐。
• 解码器通过置换不变的读出机制聚合节点表示，以生成集合级查询的预测结果。

实验结果

研究问题

• RQ1 神经网络能否学习并泛化复杂的、基于指针的数据结构，如不相交集合合并与链接/切割树？
• RQ2 对中间数据结构状态的直接监督是否能提升泛化能力，使其超越静态GNN和Deep Sets？
• RQ3 能否为算法推理任务有效学习一种可微分的、稀疏的且动态的图结构？
• RQ4 来自理论计算机科学的归纳偏置在多大程度上提升了模型性能与泛化能力？
• RQ5 PGNs能否泛化到远大于训练时所见的输入规模？

主要发现

• 在最大规模的链接/切割树测试集上（n = 100, ops = 150），PGNs的F1得分为 0.616 ± 0.009，优于所有基线模型，包括GNN（0.401 ± 0.123）和SupGNN（0.541 ± 0.059）。
• 在动态图连通性任务中，PGNs实现了比训练时所见输入大5倍的测试输入的泛化能力，展现出强大的分布外泛化性能。
• 消融实验表明，仅使用掩码监督的PGN-MO仍优于所有非PGN模型，表明归纳偏置是性能的关键因素。
• 使用非对称指针的PGN-Asym性能显著低于对称PGN，证实了对指针进行对称化处理可有效防止结构断开，具有实际优势。
• 当扩展到 n = 200 且 ops = 300 时，PGN的F1得分为 0.636 ± 0.009，接近Oracle-Ptr基线的 0.619 ± 0.043，表明其对更大输入具有鲁棒性。
• 该模型成功学习到生成有效且可并行化的数据结构，尽管与真实实现存在偏差，但仍保持正确性。