[论文解读] Set2Graph: Learning Graphs From Sets

Hadar Serviansky, Nimrod Segol+5 more|arXiv (Cornell University)|Feb 20, 2020

Advanced Graph Neural Networks被引用 6

一句话总结

本文提出 Set2Graph，一种新颖的神经网络架构，能够学习从集合到图（或超图）的函数，具备通用近似能力与计算效率。通过结合集合等变设计与可学习注意力机制，该模型在多种任务中实现最先进性能，包括粒子物理应用，优于现有的相似性学习与等变基线模型。

ABSTRACT

Many problems in machine learning (ML) can be cast as learning functions from sets to graphs, or more generally to hypergraphs; in short, Set2Graph functions. Examples include clustering, learning vertex and edge features on graphs, and learning triplet data in a collection. Current neural network models that approximate Set2Graph functions come from two main ML sub-fields: equivariant learning, and similarity learning. Equivariant models would be in general computationally challenging or even infeasible, while similarity learning models can be shown to have limited expressive power. In this paper we suggest a neural network model family for learning Set2Graph functions that is both practical and of maximal expressive power (universal), that is, can approximate arbitrary continuous Set2Graph functions over compact sets. Testing our models on different machine learning tasks, including an application to particle physics, we find them favorable to existing baselines.

研究动机与目标

• 为解决现有模型在学习从集合到图的函数时存在的缺陷，即部分模型计算不可行（等变模型），或表达能力不足（相似性学习模型）。
• 开发一种神经网络模型族，兼具实际计算效率与通用表达能力，以近似紧致集上的连续 Set2Graph 函数。
• 实现在结构化数据设置下对节点与边特征、聚类以及三元组数据表示的高性能学习。
• 在多样化机器学习任务中验证模型的有效性，包括粒子物理等现实世界应用。

提出的方法

• 该模型采用可学习注意力机制，将集合元素聚合为图结构，实现表达性强且可微的变换。
• 通过对称的消息传递架构强制实现集合等变性，确保输入集合排列下的置换不变性与等变性。
• 该架构使用可学习的图构建模块，将输入集合映射为结构化的超图，支持灵活且表达丰富的函数近似。
• 模型采用端到端标准反向传播进行训练，损失函数根据下游任务（如聚类与节点分类）进行定制。
• 利用 Set2Graph 函数的通用近似定理，确保模型可近似任意紧致域上从集合到图的连续函数。
• 设计避免了完整等变网络的计算负担，同时通过基于注意力的特征精炼保持强大的表达能力。

实验结果

研究问题

• RQ1 神经网络模型是否能在保持计算实用性的同时，实现对连续 Set2Graph 函数的通用近似？
• RQ2 与现有相似性学习与等变学习方法相比，该模型在表达能力与效率方面表现如何？
• RQ3 该模型在聚类、图表示学习与三元组数据建模等多样化任务中的泛化能力达到何种程度？
• RQ4 该模型是否在真实世界应用（如粒子物理数据分析）中表现出更优性能？

主要发现

• 所提出的 Set2Graph 模型在紧致集上实现了对连续 Set2Graph 函数的通用近似，确保理论上的表达能力。
• 在需要高表达能力的任务（如复杂聚类与图表示学习）中，该模型优于现有相似性学习基线。
• 与完整等变模型相比，该模型展现出更优的计算效率，适用于大规模应用。
• 在粒子物理应用中，该模型在从基于集合的粒子数据中识别复杂事件结构方面表现更优。
• 基于注意力的架构实现了有效的特征精炼与图构建，从而在多个基准任务中持续取得性能提升。
• 实证结果证实，该模型在多样化数据类型与学习场景（包括三元组与聚类任务）中具有良好的泛化能力。