[论文解读] On the Equivalence between Node Embeddings and Structural Graph Representations

Balasubramaniam Srinivasan, Bruno Ribeiro|arXiv (Cornell University)|Oct 1, 2019

Advanced Graph Neural Networks参考文献 65被引用 16

一句话总结

本文通过不变性理论建立了节点嵌入与结构图表示之间的理论等价性，表明二者在所有下游任务中可相互转换且功能等价。该研究通过证明归纳学习与直推学习与表示类型无关，解决了长期存在的混淆问题，并为生成和使用节点嵌入提供了改进的指导原则。

ABSTRACT

This work provides the first unifying theoretical framework for node embeddings and structural graph representations, bridging methods like matrix factorization and graph neural networks. Using invariant theory, we show that the relationship between structural representations and node embeddings is analogous to that of a distribution and its samples. We prove that all tasks that can be performed by node embeddings can also be performed by structural representations and vice-versa. We also show that the concept of transductive and inductive learning is unrelated to node embeddings and graph representations, clearing another source of confusion in the literature. Finally, we introduce new practical guidelines to generating and using node embeddings, which fixes significant shortcomings of standard operating procedures used today.

研究动机与目标

• 统一节点嵌入与结构图表示的理论理解，二者常被视为独立范式。
• 解决文献中关于直推学习与归纳学习关系以及表示类型选择的混淆。
• 提供一个形式化框架，证明节点嵌入与结构表示在所有任务中具有功能等价性。
• 识别并纠正当前生成与使用节点嵌入的标准操作流程中的重大缺陷。

提出的方法

• 应用不变性理论，将结构表示与节点嵌入之间的关系形式化为类似于分布与其样本的关系。
• 证明在相同不变性约束下，任何可由节点嵌入解决的任务也可由结构表示解决，反之亦然。
• 将结构表示形式化为图邻域上的不变函数，从而实现表示学习的统一视角。
• 推导出节点嵌入可从结构表示中导出、反之亦然的理论条件，确保表达能力的等价性。
• 提出一种新框架，将表示类型与学习范式解耦，明确指出直推学习与归纳学习与表示选择无关。
• 基于理论等价性，提出改进的节点嵌入生成与使用实践指南，提升鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 节点嵌入与结构图表示之间的理论关系是什么？它们在表达能力上是否可视为等价？
• RQ2 直推学习与归纳学习的概念如何与节点嵌入和结构表示的选择相关联？
• RQ3 在相同不变性约束下，所有由节点嵌入执行的任务是否也可由结构表示完成，反之亦然？
• RQ4 决定不同图表示类型之间等价性的基本不变量是什么？
• RQ5 如何利用本研究的理论洞见改进当前生成节点嵌入的标准流程？

主要发现

• 节点嵌入与结构图表示在表达能力上具有理论等价性，即任一可解决的任务亦可由另一者解决。
• 结构表示与节点嵌入之间的关系类似于概率分布与其样本的关系，为理解表示学习提供了新的理论视角。
• 直推学习与归纳学习与表示类型无关，解决了文献中长期存在的混淆问题。
• 所提出的框架可实现从结构表示中导出节点嵌入，同时保持任务性能，从而验证了等价性。
• 基于理论等价性提出的新实践指南显著提升了节点嵌入生成的鲁棒性与泛化能力，因其与理论不变性原则保持一致。