[论文解读] Understanding the Message Passing in Graph Neural Networks via Power Iteration.

Xue Li, Yuanzhi Cheng|arXiv (Cornell University)|May 30, 2020

Advanced Graph Neural Networks被引用 3

一句话总结

该论文揭示了图神经网络（GNNs）中的消息传递机制可通过幂迭代（power iteration）从根本上理解，提出了一种新颖且可解释的模型——SPIC（简化幂迭代聚类），通过移除激活函数和可学习权重，使模型更加简洁。该方法在随机特征网络上提升了性能，并表明许多当前最先进的GNN模型在设计上存在冗余，通过随机聚合器初始化建立了一个模型评估的下限。

ABSTRACT

The mechanism of message passing in graph neural networks(GNNs) is still mysterious for the literature. No one, to our knowledge, has given another possible theoretical origin for GNNs apart from convolutional neural networks. Somewhat to our surprise, the message passing can be best understood in terms of the power iteration. By removing activation functions and layer weights of GNNs, we propose power iteration clustering (SPIC) models which are naturally interpretable and scalable. The experiment shows our models extend the existing GNNs and enhance its capability of processing random featured networks. Moreover, we demonstrate the redundancy of some state-of-the-art GNNs in designing and define a lower limit for model evaluation by randomly initializing the aggregator of message passing. All the findings in this paper push the boundaries of our understanding of neural networks.

研究动机与目标

• 揭示GNN消息传递机制的全新理论基础，超越卷积神经网络的范畴。
• 解决现有GNN架构在可解释性和可扩展性方面的不足。
• 探究当前最先进的GNN设计是否在性能上存在冗余或本质必要。
• 通过随机初始化的聚合器，为GNN评估建立一个下限。
• 通过一种简化且可解释的模型，提升GNN在随机特征网络上的能力。

提出的方法

• 提出SPIC（简化幂迭代聚类）模型，一种移除激活函数和可学习权重的GNN变体，以隔离消息传递机制。
• 将消息传递建模为图邻接矩阵上的幂迭代，将GNN与谱聚类及迭代矩阵-向量乘法联系起来。
• 基于图拉普拉斯矩阵或邻接矩阵进行线性变换，实现特征的迭代传播。
• 利用幂迭代迭代优化节点表示，强调图结构在信息传播中的核心作用。
• 通过随机初始化聚合器来评估GNN性能，为模型评估建立基线。
• 通过在随机特征网络上对比SPIC与标准GNN，分析复杂GNN组件的冗余性。

实验结果

研究问题

• RQ1 GNN中的消息传递机制能否通过幂迭代进行理论解释？
• RQ2 GNN中实现有效节点表示学习的最小架构是什么？
• RQ3 现代GNN在设计上在多大程度上存在冗余，特别是可学习权重和激活函数方面？
• RQ4 随机初始化的聚合器能否作为GNN评估的有意义下限？
• RQ5 SPIC模型在随机特征网络上的表现与标准GNN相比如何？

主要发现

• GNN中的消息传递在本质上等价于图邻接矩阵上的幂迭代，为GNN提供了新的理论视角。
• SPIC模型通过移除激活函数和可学习权重，在随机特征网络上实现了具有竞争力的性能，证明了幂迭代机制的充分性。
• 通过随机初始化消息传递的聚合器，可为GNN评估提供一个下限，揭示了众多当前最先进的GNN在设计上的冗余性。
• SPIC模型因结构简化而具备可解释性和可扩展性，适合进行理论分析。
• 研究表明，非线性激活和可学习权重等复杂GNN组件在某些随机特征设置下并非性能所必需。
• 研究结果表明，许多GNN可能过度参数化，其性能提升可能源于结构传播机制，而非模型复杂度本身。