[论文解读] Utilizing Edge Features in Graph Neural Networks via Variational Information Maximization

Pengfei Chen, Weiwen Liu+3 more|arXiv (Cornell University)|Jun 13, 2019

Machine Learning in Materials Science参考文献 29被引用 17

一句话总结

本文提出信息最大化图神经网络（IGNN），通过变分下界最大化边特征与可学习变换矩阵之间的互信息，从而提升GNN性能。通过在消息传递过程中显式保留边信息，IGNN在分子性质预测任务中取得最先进结果，包括在药物发现任务中pIC50预测的0.6174 MAE和0.835 R值。

ABSTRACT

Graph Neural Networks (GNNs) achieve an impressive performance on structured graphs by recursively updating the representation vector of each node based on its neighbors, during which parameterized transformation matrices should be learned for the node feature updating. However, existing propagation schemes are far from being optimal since they do not fully utilize the relational information between nodes. We propose the information maximizing graph neural networks (IGNN), which maximizes the mutual information between edge states and transform parameters. We reformulate the mutual information as a differentiable objective via a variational approach. We compare our model against several recent variants of GNNs and show that our model achieves the state-of-the-art performance on multiple tasks including quantum chemistry regression on QM9 dataset, generalization capability from QM9 to larger molecular graphs, and prediction of molecular bioactivities relevant for drug discovery. The IGNN model is based on an elegant and fundamental idea in information theory as explained in the main text, and it could be easily generalized beyond the contexts of molecular graphs considered in this work. To encourage more future work in this area, all datasets and codes used in this paper will be released for public access.

研究动机与目标

• 解决现有GNN在消息传递过程中未能充分利用边特征的局限性。
• 提升GNN在结构化图上的性能，其中边属性（如键类型或距离）携带关键关系信息。
• 开发一种可微且可扩展的方法，显式建模GNN中边特征与变换参数之间的依赖关系。
• 在QM9数据集之外的更大、更多样化的分子图上评估模型的泛化能力。
• 在真实世界药物发现应用中展示模型的有效性，特别是在预测分子生物活性的pIC50值方面。

提出的方法

• 将最大化GNN中边特征向量与可学习变换矩阵之间互信息的目标形式化。
• 使用变分下界重构难以计算的互信息目标，使其可微分且可训练。
• 引入变分后验分布以近似给定变换参数下边状态的真实条件分布。
• 通过正则化目标训练GNN，以促进边信息向节点表示的保留。
• 使用可学习的边网络生成基于边特征的变换矩阵，实现边特定的消息传递。
• 在标准消息传递框架中应用该方法，其中节点表示通过邻域聚合与边条件变换进行更新。

实验结果

研究问题

• RQ1 通过最大化边特征与变换矩阵之间的互信息，能否提升GNN在图结构数据上的性能？
• RQ2 与现有GNN相比，所提出的IGNN模型在更大、更多样化的分子图上的泛化能力如何？
• RQ3 边信息的利用程度在分子性质回归与药物发现任务中对预测性能的提升有多大？
• RQ4 变分信息最大化方法是否为具有连续边特征的GNN提供了稳定且有效的归纳偏置？
• RQ5 该模型能否泛化到分子图之外的其他多关系图学习场景？

主要发现

• IGNN在QM9数据集上达到最先进性能，在量子化学回归任务中优于所有现有GNN变体。
• 在更大分子图的泛化基准测试中，IGNN实现了最低的MAE，并在1/3的任务中优于所有基线模型，展现出卓越的泛化能力。
• 在ChEMBL数据集的pIC50预测中，IGNN实现了0.6174的MAE和0.835的皮尔逊相关系数（R），优于所有对比模型。
• 模型的成功归因于其通过互信息最大化保留边信息的能力，该机制起到了正则化归纳偏置的作用。
• 与MPNN和GIN等模型相比，IGNN在边距离或连续边特征至关重要的任务（如R2预测）中表现更优。
• 消融研究证实，变分信息最大化目标显著提升了性能，验证了核心设计选择的有效性。