[论文解读] Permutation-Invariant Variational Autoencoder for Graph-Level Representation Learning

Robin Winter, Frank Noé+1 more|arXiv (Cornell University)|Apr 20, 2021

Advanced Graph Neural Networks被引用 10

一句话总结

本文提出了一种用于图级表征学习的置换不变变分自编码器，通过可微分的置换网络学习输入图与重构图之间的节点顺序对齐，实现无需固定节点顺序的图自编码器端到端训练。该方法在图重构、生成以及下游分子性质预测任务中均达到最先进性能。

ABSTRACT

Recently, there has been great success in applying deep neural networks on graph structured data. Most work, however, focuses on either node- or graph-level supervised learning, such as node, link or graph classification or node-level unsupervised learning (e.g. node clustering). Despite its wide range of possible applications, graph-level unsupervised learning has not received much attention yet. This might be mainly attributed to the high representation complexity of graphs, which can be represented by n! equivalent adjacency matrices, where n is the number of nodes. In this work we address this issue by proposing a permutation-invariant variational autoencoder for graph structured data. Our proposed model indirectly learns to match the node ordering of input and output graph, without imposing a particular node ordering or performing expensive graph matching. We demonstrate the effectiveness of our proposed model on various graph reconstruction and generation tasks and evaluate the expressive power of extracted representations for downstream graph-level classification and regression.

研究动机与目标

• 解决图级无监督表征学习的挑战，尽管该方法在药物发现和分子建模中具有广泛应用前景，但目前仍研究不足。
• 克服图同构在节点置换下的根本性问题，即标准神经网络因输入表示的顺序敏感性而失效。
• 开发一种可微分框架，即使在节点顺序存在歧义的情况下，也能使用标准重构损失训练图自编码器。
• 通过学习分子图的连续、置换不变的潜在空间，实现有效的图生成与插值。
• 展示所学表征在下游图级分类与回归任务中的实用性，特别是在分子性质预测方面。

提出的方法

• 通过引入可学习的置换网络来预测输入与输出节点顺序之间的最优对齐，提出一种对节点置换不变的图自编码器架构。
• 采用变分自编码器框架并结合重参数化技巧，实现编码器、置换网络与解码器组件的端到端训练。
• 训练置换网络以预测一个置换矩阵，将输入图的节点顺序与重构图的节点顺序对齐，从而实现一致的重构损失计算。
• 在编码器与解码器中采用有向消息传递机制并结合自注意力机制，其中每个节点仅关注传入消息，以降低计算复杂度。
• 使用多层感知机实现节点级别的消息传递机制，基于邻域信息更新节点表征。
• 使用最终的全局池化层，从最终的节点嵌入中生成固定大小的图级表征，以支持下游分类与回归任务。

实验结果

研究问题

• RQ1 深度学习模型是否能在不依赖对称聚合或对比学习的前提下，学习到置换不变的图级表征？
• RQ2 当重构目标依赖于任意且模糊的节点顺序时，如何有效训练图自编码器？
• RQ3 所学潜在空间在保持结构与特征保真度的前提下，能在多大程度上支持有意义的图生成与插值？
• RQ4 所学表征在下游图级预测任务（如分子性质分类与回归）中的泛化能力如何？
• RQ5 该模型能否以高精度有效重构分子图，包括原子类型、形式电荷、键类型及三维坐标？

主要发现

• 模型在预测形式电荷类型方面达到99.99%的准确率，键类型预测（包括键不存在的情况）准确率为99.25%，原子类型预测准确率为99.99%。
• 模型在重构原子间距离时，均方根误差为0.33 Å，决定系数（R²）为0.94。
• 在下游分子性质预测任务中，模型在四项任务中的三项上优于ECFP指纹：BACE（ROC-AUC：0.81 vs. 0.78）、ESOL（MSE：0.10 vs. 0.25）和LIPO（MSE：0.34 vs. 0.39）。
• 通过潜在空间采样，模型成功生成能量合理的分子构象，视觉检查确认了如可旋转键旋转等合理结构变化。
• 所提方法可在潜在空间中实现有效的图插值，生成结构合理的中间分子形态。
• 该模型在大规模分子数据集（包括PubChem中的6700万种化合物）上的图重构与表征学习任务中表现出具有竞争力的性能。