[论文解读] Multi-View Graph Neural Networks for Molecular Property Prediction

Hehuan Ma, Yatao Bian+6 more|arXiv (Cornell University)|May 17, 2020

Machine Learning in Materials Science参考文献 53被引用 35

一句话总结

引入 MV-GNN 与 MV-GNN^cross，这是一对利用节点（原子）和边（键）信息的双视图 GNN，具备共享自注意力读取、分歧损失，以及跨依赖消息传递，以提升分子属性预测的表达能力与可解释性。

ABSTRACT

The crux of molecular property prediction is to generate meaningful representations of the molecules. One promising route is to exploit the molecular graph structure through Graph Neural Networks (GNNs). It is well known that both atoms and bonds significantly affect the chemical properties of a molecule, so an expressive model shall be able to exploit both node (atom) and edge (bond) information simultaneously. Guided by this observation, we present Multi-View Graph Neural Network (MV-GNN), a multi-view message passing architecture to enable more accurate predictions of molecular properties. In MV-GNN, we introduce a shared self-attentive readout component and disagreement loss to stabilize the training process. This readout component also renders the whole architecture interpretable. We further boost the expressive power of MV-GNN by proposing a cross-dependent message passing scheme that enhances information communication of the two views, which results in the MV-GNN^cross variant. Lastly, we theoretically justify the expressiveness of the two proposed models in terms of distinguishing non-isomorphism graphs. Extensive experiments demonstrate that MV-GNN models achieve remarkably superior performance over the state-of-the-art models on a variety of challenging benchmarks. Meanwhile, visualization results of the node importance are consistent with prior knowledge, which confirms the interpretability power of MV-GNN models.

研究动机与目标

• 通过同时利用原子和键信息，动机在于通过双视图 GNN 框架实现更准确的分子属性预测。
• 开发一个共享的自注意力读取以生成可解释的图嵌入，并通过分歧损失稳定训练。
• 提出一种跨依赖消息传递方案，以增强两个视图之间的信息交流。
• 给出相对于 GIN 与 WL 测试的表达能力理论分析。
• 在 11 个基准数据集上展示实证优势，并通过注意力可视化实现稳健的性能与可解释性。

提出的方法

• 两个并行编码器：一个节点 GNN（原子视图）和一个边 GNN（键视图），产生节点/边嵌入。
• 一个共享的自注意力读取，用于从两个视图计算图嵌入，并实现原子/官能团重要性的解释。
• 一个分歧损失，最小化两个视图之间的预测差距以稳定训练。
• （MV-GNN^cross）跨依赖消息传递，在每个传播步骤中允许一个视图影响另一视图，从而增强信息流。
• 理论结果表明 MV-GNN 至少与 GIN 一样强，MV-GNN^cross 严格大于 GIN。
• 一个端到端损失，结合两个视图的预测损失与分歧项：L = L_pred + λ L_dis。

实验结果

研究问题

• RQ1 一个能够分别处理节点和边信息的双视图 GNN 架构，是否能在分子属性预测上胜过单视图模型？
• RQ2 共享的自注意力读取是否能为预测提供可解释的原子级别解释？
• RQ3 通过分歧损失强制两视图一致性，是否能稳定训练并提高鲁棒性？
• RQ4 跨依赖消息传递是否能进一步提升 MV-GNN 的表达能力和预测性能？
• RQ5 相对于 GIN/WL 测试，MV-GNN 与 MV-GNN^cross 的理论表达能力是多少？

主要发现

• MV-GNN 与 MV-GNN^cross 在 11 个基准数据集的分类（AUC-ROC）和回归任务上优于最先进的基线。
• MV-GNN 相较于 SOTA 基线平均提升约 1.15 个百分点的 AUC；MV-GNN^cross 平均提升约 1.65 个百分点。
• MV-GNN^cross 在鲁棒性方面更高（标准差更低），在某些情况下甚至优于 MV-GNN。
• 跨依赖消息传递（MV-GNN^cross）显著减小模型规模，并展现出比原生 MV-GNN 更强的表达能力。
• 理论结果：MV-GNN 至少与 GIN 一样具有表达能力；MV-GNN^cross 严格大于 GIN。
• 定性案例研究显示可解释的原子级注意力与已知毒性基团（如 trifluoromethyl 与氰基等）一致。