[论文解读] Very Deep Graph Neural Networks Via Noise Regularisation.

Jonathan Godwin, Michael Schaarschmidt+6 more|arXiv (Cornell University)|Jun 15, 2021

Machine Learning in Materials Science参考文献 53被引用 11

一句话总结

本文提出一种深度图神经网络（GNN），最多可进行100轮消息传递，得益于一种名为“噪声节点”（Noisy Nodes）的新正则化技术，该技术通过向输入图注入噪声，并添加节点自编码器损失以实现图属性预测。该方法在Open Catalyst 2020 IS2RE和QM9基准测试中达到最先进性能，表明当正则化得当时，更深的GNN能够实现性能的单调提升。

ABSTRACT

Graph Neural Networks (GNNs) perform learned message passing over an input graph, but conventional wisdom says performing more than handful of steps makes training difficult and does not yield improved performance. Here we show the contrary. We train a deep GNN with up to 100 message passing steps and achieve several state-of-the-art results on two challenging molecular property prediction benchmarks, Open Catalyst 2020 IS2RE and QM9. Our approach depends crucially on a novel but simple regularisation method, which we call ``Noisy Nodes'', in which we corrupt the input graph with noise and add an auxiliary node autoencoder loss if the task is graph property prediction. Our results show this regularisation method allows the model to monotonically improve in performance with increased message passing steps. Our work opens new opportunities for reaping the benefits of deep neural networks in the space of graph and other structured prediction problems.

研究动机与目标

• 为克服传统认知中更深的GNN因训练困难而无法提升性能的局限性。
• 探究将消息传递步骤增加到数层以上是否能在图属性预测任务中带来更好的性能。
• 开发一种正则化方法，以稳定图结构数据上非常深的GNN的训练过程。
• 证明当正则化得当时，更深的GNN能够实现性能的单调提升。

提出的方法

• 引入“噪声节点”正则化方法，即在训练过程中对输入节点特征注入噪声。
• 应用辅助的节点自编码器损失，从噪声输入中重建原始节点特征。
• 训练具有最多100轮消息传递层的GNN，远深于典型GNN。
• 将自编码器损失作为正则化信号，以稳定深层GNN的训练并提升泛化能力。
• 专门应用于图属性预测任务，其中自编码器损失在所有节点上计算。

实验结果

研究问题

• RQ1 具有超过10轮消息传递步骤的GNN是否能在图属性预测任务中实现性能提升？
• RQ2 基于噪声的正则化是否能实现非常深GNN的稳定训练？
• RQ3 当正则化得当时，深层GNN的性能是否能随着深度增加而单调提升？
• RQ4 “噪声节点”方法在多样化的分子图基准测试中是否有效？

主要发现

• 所提方法在Open Catalyst 2020 IS2RE基准测试中达到最先进性能，优于先前方法。
• 在QM9数据集上，该模型取得新的最先进结果，表明预测精度得到提升。
• 随着消息传递深度的增加，性能单调提升至100层，表明训练和泛化均稳定。
• “噪声节点”正则化对于有效训练深层GNN并避免性能下降至关重要。