[论文解读] Simple GNN Regularisation for 3D Molecular Property Prediction & Beyond

Jonathan Godwin, Michael Schaarschmidt+6 more|arXiv (Cornell University)|Jun 15, 2021

Machine Learning in Materials Science被引用 8

一句话总结

本文提出 Noisy Nodes，一种简单而有效的图神经网络正则化技术，通过在输入图特征中引入噪声并添加节点级去噪损失，有效缓解了过度平滑问题。该方法增强了潜在的节点多样性与流形学习能力，在3D分子性质预测基准测试中取得最先进性能——在OC20 IS2RE直接任务上实现43%的性能提升，同时在OGB和基于GCN的模型上也显著改善了结果。

ABSTRACT

In this paper we show that simple noise regularisation can be an effective way to address GNN oversmoothing. First we argue that regularisers addressing oversmoothing should both penalise node latent similarity and encourage meaningful node representations. From this observation we derive "Noisy Nodes", a simple technique in which we corrupt the input graph with noise, and add a noise correcting node-level loss. The diverse node level loss encourages latent node diversity, and the denoising objective encourages graph manifold learning. Our regulariser applies well-studied methods in simple, straightforward ways which allow even generic architectures to overcome oversmoothing and achieve state of the art results on quantum chemistry tasks, and improve results significantly on Open Graph Benchmark (OGB) datasets. Our results suggest Noisy Nodes can serve as a complementary building block in the GNN toolkit.

研究动机与目标

• 为解决GNN过度平滑问题，即在多层消息传递后节点表征变得不可区分。
• 开发一种正则化技术，以同时促进节点表征多样性与有意义的关系结构编码。
• 证明简单、通用的GNN架构在结合Noisy Nodes后可实现最先进性能。
• 提供一种互补性、即插即用的正则化方法，适用于多种GNN架构与图学习任务。

提出的方法

• 在训练过程中对输入节点特征添加随机噪声，以破坏过度平滑的表征。
• 引入节点级去噪损失，促使模型从噪声输入中重建原始特征。
• 使用联合损失函数训练GNN：主任务预测损失与辅助去噪损失相结合，以促进鲁棒且多样的节点表征。
• 将该方法应用于多种GNN架构，包括图网络模拟器（GNS）、MPNN与GCN，覆盖3D分子与非空间图数据集。
• 采用如类别特征随机翻转与特征丢弃等噪声类型，并通过超参数调优实现主任务与辅助损失之间的最优平衡。
• 利用去噪目标隐式学习数据底层流形，提升泛化能力并增强对过度平滑的抵抗性。

实验结果

研究问题

• RQ1 一种简单、基于噪声的正则化技术是否能在多种架构与数据集上有效缓解GNN的过度平滑问题？
• RQ2 噪声扰动与去噪损失的结合是否能提升节点表征多样性与图级预测性能？
• RQ3 Noisy Nodes是否能使浅层或原本表现不佳的GNN（如GNS架构）在3D分子性质预测任务中达到最先进水平？
• RQ4 与DropEdge和DropNode等现有正则化方法相比，Noisy Nodes在缓解过度平滑方面表现如何？
• RQ5 Noisy Nodes的优势是否随模型深度增加而扩大？它是否能使更深的GNN在原本深度无效的任务中超越浅层模型？

主要发现

• Noisy Nodes在OC20 IS2RE直接分子性质预测基准上相比之前工作实现了43%的性能提升。
• 该方法将MPNN在OGBG-PCQM4Mv1上的性能提升至28.1% ± 0.002平均平均精度，超过基线模型。
• 在OGBN-Arxiv数据集上，将4层GCN的准确率从71.71%提升至72.52%，证明其在简单GNN上的有效性。
• 该技术使此前表现不具竞争力的GNS架构在三个3D分子任务（包括QM9与OC20）上达到最先进水平。
• 验证曲线显示，Noisy Nodes在训练过程中持续带来性能增益，表明其正则化稳定且有效。
• 该方法在不同模型深度下均有效，但在极深架构中收益递减，表明深度与正则化之间需取得平衡。