[论文解读] Neural Message Passing with Edge Updates for Predicting Properties of Molecules and Materials

Peter Bjørn Jørgensen, Karsten W. Jacobsen+1 more|arXiv (Cornell University)|Jun 8, 2018

Machine Learning in Materials Science参考文献 21被引用 56

一句话总结

该论文在 SchNet 的基础上扩展了一个边更新网络，该网络将边消息条件化为接收原子状态，从而在 QM9、Materials Project 和 OQMD 上改进形成能预测，且 k 最近邻图在性能上优于固定截断。

ABSTRACT

Neural message passing on molecular graphs is one of the most promising methods for predicting formation energy and other properties of molecules and materials. In this work we extend the neural message passing model with an edge update network which allows the information exchanged between atoms to depend on the hidden state of the receiving atom. We benchmark the proposed model on three publicly available datasets (QM9, The Materials Project and OQMD) and show that the proposed model yields superior prediction of formation energies and other properties on all three datasets in comparison with the best published results. Furthermore we investigate different methods for constructing the graph used to represent crystalline structures and we find that using a graph based on K-nearest neighbors achieves better prediction accuracy than using maximum distance cutoff or the Voronoi tessellation graph.

研究动机与目标

• 动机：快速、准确地预测分子与材料性质，作为昂贵的密度泛函理论（DFT）计算的替代方案。
• 扩展神经信息传播以包含依赖于接收原子的边更新。
• 在 QM9、材料项目（The Materials Project）和开放量子材料数据库（OQMD）上进行评估。
• 研究用于晶体结构的图构建选项（固定截断、K 最近邻、Voronoi 瓦片划分）

提出的方法

• 将原子序数嵌入初始节点状态，并使用径向基函数扩展原子间距离。
• 引入一个边更新网络 E_t，使边特征依赖发送原子和接收原子状态（e_vw^t）以及先前的边状态（e_vw^{t}）。
• 定义一个消息函数 M_t，利用更新后的边特征和邻居状态聚合信息。
• 用残余图更新 S_t(h_v^t, m_v^{t+1}) 更新节点状态。
• 使用一个读出 R，对原子层面的贡献进行求和（或平均）以预测性质。
• 在 QM9、Materials Project 和 OQMD 上与 SchNet 和 enn-s2s 进行基准测试；比较不同的图构建方法（常数截断、K 最近邻、Voronoi）

实验结果

研究问题

• RQ1 将边更新网络引入，使边消息同时取决于发送原子和接收原子状态，是否能提高分子与材料性质的预测准确性？
• RQ2 图构建方式（截断距离、K 最近邻、Voronoi 瓦片划分）对晶体材料的预测性能有何影响？
• RQ3 边更新模型是否能够在 QM9、Materials Project 与 OQMD 数据集上达到最先进的结果？
• RQ4 哪些性质（例如形成能）最受益于边更新，结果与现有模型相比如何？

主要发现

• 边更新网络在三个数据集上均显著提升了相对于基线 SchNet 的预测准确性。
• QM9、Materials Project 和 OQMD 显示在提出的模型下的平均绝对误差低于 V-RF 和 SchNet（表 2）。
• 在 QM9 上，提出的模型在 12 项性质中有 9 项的 MAE 较低，另外 3 项与之持平（表 3）。
• 对于晶体材料，K 最近邻图（例如 K=24）达到 13.7 meV/原子 MAE 的最佳性能，优于固定截断和 Voronoi 方法（图 4）。
• 边更新在将相互作用条件化为接收原子方面最具影响力，正如学习到的滤波可视化所示（第一层对接收原子与发送原子的依赖）。