[论文解读] Periodic Graph Transformers for Crystal Material Property Prediction

Keqiang Yan, Yi Liu+2 more|arXiv (Cornell University)|Sep 23, 2022

Machine Learning in Materials Science被引用 43

一句话总结

Matformer，是一种周期图变换器，实现周期不变性和显式的周期模式编码以预测晶体性质，在 Materials Project 和 Jarvis 基准测试中优于基线方法。同时在效率方面也优于现有方法。

ABSTRACT

We consider representation learning on periodic graphs encoding crystal materials. Different from regular graphs, periodic graphs consist of a minimum unit cell repeating itself on a regular lattice in 3D space. How to effectively encode these periodic structures poses unique challenges not present in regular graph representation learning. In addition to being E(3) invariant, periodic graph representations need to be periodic invariant. That is, the learned representations should be invariant to shifts of cell boundaries as they are artificially imposed. Furthermore, the periodic repeating patterns need to be captured explicitly as lattices of different sizes and orientations may correspond to different materials. In this work, we propose a transformer architecture, known as Matformer, for periodic graph representation learning. Our Matformer is designed to be invariant to periodicity and can capture repeating patterns explicitly. In particular, Matformer encodes periodic patterns by efficient use of geometric distances between the same atoms in neighboring cells. Experimental results on multiple common benchmark datasets show that our Matformer outperforms baseline methods consistently. In addition, our results demonstrate the importance of periodic invariance and explicit repeating pattern encoding for crystal representation learning.

研究动机与目标

• 通过利用晶体结构的周期性来推动晶体材料性质的准确预测。
• 开发对晶胞周期性位移不变并可扩展到更大晶胞的图形变换器。
• 显式编码周期性晶格模式以捕捉尺寸和取向对性质的影响。

提出的方法

• 引入 Matformer，包含两种周期不变的图构造：多边晶格图和全连接晶格图。
• 通过添加六条自连接边来表示晶格矢量长度及其两两和，从而编码周期性模式。
• 在基于变换器的消息传递方案中使用边级注意力，专门针对多边晶格图进行定制。
• 在 Materials Project 和 Jarvis 数据集上采用训练设置和基线方法来评估性能。
• 与 GNN 和图变换器基线进行比较，并对周期不变性与模式编码进行消融研究。

实验结果

研究问题

• RQ1 在用于性质预测的晶体图表示中，如何确保周期不变性？
• RQ2 显式编码周期性模式对晶体性质预测性能的影响是什么？
• RQ3 周期不变图结构加上模式编码是否能在准确性和效率上优于现有方法？

主要发现

• Matformer 在 Materials Project 数据集的形成能、带隙、体模量和剪切模量上均达到最佳测试 MAE。
• 在 Jarvis 任务中，Matformer 在形成能、带隙（OPT）、总能量、Ehull，以及带隙（MBJ）等方面优于基线。
• Matformer 在训练和推理时间上优于 ALIGNN，且模型占用更小。
• EwT 分析表明 Matformer 在能量预测的阈值内优于 ALIGNN，特别是在像 Materials Project 这样的大型数据集上。
• 消融研究强调周期不变性和显式周期模式编码在晶体表示中的重要性。