[论文解读] NOMAD 2018 Kaggle Competition: Solving Materials Science Challenges Through Crowd Sourcing

Christopher Sutton, Luca M. Ghiringhelli+8 more|arXiv (Cornell University)|Nov 30, 2018

Machine Learning in Materials Science参考文献 84被引用 20

一句话总结

本文介绍了2018年NOMAD Kaggle竞赛，这是一项基准测试计划，旨在评估机器学习模型对3,000种(AlₓGa_yIn_z)₂O₃化合物中两种关键材料性质——电子带隙和晶体生成能——的预测能力。顶级解决方案采用了新颖的晶体图表示法、集成描述符与梯度提升方法，以及基于神经网络的原子位置平滑重叠技术，结果表明，模型性能在很大程度上取决于表示方法的选择，而非所使用的回归算法。

ABSTRACT

Machine learning (ML) is increasingly used in the field of materials science, where statistical estimates of computed properties are employed to rapidly examine the chemical space for new compounds. However, a systematic comparison of several ML models for this domain has been hindered by the scarcity of appropriate datasets of materials properties, as well as the lack of thorough benchmarking studies. To address this, a public data-analytics competition was organized by the Novel Materials Discovery (NOMAD) Centre of Excellence and hosted by the on-line platform Kaggle using a dataset of $3\,000$ (Al$_x$ Ga$_y$ In$_z$)$_2$ O$_3$ compounds (with $x+y+z = 1$). The aim of this challenge was to identify the best ML model for the prediction of two key physical properties that are relevant for optoelectronic applications: the electronic band gap energy and the crystalline formation energy. In this contribution, we present a summary of the top three ML approaches of the competition including the 1st place solution based on a crystal graph representation that is new for ML of the properties of materials. The 2nd place model combined many candidate descriptors from a set of compositional, atomic environment-based, and average structural properties with the light gradient-boosting machine regression model. The 3rd place model employed the smooth overlap of atomic positions representation with a neural network. To gain insight into whether the representation or the regression model determines the overall model performance, nine ML models obtained by combining the representations and regression models of the top three approaches were compared by looking at the correlations among prediction errors. At fixed representation, the largest correlation is observed in predictions made with kernel ridge regression and neural network, reflecting a similar performance on the same test set samples.

研究动机与目标

• 解决材料科学机器学习领域中标准化数据集和基准研究稀缺的问题。
• 评估并比较多种机器学习模型在复杂氧化物中预测关键光电性质的性能。
• 利用公开的协作竞赛框架，识别出在材料性质预测中最具有效性的特征表示与回归模型。
• 深入理解表示方法与模型架构对预测性能影响的相对重要性。

提出的方法

• 在Kaggle平台上举办了一场公开的数据科学竞赛，使用了包含3,000种(AlₓGa_yIn_z)₂O₃化合物（满足x + y + z = 1）的精选数据集。
• 竞赛重点在于预测两种物理性质：电子带隙能量和晶体生成能。
• 第一名解决方案采用了新颖的晶体图神经网络表示法，以编码材料结构中的原子连接性和对称性。
• 第二名模型将组成描述符、基于原子环境的描述符以及平均结构描述符相结合，并采用轻量级梯度提升机（LGBM）回归模型。
• 第三名方法将原子位置平滑重叠（SOAP）表示法与深度神经网络结合用于回归。
• 对九种混合模型进行了对比分析，以评估表示方法与回归模型对预测误差相关性的影响。

实验结果

研究问题

• RQ1 在复杂氧化物中，晶体图、SOAP或复合描述符这三种机器学习表示方法中，哪一种能对材料性质预测提供最高的准确性？
• RQ2 当应用于同一组特征表示时，不同回归模型（如核岭回归、神经网络、梯度提升）的表现如何？
• RQ3 在模型性能方面，特征表示的选择相比回归算法的选择，其决定性影响有多大？
• RQ4 在多种模型组合中，预测误差的相关性结构是怎样的？这揭示了关于模型泛化能力和误差模式的哪些信息？

主要发现

• 第一名解决方案基于新颖的晶体图表示法，在带隙和生成能预测方面均实现了最高的预测准确性。
• 第二名模型通过将多种描述符类型与轻量级梯度提升回归结合，展现出在测试集上的强泛化能力和鲁棒性。
• 第三名方法采用原子位置平滑重叠（SOAP）表示法与神经网络结合，表现出具有竞争力的性能，尤其在捕捉局部结构效应方面表现突出。
• 在固定表示方法下，核岭回归与神经网络在预测误差上表现出最高的相关性，表明二者在相同测试样本上的性能模式相似。
• 本研究发现，表示方法的选择对模型性能的影响强于回归模型的选择，这一结论得到了混合模型间误差相关性模式的有力支持。
• 该竞赛凸显了在材料科学机器学习应用中，结构与组成特征工程的重要性。