[论文解读] Multimodal Foundation Models for Material Property Prediction and Discovery

Viggo Moro, Charlotte Loh+8 more|arXiv (Cornell University)|Nov 30, 2023

Grouting, Rheology, and Soil Mechanics被引用 6

一句话总结

该论文提出了一种用于晶体材料的多模态学习（MLCM）基础模型，通过对比学习在共享潜在空间中对齐晶体结构、态密度（DOS）和电荷密度。MLCM在Materials Project数据集上实现了最先进性能，可通过检索匹配目标DOS的材料实现高精度逆向设计，并通过潜在空间分析揭示可解释特征，展示了多模态预训练在材料发现中的强大能力。

ABSTRACT

Artificial intelligence is transforming computational materials science, improving the prediction of material properties, and accelerating the discovery of novel materials. Recently, publicly available material data repositories have grown rapidly. This growth encompasses not only more materials but also a greater variety and quantity of their associated properties. Existing machine learning efforts in materials science focus primarily on single-modality tasks, i.e. relationships between materials and a single physical property, thus not taking advantage of the rich and multimodal set of material properties. Here, we introduce Multimodal Learning for Materials (MultiMat), which enables self-supervised multi-modality training of foundation models for materials. We demonstrate our framework's potential using data from the Materials Project database on multiple axes: (i) MultiMat achieves state-of-the-art performance for challenging material property prediction tasks; (ii) MultiMat enables novel and accurate material discovery via latent space similarity, enabling screening for stable materials with desired properties; and (iii) MultiMat encodes interpretable emergent features that may provide novel scientific insights.

研究动机与目标

• 开发一种基础模型，将晶体结构、态密度（DOS）和电荷密度等多种材料模态整合为统一表征，以提升材料性质预测性能。
• 通过引入一种新颖的多模态预训练范式，克服因新神经网络架构导致的性能提升停滞问题。
• 通过检索预测性质与用户指定目标（如特定DOS谱）匹配的材料，实现逆向设计。
• 从学习得到的潜在空间中提取可解释、具有物理意义的特征，以支持材料科学中的科学洞察。

提出的方法

• MLCM使用三个专用编码器：基于PotNet的架构用于晶体结构，Transformer用于DOS，3D ResNeXt用于电荷密度，每个模型生成128维嵌入。
• 模型采用对比学习与对比损失函数，将同一材料在不同模态下的嵌入对齐至共享潜在空间。
• 在Materials Project数据集上进行预训练，使用模态间最大交集子集，双模态和三模态设置分别包含121,915、89,071和78,461个材料。
• 对迁移后的晶体编码器使用线性头进行微调以完成性质预测任务，基于验证损失采用早停策略。
• 在逆向设计中，将目标DOS嵌入潜在空间，并检索最接近的晶体嵌入作为最佳候选材料。
• 通过UMAP降维对潜在嵌入进行可解释性分析，剔除异常材料以获得更清晰的可视化效果。

实验结果

研究问题

• RQ1 在共享潜在空间中对晶体结构、DOS和电荷密度进行多模态对齐，是否能提升材料性质预测的泛化能力和性能？
• RQ2 MLCM能否通过检索预测DOS与用户指定目标DOS匹配的材料，实现高精度逆向设计？
• RQ3 MLCM潜在空间中学习到的表征是否编码了与形成能或费米能级等材料性质相关的可解释、具有物理意义的特征？
• RQ4 与单模态预训练相比，使用多种数据模态进行多模态预训练在下游预测准确率和泛化能力方面表现如何？

主要发现

• MLCM在Materials Project数据集上的材料性质预测任务中达到最先进性能，在回归和分类任务中均优于先前方法。
• 模型实现了高度精确的逆向设计：当目标为特定DOS谱时，检索材料的预测DOS与目标高度吻合，-5至+5 eV范围内的归一化MAE为0.027。
• 通过UMAP对潜在空间进行分析，揭示了嵌入编码了有意义的物理性质，如形成能和费米能级，具有相似性质的材料在图中形成明显聚类。
• 在SNUMAT数据库（包含更精确的带隙值）上微调表明，MLCM的预训练表征具有良好的泛化能力，性能优于非多模态基线方法。
• 模型在不同模态下表现稳健，三模态预训练（晶体、DOS、电荷密度）取得最佳结果，证实了多模态对齐的优势。
• 使用多模态对比学习显著提升了表征质量，表现为零样本迁移性能提升和多种材料性质预测误差降低。