[论文解读] Toward Accurate Interpretable Predictions of Materials Properties within Transformer Language Models

Vadim Korolev, Pavel Protsenko|arXiv (Cornell University)|Mar 21, 2023

Machine Learning in Materials ScienceMaterials Science被引用 3

一句话总结

本文提出一种基于语言模型的框架，通过将材料表示为自然语言序列（例如化学组成、对称性、几何结构）并微调预训练的类似 BERT 的模型（MatBERT），实现准确且可解释的材料性质预测。该方法在五种材料性质预测任务中达到最先进性能，优于晶体图神经网络在其中四种任务的表现，同时通过局部可解释性技术（如 SHAP、LIME 和积分梯度）提供忠实且人类可读的解释。

ABSTRACT

Property prediction accuracy has long been a key parameter of machine learning in materials informatics. Accordingly, advanced models showing state-of-the-art performance turn into highly parameterized black boxes missing interpretability. Here, we present an elegant way to make their reasoning transparent. Human-readable text-based descriptions automatically generated within a suite of open-source tools are proposed as materials representation. Transformer language models pretrained on 2 million peer-reviewed articles take as input well-known terms, e.g., chemical composition, crystal symmetry, and site geometry. Our approach outperforms crystal graph networks by classifying four out of five analyzed properties if one considers all available reference data. Moreover, fine-tuned text-based models show high accuracy in the ultra-small data limit. Explanations of their internal machinery are produced using local interpretability techniques and are faithful and consistent with domain expert rationales. This language-centric framework makes accurate property predictions accessible to people without artificial-intelligence expertise.

研究动机与目标

• 通过用人类可读的文本替代复杂且黑箱的表示方法，解决材料性质预测中模型准确度与可解释性之间的权衡。
• 通过利用在材料科学文本上微调的预训练语言模型，实现在极小标注数据下的准确性质预测。
• 通过多种可解释性AI技术（SHAP、LIME、IG、SM）在 token 级别应用，提供模型决策的忠实且局部的可解释性。
• 通过定量的忠实度与合理性度量，验证模型解释与领域专家推理的一致性。
• 通过以文本为中心、透明的框架，使非 AI 专家也能轻松使用先进的 AI 驱动材料预测技术。

提出的方法

• 材料被表示为由标准术语组成的自然语言序列（例如：'NaCl'、'钙钛矿'、'立方对称'、'八面体配位'）。
• 采用在 200 万篇材料科学论文上预训练的微调 MatBERT 模型作为性质预测任务的核心架构。
• 训练三种变体：使用原始分词器的随机 BERT、使用 MatBERT 分词器的随机 BERT，以及使用 MatBERT 分词器的预训练 MatBERT。
• 通过四种技术实现局部可解释性：显著性图（SM）、积分梯度（IG）、LIME 和 Shapley 值（Owen 值），用于分配 token 级别的重要性分数。
• 通过在 top 排名 token 的 10%–100% 子集上计算扰动曲线下的面积（AOPC），评估忠实度，包括完备性与充分性。
• 通过将模型生成的推理与专家标注的推理进行比较，评估合理性，使用 F1 分数与 AUPRC，其中 k=10 作为平均推理长度。

实验结果

研究问题

• RQ1 与图神经网络相比，基于自然语言描述生成的材料文本表示能否在性质预测中实现最先进准确度？
• RQ2 局部可解释性方法（SHAP、LIME、IG、SM）在材料科学领域中生成的解释，与领域专家推理的一致性如何？
• RQ3 微调的语言模型在材料性质预测的低数据场景下，其泛化能力在多大程度上得以体现？
• RQ4 在材料性质预测背景下，不同解释技术的忠实度度量（完备性与充分性）如何变化？
• RQ5 以语言为中心的框架能否使非机器学习专家也能访问准确且可解释的 AI 预测？

主要发现

• 在使用完整参考数据集时，微调后的 MatBERT 模型在五种测试材料性质中的四种上优于晶体图神经网络。
• 即使在极小数据设置下，模型仍表现出高准确度，展现出在极少标注样本下的强大泛化能力。
• SHAP、LIME、IG 和 SM 生成的解释与领域专家推理高度一致，表现为高 F1 分数（平均 F1 ≈ 0.85）与 AUPRC 值。
• 完备性与充分性度量（AOPC）显示高度忠实度，所有任务中大多数解释方法的 AOPC 值均超过 0.85。
• 该方法实现了透明且人类可读的模型推理过程，无需 AI 专业知识，使材料科学家能够轻松使用先进的性质预测技术。
• 用于带隙分类的训练 MatBERT 模型已公开发布于 Hugging Face，专家标注的数据集亦通过 Zenodo 共享。