[论文解读] Regression with Large Language Models for Materials and Molecular Property Prediction

Ryan Jacobs, Maciej P. Polak+4 more|arXiv (Cornell University)|Sep 9, 2024

Machine Learning in Materials Science被引用 8

一句话总结

本文表明，通过微调的 LLaMA 3 可以仅使用基于组成的输入，对分子和材料性质进行回归，在 QM9 和 28 种材料属性上取得与传统模型相竞争的结果，尽管通常落后于使用更细粒度分子表示的最先进方法。

ABSTRACT

We demonstrate the ability of large language models (LLMs) to perform material and molecular property regression tasks, a significant deviation from the conventional LLM use case. We benchmark the Large Language Model Meta AI (LLaMA) 3 on several molecular properties in the QM9 dataset and 24 materials properties. Only composition-based input strings are used as the model input and we fine tune on only the generative loss. We broadly find that LLaMA 3, when fine-tuned using the SMILES representation of molecules, provides useful regression results which can rival standard materials property prediction models like random forest or fully connected neural networks on the QM9 dataset. Not surprisingly, LLaMA 3 errors are 5-10x higher than those of the state-of-the-art models that were trained using far more granular representation of molecules (e.g., atom types and their coordinates) for the same task. Interestingly, LLaMA 3 provides improved predictions compared to GPT-3.5 and GPT-4o. This work highlights the versatility of LLMs, suggesting that LLM-like generative models can potentially transcend their traditional applications to tackle complex physical phenomena, thus paving the way for future research and applications in chemistry, materials science and other scientific domains.

研究动机与目标

• 展示大型语言模型在材料与分子性质回归中的能力。
• 在 QM9 与一组使用基于组成的输入的 28 种材料属性上对 LLaMA 3 进行基准测试。
• 评估 LLaMA 3 相对于传统模型和先前的 LLM 在化学与材料科学回归任务中的表现。

提出的方法

• 使用 LLaMA 3，仅用生成损失进行微调，输入为表示组成或分子 SMILES 的字符串。
• 在 QM9 分子性质上使用基于 SMILES 的微调评估回归性能。
• 在 28 种材料属性上使用基于组成的描述符评估回归性能。
• 将 LLaMA 3 的结果与随机森林、全连接神经网络以及使用粒度分子表示的最先进模型进行比较。

实验结果

研究问题

• RQ1 LLMs 是否可被重新用于通过基于组成的输入对分子与材料性质进行回归任务？
• RQ2 相比传统回归模型，LLaMA 3 在 QM9 属性上的表现如何？
• RQ3 相对于基线模型，LLaMA 3 在更广泛的 28 种材料属性上的表现如何？
• RQ4 在这些任务上，基于 LLM 的回归器相较于 GPT-3.5 和 GPT-4o 是否有提升？

主要发现

• 使用 SMILES 的微调的 LLaMA 3 在 QM9 上提供了有用的回归结果，可与随机森林或全连接网络相当。
• LLaMA 3 的误差比使用更粒度表示（如原子类型和坐标）的最先进模型高出 5–10 倍（在同一任务上）。
• 在 28 种材料属性上，仅使用化合物描述时，LLaMA 3 的准确度与随机森林和元素描述符相当但略差。
• 与 GPT-3.5 和 GPT-4o 相比，LLaMA 3 的预测有所改进。
• 该工作表明类似 LLM 的生成模型能够解决化学与材料科学中的复杂物理现象。