[论文解读] Structure to Property: Chemical Element Embeddings and a Deep Learning Approach for Accurate Prediction of Chemical Properties

Shokirbek Shermukhamedov, Dilorom Mamurjonova+1 more|arXiv (Cornell University)|Sep 17, 2023

Computational Drug Discovery MethodsComputer Science被引用 3

一句话总结

该论文提出 elEmBERT，一种基于化学元素嵌入和多层编码器架构的深度学习模型，可高精度预测化学性质。在 Tox21 数据集上，其平均精确率达到 96%，较之前最先进方法高出 10 个百分点，展示了在有机、无机及晶体化合物中强大的泛化能力，基于 Matbench 和 MolNet 基准测试结果验证。

ABSTRACT

We introduce the elEmBERT model for chemical classification tasks. It is based on deep learning techniques, such as a multilayer encoder architecture. We demonstrate the opportunities offered by our approach on sets of organic, inorganic and crystalline compounds. In particular, we developed and tested the model using the Matbench and Moleculenet benchmarks, which include crystal properties and drug design-related benchmarks. We also conduct an analysis of vector representations of chemical compounds, shedding light on the underlying patterns in structural data. Our model exhibits exceptional predictive capabilities and proves universally applicable to molecular and material datasets. For instance, on the Tox21 dataset, we achieved an average precision of 96%, surpassing the previously best result by 10%.

研究动机与目标

• 开发一种通用的深度学习框架，用于预测分子和材料数据集中的多样化化学性质。
• 探索学习到的化学元素嵌入在捕捉结构和周期性趋势方面的表征能力。
• 提升在 Matbench 和 MolNet 等基准数据集上的预测准确率，特别是在药物设计和晶体性质预测方面。
• 分析学习到的向量表示，以揭示化学结构-性质关系中的潜在模式。
• 建立一种无需任务特定微调即可在有机、无机和晶体化合物间实现泛化的模型。

提出的方法

• 提出 elEmBERT，一种基于 Transformer 的多层编码器架构，通过化学化合物数据训练以学习结构表征。
• 将学习到的化学元素嵌入作为输入标记，捕捉周期表关系和原子性质。
• 利用注意力机制建模分子和材料中原子之间的长程依赖关系和相互作用。
• 在多个数据集（包括 Tox21、OGB-Mol 和来自 Matbench 的材料性质基准）上端到端训练模型。
• 应用迁移学习和微调策略，以适应多样化的分类任务。
• 采用标准深度学习优化技术，包括交叉熵损失和 AdamW，配合早停和权重衰减。

实验结果

研究问题

• RQ1 学习到的化学元素嵌入是否能有效编码结构和周期性趋势以用于性质预测？
• RQ2 elEmBERT 在多样化化学性质预测基准上的表现与最先进模型相比如何？
• RQ3 单一统一模型在有机、无机和晶体化合物之间泛化的程度如何？
• RQ4 化学化合物和元素的学习向量表示中会浮现哪些模式？
• RQ5 该模型是否能在低数据场景下（如药物发现和毒性预测）实现高准确率？

主要发现

• elEmBERT 在 Tox21 数据集上实现 96% 的平均精确率，较之前最先进方法高出 10 个百分点。
• 该模型在包括有机分子、无机化合物和晶体材料在内的多样化化学空间中表现出强大的泛化能力。
• elEmBERT 学习到的元素向量表示反映了已知的周期性趋势，如电负性和价电子排布模式。
• 在 Matbench 和 MolNet 基准测试中，该模型的表现优于现有方法，尤其在毒性预测和材料性质预测任务中。
• 对注意力机制的分析表明，模型能有效捕捉关键功能团和原子相互作用。
• 使用元素嵌入使模型即使在面对新型或稀有化学组合时也能实现良好泛化。