[论文解读] Multimodal Transformer-based Model for Buchwald-Hartwig and Suzuki-Miyaura Reaction Yield Prediction

Shimaa Baraka, Ahmed M. El Kerdawy|arXiv (Cornell University)|Apr 27, 2022

Machine Learning in Materials Science被引用 4

一句话总结

该论文提出了一种基于多模态Transformer的模型，结合SMILES表示和化学描述符，用于预测Buchwald–Hartwig与Suzuki–Miyaura偶联反应的产率。通过将微调的BERT编码器（用于SMILES）与多层感知机（用于描述符）融合，该模型在Buchwald–Hartwig数据集上实现了最先进的性能，RMSE为5.5，R²为0.959，且成功推荐了接近最优的反应条件，达到报告最大产率的94%。

ABSTRACT

Predicting the yield percentage of a chemical reaction is useful in many aspects such as reducing wet-lab experimentation by giving the priority to the reactions with a high predicted yield. In this work we investigated the use of multiple type inputs to predict chemical reaction yield. We used simplified molecular-input line-entry system (SMILES) as well as calculated chemical descriptors as model inputs. The model consists of a pre-trained bidirectional transformer-based encoder (BERT) and a multi-layer perceptron (MLP) with a regression head to predict the yield. We experimented on two high throughput experimentation (HTE) datasets for Buchwald-Hartwig and Suzuki-Miyaura reactions. The experiments show improvements in the prediction on both datasets compared to systems using only SMILES or chemical descriptors as input. We also tested the model's performance on out-of-sample dataset splits of Buchwald-Hartwig and achieved comparable results with the state-of-the-art. In addition to predicting the yield, we demonstrated the model's ability to suggest the optimum (highest yield) reaction conditions. The model was able to suggest conditions that achieves 94% of the optimum reported yields. This proves the model to be useful in achieving the best results in the wet lab without expensive experimentation.

研究动机与目标

• 通过整合SMILES与化学描述符等多种数据模态，超越单一模态方法，提升反应产率预测性能。
• 开发一种能够泛化至分布外反应条件（尤其是添加剂或配体分布偏移时）的深度学习模型。
• 使模型能够推荐可实现高产率的反应条件，避免昂贵的实验试错。
• 在两种关键偶联反应（Buchwald–Hartwig与Suzuki–Miyaura）的高通量实验（HTE）数据集上评估性能。

提出的方法

• 模型采用在SMILES字符串上微调的预训练双向Transformer编码器（BERT），以学习反应物的结构表征。
• 化学描述符通过多层感知机（MLP）处理，以编码电子和立体效应等分子性质。
• SMILES分支与描述符分支的输出被拼接，并输入回归头以预测反应产率。
• 模型在两个HTE数据集上端到端训练：Buchwald–Hartwig数据集共3,955个样本，Suzuki–Miyaura数据集共5,760个样本，采用70/30的训练-测试划分。
• 超参数优化在第一折训练集的1/7上进行，以确保与先前工作的公平比较。
• 通过将模型预测的前k名条件与实验报告的最佳产率进行比较，评估其推荐最优条件的能力。

实验结果

研究问题

• RQ1 与仅使用单一模态的模型相比，结合SMILES与化学描述符是否能提升产率预测的准确性？
• RQ2 该多模态模型在分布外测试集上的泛化能力如何，尤其是在添加剂或配体分布发生偏移时？
• RQ3 该模型在多大程度上能推荐接近实验报告最优产率的反应条件？
• RQ4 尽管存在分布偏移，该模型在样本外数据上的性能是否仍能与当前最先进模型保持竞争力？

主要发现

• 在Buchwald–Hartwig数据集上，多模态模型实现了RMSE为5.5 ± 0.3，R²为0.959 ± 0.005，优于仅使用SMILES或描述符的模型。
• 在Suzuki–Miyaura数据集上，模型实现了RMSE为11.5 ± 0.3，R²为0.833 ± 0.01，相较于单模态基线模型表现出一致的性能提升。
• 在包含未见异恶唑类添加剂的Buchwald–Hartwig样本外测试集中，模型平均R²达到0.72，与当前最先进水平相当。
• 该模型推荐的反应条件在15对反应物中实现了平均产率0.82，达到报告最优产率（0.87）的94%。
• 在前k%预测中包含真实最优条件的准确率在前30%建议中达到86.6%，表明其具有较强的实用价值。
• 当Suzuki–Miyaura测试集中配体与训练集完全不重叠时，性能显著下降（R² = 0.2 ± 0.25），表明对分布偏移更为敏感。