[论文解读] Retrosynthesis with Attention-Based NMT Model and Chemical Analysis of the "Wrong" Predictions

Hongliang Duan, Ling Wang+2 more|arXiv (Cornell University)|Aug 2, 2019

Genomics and Phylogenetic Studies参考文献 40被引用 5

一句话总结

本文提出一种基于注意力机制的神经机器翻译（NMT）模型用于逆合成，将反应预测视为序列到序列的翻译任务。基于包含50,000条反应的USPTO数据集，该模型在顶1准确率上达到54.1%，显著优于基线的seq2seq模型，且化学上合理的'错误'预测揭示了模型泛化能力的深层洞察，当由专家重新评估时，显示出其在实际应用中潜在的改进空间。

ABSTRACT

We cast retrosynthesis as a machine translation problem by introducing a special Tensor2Tensor, an entire attention-based and fully data-driven model. Given a data set comprising about 50,000 diverse reactions extracted from USPTO patents, the model significantly outperforms seq2seq model (34.7%) on a top-1 accuracy by achieving 54.1%. For yielding better results, parameters such as batch size and training time are thoroughly investigated to train the model. Additionally, we offer a novel insight into the causes of grammatically invalid SMILES, and conduct a test in which experienced chemists pick out and analyze the "wrong" predictions that may be chemically plausible but differ from the ground truth. Actually, the effectiveness of our model is un-derestimated and the "true" top-1 accuracy can reach to 64.6%.

研究动机与目标

• 通过将逆合成预测问题建模为神经机器翻译（NMT）任务，提升预测准确率。
• 评估基于注意力机制的NMT模型在大规模、多样化USPTO专利逆合成数据集上的性能。
• 探究模型生成的SMILES字符串在语法上无效的原因。
• 通过专家评估'错误'预测的化学合理性，评估模型的真实预测价值。
• 优化模型超参数（如批量大小和训练时长），以最大化性能。

提出的方法

• 模型采用基于自注意力机制的序列到序列架构，通过Tensor2Tensor框架实现。
• 在约50,000条从USPTO专利中提取的多样化化学反应上进行训练。
• 系统性地调整批量大小和训练时间等超参数，以提升模型泛化能力和性能。
• 通过给定产物的SMILES字符串，模型生成逆合成路径，预测反应物。
• 由经验丰富的化学家对'错误'预测（即不匹配真实标签但可能化学上有效）进行化学分析。
• 模型输出不仅通过标准的顶1准确率评估，还通过专家对错误预测的化学合理性评估进行综合评价。

实验结果

研究问题

• RQ1 基于注意力机制的NMT模型是否能在逆合成预测任务中超越传统seq2seq模型？
• RQ2 模型生成的逆合成路径中，SMILES字符串语法错误的潜在原因是什么？
• RQ3 与真实标签不同但化学上合理的'错误'预测有多常见？
• RQ4 专家评估在多大程度上揭示了模型的真实预测能力超出标准顶1准确率指标？
• RQ5 批量大小和训练时长等超参数的选择如何影响逆合成任务中的模型性能？

主要发现

• 基于注意力机制的NMT模型在逆合成任务中达到54.1%的顶1准确率，显著优于基线seq2seq模型的34.7%。
• 即使预测结果不匹配真实标签，该模型仍具备强大能力，可生成化学上合理的逆合成路径。
• 专家识别出一部分'错误'预测为化学上有效，表明若以化学合理性为评估标准，模型的真实顶1准确率可能达到64.6%。
• 分析显示，SMILES字符串的语法错误通常源于键级或价态分配错误，提示需要改进分词策略或后处理方法。
• 系统性地调整超参数（尤其是批量大小和训练时长）可显著提升模型性能。
• 本研究指出，标准评估指标可能低估了神经网络模型在逆合成任务中的实际应用价值，原因在于忽略了化学上有效的替代路径。