[论文解读] Retroformer: Pushing the Limits of Interpretable End-to-end Retrosynthesis Transformer

Yue Wan, Benben Liao+2 more|arXiv (Cornell University)|Jan 29, 2022

Machine Learning in Materials Science被引用 6

一句话总结

Retroformer 提出了一种基于 Transformer 的新型架构，引入局部注意力头，联合编码分子序列与图结构，实现无需化学信息学工具的端到端、无模板的逆合成预测。其在已知反应类别上达到 64% 的 top-1 准确率，创下 SOTA 水平，并在分子和反应有效性方面分别较基线 Transformer 提升 23.6% 和 22.0%。

ABSTRACT

Retrosynthesis prediction is one of the fundamental challenges in organic synthesis. The task is to predict the reactants given a core product. With the advancement of machine learning, computer-aided synthesis planning has gained increasing interest. Numerous methods were proposed to solve this problem with different levels of dependency on additional chemical knowledge. In this paper, we propose Retroformer, a novel Transformer-based architecture for retrosynthesis prediction without relying on any cheminformatics tools for molecule editing. Via the proposed local attention head, the model can jointly encode the molecular sequence and graph, and efficiently exchange information between the local reactive region and the global reaction context. Retroformer reaches the new state-of-the-art accuracy for the end-to-end template-free retrosynthesis, and improves over many strong baselines on better molecule and reaction validity. In addition, its generative procedure is highly interpretable and controllable. Overall, Retroformer pushes the limits of the reaction reasoning ability of deep generative models.

研究动机与目标

• 开发一种完全端到端、可解释且可控的逆合成模型，无需依赖化学信息学工具进行分子编辑。
• 通过联合编码分子序列与图结构，提升深度生成模型在逆合成中的推理能力。
• 在保持高准确率的同时，提升反应与分子的有效性，实现无模板逆合成的优化。
• 实现对反应中心检测与原子映射的精确控制，以支持下游合成规划。

提出的方法

• 引入局部注意力头，实现 Transformer 解码器中局部反应区域与全局反应上下文之间的高效信息交换。
• 在统一的 Transformer 编码器中结合 SMILES 序列编码与图结构编码，以捕捉分子的序列特征与拓扑特征。
• 在训练过程中采用引导对齐损失，提升源（产物）与目标（反应物）SMILES 序列在 token 级别的对应关系。
• 采用局部-全局解码器架构，聚焦于检测到的反应中心进行生成，提升约束性与有效性。
• 应用反应中心搜索策略，在保持可解释性与可控性的前提下提升 top-k 准确率。
• 直接利用注意力权重进行原子映射，实现无需额外对齐模块的可解释转化预测。

实验结果

研究问题

• RQ1 纯端到端的 Transformer 模型是否能在无需外部化学信息学工具的情况下，实现无模板逆合成的 SOTA 性能？
• RQ2 联合编码分子序列与图结构在多大程度上提升了反应推理能力与有效性？
• RQ3 局部注意力机制在多大程度上增强了模型对反应中心的敏感性？
• RQ4 该模型是否能在保持已知与未知反应类别竞争力准确率的同时，实现高有效性与可解释性？
• RQ5 引导对齐损失与反应中心搜索策略在多大程度上影响生成质量与多样性？

主要发现

• Retroformer 在已知反应类别上达到 64% 的 top-1 准确率，在未知反应类别上达到 53.2%，创下无模板逆合成的新 SOTA 水平。
• 与原始 Transformer 基线相比，该模型在分子有效性方面提升 23.6%，在反应有效性方面提升 22.0%。
• 消融实验证实，局部-全局解码器与引导对齐损失对最优性能至关重要，其中局部-全局设计带来 2.9% 的 top-1 准确率提升。
• 与完整全局解码器相比，反应中心搜索策略使 top-10 准确率提升 4.9%，在不损失准确率的前提下增强了多样性。
• 基于注意力权重生成的原子映射与化学上有意义的转化高度一致，尽管对称性可能导致一对一映射失败。
• 该模型展现出高度可解释性：能够以高置信度检测并突出显示反应中心，并在引导下可控地生成反应物。