[论文解读] Permutation invariant graph-to-sequence model for template-free retrosynthesis and reaction prediction

Zhengkai Tu, Connor W. Coley|arXiv (Cornell University)|Oct 19, 2021

Machine Learning in Materials Science参考文献 61被引用 4

一句话总结

该论文提出 Graph2SMILES，一种排列不变的图到序列模型，通过用分子图编码替代基于 SMILES 的输入，以提升无模板逆合成与反应预测性能。通过结合 D-MPNN 以捕捉局部原子相互作用，辅以全局注意力编码器和图感知位置嵌入，该模型在无需输入端 SMILES 增强的情况下，实现了最先进（SOTA）的 top-1 准确率，在 USPTO_50k 逆合成任务中较 Transformer 模型高出 9.8%。

ABSTRACT

Synthesis planning and reaction outcome prediction are two fundamental problems in computer-aided organic chemistry for which a variety of data-driven approaches have emerged. Natural language approaches that model each problem as a SMILES-to-SMILES translation lead to a simple end-to-end formulation, reduce the need for data preprocessing, and enable the use of well-optimized machine translation model architectures. However, SMILES representations are not an efficient representation for capturing information about molecular structures, as evidenced by the success of SMILES augmentation to boost empirical performance. Here, we describe a novel Graph2SMILES model that combines the power of Transformer models for text generation with the permutation invariance of molecular graph encoders that mitigates the need for input data augmentation. As an end-to-end architecture, Graph2SMILES can be used as a drop-in replacement for the Transformer in any task involving molecule(s)-to-molecule(s) transformations. In our encoder, an attention-augmented directed message passing neural network (D-MPNN) captures local chemical environments, and the global attention encoder allows for long-range and intermolecular interactions, enhanced by graph-aware positional embedding. Graph2SMILES improves the top-1 accuracy of the Transformer baselines by $1.7\%$ and $1.9\%$ for reaction outcome prediction on USPTO_480k and USPTO_STEREO datasets respectively, and by $9.8\%$ for one-step retrosynthesis on the USPTO_50k dataset.

研究动机与目标

• 解决 SMILES 表示在分子机器学习中的局限性，其对原子顺序敏感，且需数据增强以实现鲁棒性能。
• 开发一种图到序列架构，保持排列不变性，以消除逆合成与反应预测任务中对输入端 SMILES 增强的需求。
• 通过利用图结构与注意力机制，而不依赖模板、原子映射或预训练，提升在标准基准上的模型性能，尤其是 top-1 准确率。
• 设计一种可泛化、即插即用的主干模型，可替代任何分子到分子转化流程中的 Transformer。

提出的方法

• 提出两阶段编码器：首先使用注意力增强的有向消息传递神经网络（D-MPNN）捕捉局部化学环境，随后使用全局自注意力编码器建模长程及分子间相互作用。
• 引入图感知位置嵌入，编码分子图的拓扑信息，增强注意力机制，且无需预训练或辅助任务。
• 使用 Transformer 解码器从编码的分子图生成 SMILES 字符串，将逆合成与反应预测均视为图到序列任务。
• 采用交叉熵损失端到端训练序列生成模型，编码器完全不依赖 SMILES 序列输入。
• 通过直接以图表示编码分子结构，确保排列不变性，使模型对输入中原子顺序的变化保持不变。
• 通过扩展图表示与注意力机制以处理多个子图，实现对多分子输入（如反应物与产物）的泛化。

实验结果

研究问题

• RQ1 图到序列模型是否能在无 SMILES 增强的情况下，实现优于基线的无模板逆合成与反应预测性能？
• RQ2 图感知位置嵌入与全局注意力在分子生成任务中，相较于标准 Transformer 编码器，能多大程度上提升性能？
• RQ3 排列不变的图编码器是否能消除对输入端 SMILES 增强的需求，同时保持或提升模型准确率？
• RQ4 与使用模板、原子映射或预训练的 SOTA 方法相比，所提出的 Graph2SMILES 模型在标准基准上的表现如何？
• RQ5 各组件（D-MPNN、位置嵌入、全局注意力）对模型最终性能的相对贡献为何？

主要发现

• 在 USPTO_50k 逆合成数据集上，Graph2SMILES 实现了 52.9% 的 top-1 准确率，无需模板、原子映射或输入端 SMILES 增强，较 Transformer 基线高出 9.8%。
• 在 USPTO_480k 与 USPTO_STEREO 数据集上，Graph2SMILES 在反应结果预测任务中分别将 top-1 准确率提升 1.7% 和 1.9%，优于 Transformer 基线。
• 消融实验表明，移除全局注意力编码器使 top-1 准确率下降 8.3 分，移除图感知位置嵌入使准确率下降 2.1 分，证实了两者的关键作用。
• 模型在多分子输入上表现出强泛化能力，并保持排列不变性，无需基于等价 SMILES 字符串的数据增强。
• Graph2SMILES 可作为分子转化任务中 Transformer 的即插即用替代品，无需架构重构或依赖辅助训练即可实现性能提升。
• 即使在无输出端 SMILES 增强的情况下，模型性能依然稳健且具有竞争力，尽管未来工作可探索变分推理以提升 top-n 生成质量。