[论文解读] Non-Autoregressive Electron Redistribution Modeling for Reaction Prediction

Hangrui Bi, Hengyi Wang+4 more|arXiv (Cornell University)|Jun 8, 2021

Machine Learning in Materials Science参考文献 26被引用 11

一句话总结

该论文提出 NERF，一种用于化学反应预测的非自回归框架，通过多指针解码网络将反应建模为同时发生的电子重分布。该方法在保持至少 27 倍于自回归方法的推理速度的同时，实现了最先进（SOTA）的 top-1 准确率，并通过预测的电子流提高了可解释性。

ABSTRACT

Reliably predicting the products of chemical reactions presents a fundamental challenge in synthetic chemistry. Existing machine learning approaches typically produce a reaction product by sequentially forming its subparts or intermediate molecules. Such autoregressive methods, however, not only require a pre-defined order for the incremental construction but preclude the use of parallel decoding for efficient computation. To address these issues, we devise a non-autoregressive learning paradigm that predicts reaction in one shot. Leveraging the fact that chemical reactions can be described as a redistribution of electrons in molecules, we formulate a reaction as an arbitrary electron flow and predict it with a novel multi-pointer decoding network. Experiments on the USPTO-MIT dataset show that our approach has established a new state-of-the-art top-1 accuracy and achieves at least 27 times inference speedup over the state-of-the-art methods. Also, our predictions are easier for chemists to interpret owing to predicting the electron flows.

研究动机与目标

• 为解决自回归模型在反应预测中的局限性，这些模型依赖于序列解码，阻碍了并行计算。
• 通过将化学反应建模为同时发生的电子流重分布，实现反应产物的一次性预测。
• 通过预测反映键形成与断裂的电子流模式，提高对化学家的可解释性。
• 在保持生成多样化、多模态反应结果能力的同时，实现高准确率和高速推理。
• 在包括线性、环状、支链、并行和多中心反应在内的多种分子拓扑结构上展示泛化能力。

提出的方法

• 该方法将化学反应建模为电子对的重分布，将每个共价键视为一对共享电子。
• 将键的断裂与形成表示为原子之间的定向电子流，以分子图中的边变化来表示。
• 使用条件变分自编码器（CVAE）将反应物结构编码为用于反应预测任务的潜在表示。
• 提出一种新型的多指针解码网络，以并行方式预测所有原子对的电子流输入与输出概率，从而实现一次性生成。
• 模型使用基于注意力的指针网络来估计电子流的方向与大小，随后进行离散化以确定键的变化。
• 通过在反应物图上添加或移除边，直接由预测的电子流生成产物分子。

实验结果

研究问题

• RQ1 非自回归模型是否能在实现最先进（SOTA）准确率的同时，支持并行解码？
• RQ2 将反应建模为同时发生的电子重分布是否能提高对化学家的可解释性？
• RQ3 所提出的方法是否能在包括复杂和多中心反应在内的多种分子拓扑结构上实现良好泛化？
• RQ4 模型是否能在无标注样本的情况下预测副产物，从而利用潜在变量建模实现？
• RQ5 在 top-1 准确率和推理速度方面，模型性能与自回归基线相比如何？

主要发现

• NERF 在 USPTO-MIT 数据集上实现了新的最先进（SOTA） top-1 准确率，优于以往的自回归方法。
• 由于电子流的并行解码，该模型的推理速度至少比最先进（SOTA）的自回归模型快 27 倍。
• 该模型在所有测试的分子拓扑结构上均表现出良好泛化能力，包括线性（Linear）、环状（Cyclic）、支链（Branch）、并行（Parallel）和多中心（Multi-center）反应，且性能一致。
• CVAE 框架中的潜在变量实现了多样化、多模态的预测，其 top-k 准确率与自回归模型相当。
• 该模型在无任何标注示例的情况下成功预测了 DMSO 等副产物，展示了其通过电子流模式推断副反应的能力。
• 预测电子流的可视化清晰地显示出键的形成（蓝色）与断裂（红色），为反应机理提供了化学上直观的解释。