[论文解读] RetCL: A Selection-based Approach for Retrosynthesis via Contrastive Learning

Hankook Lee, Sung Soo Ahn+5 more|arXiv (Cornell University)|May 3, 2021

Machine Learning in Materials Science参考文献 36被引用 7

一句话总结

该论文提出RetCL，一种基于选择的逆合成框架，通过图神经网络与具有困难负样本挖掘的对比学习，将逆合成问题转化为从大规模候选集内选择市售反应物。RetCL在USPTO-50k数据集上达到71.3%的top-1精确匹配准确率，显著优于先前方法，并能有效泛化至未见的反应模板。

ABSTRACT

Retrosynthesis, of which the goal is to find a set of reactants for synthesizing a target product, is an emerging research area of deep learning. While the existing approaches have shown promising results, they currently lack the ability to consider availability (e.g., stability or purchasability) of the reactants or generalize to unseen reaction templates (i.e., chemical reaction rules). In this paper, we propose a new approach that mitigates the issues by reformulating retrosynthesis into a selection problem of reactants from a candidate set of commercially available molecules. To this end, we design an efficient reactant selection framework, named RetCL (retrosynthesis via contrastive learning), for enumerating all of the candidate molecules based on selection scores computed by graph neural networks. For learning the score functions, we also propose a novel contrastive training scheme with hard negative mining. Extensive experiments demonstrate the benefits of the proposed selection-based approach. For example, when all 671k reactants in the USPTO {database} are given as candidates, our RetCL achieves top-1 exact match accuracy of $71.3\%$ for the USPTO-50k benchmark, while a recent transformer-based approach achieves $59.6\%$. We also demonstrate that RetCL generalizes well to unseen templates in various settings in contrast to template-based approaches.

研究动机与目标

• 解决现有逆合成模型在考虑反应物可获得性及泛化至未见反应模板方面的局限性。
• 将逆合成重新表述为从预定义的市售分子集合中选择的难题，以确保实际可行性。
• 开发一种可扩展且可泛化的框架，以在基于模板和无模板基线方法上提升性能与鲁棒性。
• 通过在每一步推荐可行且可获得的反应物，实现与多步逆合成规划的有效集成。
• 通过一种新颖的困难负样本挖掘策略，克服大规模候选集下对比学习的可扩展性问题。

提出的方法

• 将逆合成重新表述为选择任务：给定目标分子，从固定且庞大的市售分子候选集中选择反应物。
• 使用图神经网络（GNNs）计算产物和候选反应物的分子嵌入表示。
• 通过产物与反应物嵌入之间的余弦相似度计算选择得分，以对候选物进行排序。
• 使用对比学习目标训练得分函数，使正样本（正确）反应物-产物对更接近，而负样本对更远离。
• 引入困难负样本挖掘，通过聚焦于困难负样本提升训练效率与模型判别能力。
• 设计一种可扩展的训练流水线，高效处理最多671,000个候选反应物，支持在USPTO等大规模数据集上的部署。

实验结果

研究问题

• RQ1 基于选择的逆合成方法是否能通过确保反应物可获得性来提升准确率与实用性？
• RQ2 结合困难负样本挖掘的对比学习在多大程度上增强了逆合成模型对未见反应模板的泛化能力？
• RQ3 在小规模候选集上训练的模型，能在多大程度上泛化至远为庞大的测试候选集？
• RQ4 当与无模板生成模型结合时，所提出的框架是否能提升多步逆合成规划的效果？
• RQ5 与现有基于选择和生成的方法相比，RetCL在性能与推理速度上表现如何？

主要发现

• RetCL在USPTO-50k基准测试中达到71.3%的top-1精确匹配准确率，显著优于近期基于Transformer的方法（59.6%）和强基线方法（Chen et al., 2019）11.7个百分点。
• 该模型对未见反应模板具有良好的泛化能力，在USPTO-full数据集上达到39.9%的准确率，远高于当前最先进基于模板的方法（26.7%）。
• 即使在仅使用USPTO-50k中的91,297种分子的小型候选集上进行训练，RetCL仍能有效泛化至包含671,518种分子的大型测试候选集，展现出对分布偏移的鲁棒性。
• 在多步逆合成中，RetCL显著提升了无模板Transformer模型的性能，将成功率从91.05%提升至96.84%，因其在每一步均提供了高质量且可获得的反应物。
• RetCL每次推理耗时不足一秒，远快于Bayesian-Retro（单次预测需约6小时，即6×10⁵次前向传播）。
• 消融实验确认，结合困难负样本挖掘的对比学习对性能至关重要，尤其在大规模候选集设置下。