[论文解读] Retrosynthetic Planning with Dual Value Networks

Guoqing Liu, Di Xue+8 more|arXiv (Cornell University)|Jan 31, 2023

AI-based Problem Solving and Planning被引用 5

一句话总结

本文提出规划双值网络（PDVN），一种强化学习框架，通过训练单步反应预测器以优化完整合成路线而非仅准确率，从而提升逆合成规划性能。通过使用两个独立的值网络分别预测可合成性和成本，并采用双分支策略网络，PDVN显著提升成功率（例如在Retro*上从85.79%提升至98.95%），减少路线长度与模型调用次数，在USPTO及挑战性数据集上达到最先进性能。

ABSTRACT

Retrosynthesis, which aims to find a route to synthesize a target molecule from commercially available starting materials, is a critical task in drug discovery and materials design. Recently, the combination of ML-based single-step reaction predictors with multi-step planners has led to promising results. However, the single-step predictors are mostly trained offline to optimize the single-step accuracy, without considering complete routes. Here, we leverage reinforcement learning (RL) to improve the single-step predictor, by using a tree-shaped MDP to optimize complete routes. Specifically, we propose a novel online training algorithm, called Planning with Dual Value Networks (PDVN), which alternates between the planning phase and updating phase. In PDVN, we construct two separate value networks to predict the synthesizability and cost of molecules, respectively. To maintain the single-step accuracy, we design a two-branch network structure for the single-step predictor. On the widely-used USPTO dataset, our PDVN algorithm improves the search success rate of existing multi-step planners (e.g., increasing the success rate from 85.79% to 98.95% for Retro*, and reducing the number of model calls by half while solving 99.47% molecules for RetroGraph). Additionally, PDVN helps find shorter synthesis routes (e.g., reducing the average route length from 5.76 to 4.83 for Retro*, and from 5.63 to 4.78 for RetroGraph). Our code is available at \url{https://github.com/DiXue98/PDVN}.

研究动机与目标

• 为解决现有基于机器学习的逆合成方法仅以准确率为优化目标、未考虑完整合成路线的局限性。
• 通过强化学习训练单步预测器，以优化完整合成路线质量，从而改进多步规划器。
• 将逆合成目标分解为两个独立的值函数：可合成性与成本，以实现更有效的策略学习。
• 在保持高单步预测准确率的同时，通过双分支网络架构优化路线完整性和效率。
• 在标准基准数据集（包括USPTO、ChEMBL-1000和GDB17-1000）上展示最先进性能。

提出的方法

• PDVN使用树状马尔可夫决策过程（MDP）将逆合成规划建模为序列决策问题。
• 交替执行规划阶段（使用当前网络模拟合成经验）与更新阶段（提取训练目标并更新网络）。
• 采用两个独立的值网络：一个用于预测分子的可合成性，另一个用于预测其合成成本。
• 双分支策略网络通过结合固定预训练模型与可学习分支，保持单步预测准确率，同时优化反应概率分布以提升路线质量。
• 对PUCT算法进行改进，使其在树搜索中同时利用两个值网络，引导探索至高质量、低成本且可合成的路线。
• 通过模拟轨迹中的经验回放在线训练，实现策略与值网络的持续优化。

实验结果

研究问题

• RQ1 强化学习能否使单步反应预测器的性能超越单步准确率，实现对完整逆合成路线的优化？
• RQ2 将逆合成目标分解为可合成性与成本值网络，是否能带来更优的路线质量与成功率？
• RQ3 双分支策略网络能否在保持高单步预测准确率的同时，学习生成更优的多步路线？
• RQ4 与基线规划器相比，PDVN在ChEMBL-1000与GDB17-1000等具有挑战性且多样化的数据集上的表现如何？
• RQ5 各组件（可合成性值网络与成本值网络）对整体性能提升的贡献分别是什么？

主要发现

• 在USPTO 190测试集上，PDVN将Retro*的成功率从85.79%提升至98.95%，显著改善了路线完成度。
• 对于RetroGraph，PDVN将模型调用次数减少一半，同时解决了99.47%的分子，达到最先进性能。
• Retro*的平均路线长度从5.76步降至4.83步，RetroGraph从5.63步降至4.78步，表明路线更短、更高效。
• 在ChEMBL-1000上，PDVN使Retro*可解决835个分子（基线为762个）；在GDB17-1000上，解决方案数从95个增至269个。
• 消融实验表明，可合成性与成本值网络均不可或缺，任一移除均导致成功率下降与路线长度增加。
• 案例研究显示，PDVN能生成化学上合理的路线，甚至在部分此前未解决的分子上生成比原路线更短的一条路径。