[论文解读] Reinforced Molecular Optimization with Neighborhood-Controlled Grammars

Chencheng Xu, Qiao Liu+2 more|arXiv (Cornell University)|Nov 14, 2020

Computational Drug Discovery Methods参考文献 2被引用 15

一句话总结

该论文提出MNCE-RL，一种利用邻域控制嵌入语法的强化学习框架，可生成具有所需性质的化学有效分子。通过将分子图转化为推断的语法解析树，并采用图卷积策略网络，该方法在极少的性质评估下实现了分子优化的最先进性能，显著优于先前方法在有效性与性质优化效率方面的表现。

ABSTRACT

A major challenge in the pharmaceutical industry is to design novel molecules with specific desired properties, especially when the property evaluation is costly. Here, we propose MNCE-RL, a graph convolutional policy network for molecular optimization with molecular neighborhood-controlled embedding grammars through reinforcement learning. We extend the original neighborhood-controlled embedding grammars to make them applicable to molecular graph generation and design an efficient algorithm to infer grammatical production rules from given molecules. The use of grammars guarantees the validity of the generated molecular structures. By transforming molecular graphs to parse trees with the inferred grammars, the molecular structure generation task is modeled as a Markov decision process where a policy gradient strategy is utilized. In a series of experiments, we demonstrate that our approach achieves state-of-the-art performance in a diverse range of molecular optimization tasks and exhibits significant superiority in optimizing molecular properties with a limited number of property evaluations.

研究动机与目标

• 解决在性质评估昂贵且有限的情况下，生成具有特定期望性质的化学有效分子的挑战。
• 通过使用基于图的分子表示，克服基于SMILES的生成方法存在的脆弱性与有效性问题。
• 通过语法引导的强化学习框架，实现在巨大化学空间中的高效探索。
• 通过仅依赖少量性质评估即可实现有效优化，减少对大规模标注分子数据集的依赖。
• 开发一种在优化复杂真实分子性质（如抗菌活性和logP）的同时保持高化学有效性的方法。

提出的方法

• 该方法引入了分子邻域控制嵌入（NCE）语法，从分子图中推断生成规则，将分子表示为解析树。
• 使用图卷积网络（GCN）更新节点和边特征，捕捉细微的键差异，以提升策略学习效果。
• 将分子生成过程建模为马尔可夫决策过程（MDP），强化学习智能体逐步选择生成规则以构建有效的分子结构。
• 通过策略梯度方法训练策略网络，奖励来自性质评估函数，该函数可为学习的分类器或模拟器，当真实评估成本高昂时适用。
• 设计了一种高效算法，从给定分子中推断语法规则，使系统能够泛化至多样化的分子骨架。
• 通过仅允许符合推断语法规则的结构进行生成，确保化学有效性。

实验结果

研究问题

• RQ1 基于语法规则的方法是否能在保证生成分子化学有效性的同时，实现对化学空间的高效探索？
• RQ2 当仅有有限数量的性质评估可用时，强化学习智能体在优化分子性质方面表现如何？
• RQ3 基于图的生成方法是否能优于基于SMILES或变分自编码器的方法，在生成高性质评分分子方面表现更优？
• RQ4 在仅使用少量标注样本且无已知评估函数的情况下，该方法在生成生物活性分子方面的能力如何？
• RQ5 在GCN中引入边特征更新是否能提升分子生成过程中策略决策的质量？

主要发现

• 在性质优化任务中，MNCE-RL以有限评估次数实现了9.88的最高惩罚logP得分，显著优于所有基线方法。
• MNCE-RL生成的前50个分子平均惩罚logP得分为8.31，即使在基线方法（MHG-VAE）可使用无限评估的情况下也表现更优。
• 在抗菌活性生成任务中，所有10个最优分子的激酶、蛋白酶或酶抑制剂评分均高于0.2，其中6个高于0.5，表明具有高生物活性。
• MNCE-RL在所有生成过程中保持100%的有效性，确保所有分子均为化学有效，无需事后过滤。
• 即使仅使用2,337个标注分子，该方法仍能生成具有高预测生物活性的分子，展现出在低数据场景下的强大性能。
• 当奖励函数为有偏分类器时，模型性能依然保持优越，表明对不完美评估信号具有强鲁棒性。