[论文解读] Multiple-objective Reinforcement Learning for Inverse Design and Identification

Haoran Wei, Mariefel V. Olarte+1 more|arXiv (Cornell University)|Oct 9, 2019

Computational Drug Discovery Methods参考文献 20被引用 4

一句话总结

本文提出了一种结合课程学习的强化学习框架，用于多目标逆向分子设计与识别，能够同时满足最多21项约束（例如分子量、官能团等）。通过优化奖励函数以优先学习未充分掌握的目标，该模型在识别未知分子方面实现了83–100%的成功率，优于完全失败的基线方法。

ABSTRACT

The aim of the inverse chemical design is to develop new molecules with given optimized molecular properties or objectives. Recently, generative deep learning (DL) networks are considered as the state-of-the-art in inverse chemical design and have achieved early success in generating molecular structures with desired properties in the pharmaceutical and material chemistry fields. However, satisfying a large number (larger than 10 objectives) of molecular objectives is a limitation of current generative models. To improve the model's ability to handle a large number of molecule design objectives, we developed a Reinforcement Learning (RL) based generative framework to optimize chemical molecule generation. Our use of Curriculum Learning (CL) to fine-tune the pre-trained generative network allowed the model to satisfy up to 21 objectives and increase the generative network's robustness. The experiments show that the proposed multiple-objective RL-based generative model can correctly identify unknown molecules with an 83 to 100 percent success rate, compared to the baseline approach of 0 percent. Additionally, this proposed generative model is not limited to just chemistry research challenges; we anticipate that problems that utilize RL with multiple-objectives will benefit from this framework.

研究动机与目标

• 开发一种深度学习框架，用于逆向分子设计与识别，能够处理大量分子性质约束。
• 解决在同时优化超过5项目标时生成模型性能下降的问题。
• 通过强化学习提高多目标分子生成的鲁棒性与收敛性。
• 实现仅基于光谱和结构约束对未知有机分子的高精度识别。
• 减少对人工设计动作的依赖，将约束直接嵌入强化学习奖励函数中。

提出的方法

• 该框架使用在生成式RNN上训练的强化学习智能体，生成表示分子的SMILES字符串。
• 分子量、官能团等约束被编码为强化学习奖励函数的组成部分。
• 通过将训练划分为多个阶段，逐步增加活跃约束的数量，应用课程学习。
• 引入一种启发式方法，通过基于阈值的选择（ξ = 0.5）识别并优先处理学习较弱的目标，重构约束函数。
• 经过优化的约束函数C′在早期阶段排除学习较差的约束，并在后期重新引入，以避免陷入局部最优。
• 通过top-5奖励分数和与目标分子的结构相似度对模型进行评估。

实验结果

研究问题

• RQ1 基于强化学习的生成模型能否有效同时优化超过10项分子目标？
• RQ2 与标准强化学习训练相比，课程学习如何提升多目标分子生成的性能？
• RQ3 课程阶段数量和约束优先级启发式方法对模型收敛性和准确性有何影响？
• RQ4 该模型能否仅基于一组结构和性质约束，以高精度识别未知分子？
• RQ5 为何一些高奖励预测未能实现高结构相似性？这一问题是否可被缓解？

主要发现

• 所提出的模型成功识别出5个未知目标分子中的4个，成功率在83–100%之间，而基线方法为0%。
• 该模型在所有五个测试分子上均达到最大top-5奖励分数，表明其在多项目标优化方面表现有效。
• 采用自适应约束加权的优化课程启发式方法显著提升了结构相似性，尤其在目标4和目标5上，初始性能较差但后期得到明显改善。
• 课程阶段过多的模型表现更差，表明过度划分阶段可能使智能体陷入次优局部最优。
• 使用基于阈值的启发式方法（ξ = 0.5）识别并优先处理学习较弱的约束，显著提升了最终性能与鲁棒性。
• 该框架证明，结合课程学习的强化学习可同时处理最多21项分子约束，显著扩展了当前生成模型的适用范围。