[论文解读] TorsionNet: A Reinforcement Learning Approach to Sequential Conformer Search

Tarun Chowdary Gogineni, Ziping Xu+5 more|arXiv (Cornell University)|Jun 12, 2020

Computational Drug Discovery Methods被引用 9

一句话总结

TorsionNet 提出了一种用于柔性分子中高效顺序构象搜索的强化学习框架，结合课程学习与一种新颖的基于 Gibbs 分数的奖励机制，以探索二面角空间。在大分子烷烃上，其性能优于最先进化学信息学方法达 4 倍；在木质素上则提升数个数量级，且仅用极少的计算资源即可匹配昂贵的分子动力学模拟。

ABSTRACT

Molecular geometry prediction of flexible molecules, or conformer search, is a long-standing challenge in computational chemistry. This task is of great importance for predicting structure-activity relationships for a wide variety of substances ranging from biomolecules to ubiquitous materials. Substantial computational resources are invested in Monte Carlo and Molecular Dynamics methods to generate diverse and representative conformer sets for medium to large molecules, which are yet intractable to chemoinformatic conformer search methods. We present TorsionNet, an efficient sequential conformer search technique based on reinforcement learning under the rigid rotor approximation. The model is trained via curriculum learning, whose theoretical benefit is explored in detail, to maximize a novel metric grounded in thermodynamics called the Gibbs Score. Our experimental results show that TorsionNet outperforms the highest scoring chemoinformatics method by 4x on large branched alkanes, and by several orders of magnitude on the previously unexplored biopolymer lignin, with applications in renewable energy.

研究动机与目标

• 解决在具有高旋转键数量的大型柔性分子中实现高效、可扩展的构象搜索的挑战。
• 开发一种方法，超越现有化学信息学工具（如 ETKDG 和 Confab）的性能极限，尤其适用于其实际应用范围之外的分子。
• 实现在木质素等复杂生物聚合物中准确采样构象空间，这对可再生能源应用至关重要。
• 探索在组合式分子搜索问题中，课程学习在理论与实践上的优势。

提出的方法

• TorsionNet 在刚性转子近似下采用顺序强化学习方法，仅改变二面角，而固定键长与键角。
• 采用消息传递神经网络（MPNN）结合长短期记忆（LSTM）单元，以在每一步建模独立的二面角采样分布。
• 使用基于 Gibbs 分数的非平稳奖励函数，引导探索朝向低能量、热力学相关的构象。
• 通过逐步增加旋转键数量的方式应用课程学习，从简单结构开始训练至复杂结构。
• 通过直接参数迁移与基于熵的探索策略，提升训练过程中的样本效率。
• 训练过程在理论上得到保障，依据定理 1，该定理在概率保证下界定了基于课程学习的搜索样本复杂度。

实验结果

研究问题

• RQ1 强化学习能否有效应用于柔性分子的顺序构象搜索，从而超越传统化学信息学方法？
• RQ2 课程学习是否能显著降低在结构复杂性增加的组合式分子搜索任务中的样本复杂度？
• RQ3 所学习的策略能否在旋转键数量不断增加的分子中泛化，特别是在木质素等高旋转键数体系中？
• RQ4 基于 Gibbs 分数的奖励函数与标准能量奖励相比，在引导构象空间高效探索方面表现如何？
• RQ5 TorsionNet 在多大程度上能复现计算成本高昂的分子动力学模拟的构象采样结果？

主要发现

• 在高旋转键数的大型支链烷烃上，TorsionNet 的性能优于性能最高的化学信息学方法（Confab）达 4 倍。
• 在以往未被探索的生物聚合物木质素上，TorsionNet 的采样效率优于现有方法至少四个数量级。
• 尽管计算资源远少于后者，TorsionNet 在木质素上的性能与自引导分子动力学模拟相当。
• 课程学习策略显著降低了样本复杂度，理论边界表明，当任务难度逐步增加时，收敛性得到改善。
• 模型成功学习到识别并探索复杂分子中的关键构象区域，经与分子动力学模拟对比验证。
• 基于 Gibbs 分数的奖励函数有效引导了对低能量构象的探索，即使在高维二面角空间中亦然。