[论文解读] Reinforcement Learning for Molecular Design Guided by Quantum Mechanics

Gregor N. C. Simm, Robert Pinsler+1 more|arXiv (Cornell University)|Feb 18, 2020

Machine Learning in Materials Science参考文献 37被引用 21

一句话总结

本文提出了一种在三维笛卡尔坐标系中直接操作的强化学习框架，用于分子设计，能够通过在画布上按顺序放置原子，生成包括团簇和无机分子在内的多样化分子结构。该方法采用量子化学能量计算作为基于物理的奖励信号，并在名为 MolGym 的新环境中，通过旋转和平移不变的策略网络实现成功学习，生成的分子具有高有效性和结构稳定性。

ABSTRACT

Automating molecular design using deep reinforcement learning (RL) holds the promise of accelerating the discovery of new chemical compounds. Existing approaches work with molecular graphs and thus ignore the location of atoms in space, which restricts them to 1) generating single organic molecules and 2) heuristic reward functions. To address this, we present a novel RL formulation for molecular design in Cartesian coordinates, thereby extending the class of molecules that can be built. Our reward function is directly based on fundamental physical properties such as the energy, which we approximate via fast quantum-chemical methods. To enable progress towards de-novo molecular design, we introduce MolGym, an RL environment comprising several challenging molecular design tasks along with baselines. In our experiments, we show that our agent can efficiently learn to solve these tasks from scratch by working in a translation and rotation invariant state-action space.

研究动机与目标

• 为克服基于图的分子生成在强化学习中所受的限制，后者将模型限制在单一有机分子及启发式奖励函数上。
• 通过在三维笛卡尔空间中操作而非基于图的表示，实现对复杂分子体系（包括团簇和无机化合物）的设计。
• 开发基于基本物理性质的奖励函数，具体为通过快速的量子化学方法近似得到的电子能级。
• 提出 MolGym，一个包含多样化分子设计任务和基于量子化学的基线性能指标的基准环境，用于评估强化学习智能体。
• 设计一种对平移和旋转不变的策略网络架构，实现在三维分子空间中稳定且可泛化的端到端学习。

提出的方法

• 智能体在马尔可夫决策过程中运行，其中状态表示原子坐标，动作对应于在画布上特定三维位置放置原子。
• 通过使用相对坐标和原子间距离作为输入特征，使状态表示对平移和旋转保持不变。
• 奖励函数源自量子力学能量，通过 PM6 半经验方法计算，以引导智能体趋向低能量、稳定的分子构型。
• 提出一种新型的演员-评论家神经网络架构，利用消息传递层编码原子相互作用，同时保持对全局平移和旋转的不变性。
• 训练采用标准策略梯度方法（如 PPO），端到端优化策略，通过随机动作采样实现探索。
• MolGym 环境包含单分子形成、多袋合成和溶剂化建模等任务，每项任务均设有预设的目标化学计量比和基线性能指标。

实验结果

研究问题

• RQ1 在笛卡尔坐标系中的强化学习能否生成超出基于图方法范围的稳定且有效的分子结构？
• RQ2 基于量子化学能量的物理奖励函数是否能相比启发式描述符，显著提升生成分子的质量与稳定性？
• RQ3 对平移和旋转不变的策略网络能否在无先验结构归纳偏差的情况下，从零开始有效学习分子设计任务？
• RQ4 该方法在扩展至更大或更复杂的分子体系（如团簇或多组分分子）方面具有多大程度的可扩展性？
• RQ5 在有效性、多样性和结构稳定性方面，该智能体的性能与现有基准相比如何？

主要发现

• 在 C2H2O2 任务中，智能体的有效性达到 90%，在各类单袋任务中有效性为 70–90%，中位数 RMSD 值低于 0.5 Å，表明具有高度的结构稳定性。
• 在多袋任务中，智能体成功生成 22 种独特的有效分子，中位数 RMSD 为 0.05 Å，证明其在复杂多组分体系中具备有效学习能力。
• 在溶剂化任务中，智能体的有效性达到 80–90%，中位数 RMSD 值为 0.92–1.06 Å，显示出建模溶剂相互作用的能力。
• 在 C7H8N2O2 任务中，该方法最多生成 61 种独特的分子，表明即使在目标化学式复杂的情况下，仍具备强大的多样性生成能力。
• 对平移和旋转不变的策略网络实现了稳定训练和跨不同分子任务的泛化能力，且无需显式的几何监督。
• 使用量子化学能量作为奖励函数，成功引导生成低能量、稳定的分子构型，该结果经后续能量优化进一步验证。