[论文解读] REinforcement learning based Adaptive samPling: REAPing Rewards by Exploring Protein Conformational Landscapes

Zahra Shamsi, Kevin J. Cheng+1 more|arXiv (Cornell University)|Oct 2, 2017

Protein Structure and Dynamics被引用 1

一句话总结

本文提出 REAP，一种基于强化学习的自适应采样算法，可在分子动力学模拟过程中动态识别并优先处理最具信息量的反应坐标，从而加速构象景观的探索。通过实时学习集体变量的相对重要性，REAP 在等效模拟时间内，相较于长时间连续 MD 和最少计数自适应采样，能更高效地发现更大范围的构象空间。

ABSTRACT

One of the key limitations of Molecular Dynamics (MD) simulations is the computational intractability of sampling protein conformational landscapes associated with either large system size or long time scales. To overcome this bottleneck, we present the REinforcement learning based Adaptive samPling (REAP) algorithm that aims to efficiently sample conformational space by learning the relative importance of each order parameter as it samples the landscape. To achieve this, the algorithm uses concepts from the field of reinforcement learning, a subset of machine learning, which rewards sampling along important degrees of freedom and disregards others that do not facilitate exploration or exploitation. We demonstrate the effectiveness of REAP by comparing the sampling to long continuous MD simulations and least-counts adaptive sampling on two model landscapes (L-shaped and circular) and realistic systems such as alanine dipeptide and Src kinase. In all four systems, the REAP algorithm consistently demonstrates its ability to explore conformational space faster than the other two methods when comparing the expected values of the landscape discovered for a given amount of time. The key advantage of REAP is on-the-fly estimation of the importance of collective variables, which makes it particularly useful for systems with limited structural information.

研究动机与目标

• 解决因大体系或长时标导致分子动力学模拟采样缓慢所引发的计算瓶颈问题。
• 克服现有增强采样方法依赖预定义、先验已知的相关反应坐标的局限性。
• 开发一种自适应采样框架，可在模拟过程中实时学习集体变量的重要性。
• 在不改变底层哈密顿量的前提下，提升复杂生物分子体系（如丙氨酸二肽和 Src 激酶）的采样效率。
• 通过生成多样化、具有代表性的轨迹数据，实现更准确、高效的马尔可夫状态模型（MSM）构建。

提出的方法

• REAP 算法采用强化学习原理，根据反应坐标对探索与利用的贡献，动态分配权重。
• 在每次迭代中，算法基于其学习到的重要性权重选择一个反应坐标进行采样，该权重通过时序差分学习进行更新。
• 该方法使用一组短时、并行的轨迹来探索构象空间，每条轨迹由加权的反应坐标引导。
• 重要性权重根据每轮中新探索的构象空间范围所导出的奖励信号进行更新。
• 算法会自动降低对无产出或冗余反应坐标的权重，例如在 L 形势势阱测试中的正交坐标（Z）。
• 该方法避免对势能面造成偏差，从而保持模拟的热力学与动力学准确性。

实验结果

研究问题

• RQ1 强化学习能否有效用于在蛋白质构象景观自适应采样过程中识别并优先处理最具信息量的反应坐标？
• RQ2 与需要预设坐标的传统方法相比，REAP 在线估计反应坐标重要性的表现如何？
• RQ3 与长时间连续 MD 和最少计数自适应采样相比，REAP 在加速发现亚稳态和构象转变方面能达到何种程度？
• RQ4 在缺乏先验结构知识的前提下，REAP 是否能高效探索复杂、高维的构象景观，如 Src 激酶和丙氨酸二肽系统？
• RQ5 在提升采样效率的同时，REAP 是否能保持热力学准确性，避免传统偏置 MD 方法固有的偏差？

主要发现

• 在 L 形势和圆形势阱景观中，REAP 发现的构象空间比例显著高于单条长轨迹和最少计数自适应采样方法，且在 100 次重复试验中均表现出更高的期望值。
• 在丙氨酸二肽系统中，REAP 探测到了单条长轨迹无法触及的 φ–ψ 景观区域，且其探索程度高于最少计数自适应采样方法，如代表性分子结构所示。
• 在 Src 激酶模拟中，尽管单条长轨迹模拟运行了 15 µs 仍未达到活性构象，而 REAP 顺利实现了对该构象的访问。
• 通过正交反应坐标（Z）权重的衰减，验证了算法动态权重调整的有效性，证实其具备识别并抑制无产出方向的能力。
• 在所有测试体系中，REAP 在单位模拟时间内对构象景观的期望覆盖范围始终优于基线方法。
• REAP 在识别 Src 激酶中的关键反应坐标（如 K-E 距离和 A-loop RMSD）方面表现出稳健性，从而实现了对功能转变路径的高效探索。