[论文解读] Reinforced dynamics of large atomic and molecular systems

Linfeng Zhang, Han Wang+1 more|arXiv (Cornell University)|Dec 10, 2017

Protein Structure and Dynamics被引用 1

一句话总结

本文提出了一种新颖的方法，通过将元动力学与深度强化学习相结合，以高效探索大规模原子和分子系统的构型空间并计算自由能。该方法利用神经网络实时从收集的探索数据中训练偏置势能，已在丙氨酸二肽和三肽的全原子显式溶剂模拟中展现出有前景的结果。

ABSTRACT

A new approach for efficiently exploring the configuration space and computing the free energy of large atomic and molecular systems is proposed, motivated by an analogy with reinforcement learning. There are two major components in this new approach. Like metadynamics, it allows for an efficient exploration of the configuration space by adding an adaptively computed biasing potential to the original dynamics. Like deep reinforcement learning, this biasing potential is trained on the fly using deep neural networks, with data collected judiciously from the exploration. Applications to the full-atom, explicit solvent models of alanine dipeptide and tripeptide show some of promise for this new approach.

研究动机与目标

• 解决大规模原子和分子系统中高效采样高维构型空间的挑战。
• 改进具有显式溶剂模型的复杂生物分子系统中的自由能计算。
• 开发一种结合元动力学与深度强化学习优势的自适应采样方法。
• 实现在探索过程中收集数据的同时实时训练偏置势能。

提出的方法

• 该方法采用一种在模拟过程中动态更新的自适应偏置势能。
• 偏置势能通过深度神经网络实时学习，训练数据来源于系统探索过程中收集的信息。
• 该方法受到强化学习的启发，网络学习引导采样向未探索区域进行。
• 通过将神经网络计算的偏置添加到原始势能面上，改变系统动力学。
• 在模拟过程中有策略地收集训练数据，以确保有效探索。
• 该方法整合了元动力学的原理，以防止陷入局部极小值并提高采样效率。

实验结果

研究问题

• RQ1 受强化学习启发的方法是否能提高大规模生物分子系统中构型空间探索的效率？
• RQ2 深度神经网络在实时学习偏置采样方面表现如何，能否有效提升自由能计算？
• RQ3 该混合方法在具有显式溶剂的复杂系统中是否优于传统元动力学？
• RQ4 该方法在丙氨酸二肽和三肽的全原子模拟中的表现如何？

主要发现

• 所提出的方法实现了对大规模原子和分子系统构型空间的高效探索。
• 利用深度神经网络实时学习偏置势能显著提高了采样效率。
• 该方法成功计算了丙氨酸二肽和三肽在全原子显式溶剂模型中的自由能。
• 初步结果表明该方法在复杂生物分子系统中具有广阔前景。
• 将强化学习原理与元动力学相结合，实现了自适应且数据驱动的偏置。
• 该方法在生物分子自由能计算中展现出广泛的应用潜力。