[论文解读] Optimal control of nonequilibrium systems through automatic differentiation

Megan C. Engel, Jamie Smith+1 more|arXiv (Cornell University)|Jan 1, 2022

Advanced Thermodynamics and Statistical Mechanics被引用 4

一句话总结

本文提出了一种新颖的最优控制框架，用于非平衡系统，利用自动微分（AD）计算最小化耗散功的协议，该方法在远离平衡态时依然有效。该方法在磁化反转和势垒穿越等复杂系统中实现了精确优化，优于近平衡理论，并揭示了非平凡的协议形状——例如在能量势垒处加速和减速——尤其在高势垒区域表现显著。

ABSTRACT

Controlling the evolution of nonequilibrium systems to minimize dissipated heat or work is a key goal for designing nanodevices, both in nanotechnology and biology. Progress in computing optimal protocols has thus far been limited to either simple systems or near-equilibrium evolution. Here, we present an approach for computing optimal protocols based on automatic differentiation. Our methodology is applicable to complex systems and multidimensional protocols and is valid arbitrarily far from equilibrium. We validate our method by reproducing theoretical optimal protocols for a Brownian particle in a time-varying harmonic trap. We also compute departures from near-equilibrium behaviour for magnetization reversal on an Ising lattice and for barrier crossing driven by a harmonic trap, which has been used to represent a range of biological processes including biomolecular unfolding reactions. Algorithms based on automatic differentiation outperform the near-equilibrium theory for far-from-equilibrium magnetization reversal and driven barrier crossing. The optimal protocol for crossing an energy landscape barrier of 10kT is found to hasten the approach to, and slow the departure from, the barrier region compared to the near-equilibrium theoretical protocol.

研究动机与目标

• 开发一种通用方法，用于计算复杂、远离平衡态系统中的最优控制协议，这些系统中传统方法失效。
• 克服近平衡近似在最优控制中的局限性，后者将适用范围限制在低势垒系统。
• 实现在纳米磁体和生物分子等系统中热力学功与耗散热的高精度优化。
• 在典型非平衡问题（如伊辛模型的磁化反转和布朗动力学中的势垒穿越）中展示该方法的有效性。
• 揭示远离平衡态区域中出现的非平凡协议结构，其与近平衡理论预测显著不同。

提出的方法

• 利用自动微分（AD）通过整个随机模拟反向传播，计算平均耗散功相对于协议参数的梯度。
• 将AD应用于二维伊辛模型的蒙特卡洛（MC）模拟，以优化磁化反转协议。
• 在布朗粒子处于时变谐振子势阱中的分子动力学（MD）模拟中应用AD，以重现解析已知的最优协议。
• 采用重参数化技巧，将噪声视为随机变量的确定性函数，从而在过阻尼朗之万动力学中实现高效的梯度计算。
• 使用Adam优化器，结合批量轨迹采样和分段多项式参数化（如切比雪夫多项式），实现平滑、自适应的控制轨迹。
• 在高势垒系统中，采用REINFORCE方法改善梯度估计，当直接反向传播不稳定时提升性能。

实验结果

研究问题

• RQ1 如何在近平衡近似失效的复杂、远离平衡态系统中计算最优控制协议？
• RQ2 远离平衡态区域中的最优协议结构与线性响应理论预测的协议有何本质差异？
• RQ3 自动微分能否实现对伊辛模型和生物分子势垒穿越等系统中耗散功的精确且高效优化？
• RQ4 当势垒高度超过近平衡极限时，最优协议形状如何演化？
• RQ5 在高耗散、高势垒场景中，基于AD的协议在多大程度上优于近平衡理论协议？

主要发现

• 在二维伊辛模型中，AD方法在线性区域与近平衡理论一致，但在远离平衡态区域显著优于后者，显著降低了耗散功。
• 在时变谐振子势阱中的布朗粒子系统中，该方法成功重现了已知的解析最优协议，验证了其准确性。
• 在10 $k_{\text{B}}T$ 势垒穿越中，最优协议使粒子加速进入势垒区域，并在离开时减速，与近平衡协议有显著差异。
• AD方法捕捉到了高势垒系统中的非平凡协议动力学，揭示最优控制并非对平衡行为的简单微扰。
• 在10 $k_{\text{B}}T$ 势垒情况下，REINFORCE方法相比直接梯度估计提升了收敛性，使高耗散区域的可靠优化成为可能。
• 该方法实现了对任意复杂度和远离平衡态动力学系统中复杂多维协议的高效优化，克服了以往分析方法或近平衡方法的局限。