[论文解读] Toggling a Genetic Switch Using Reinforcement Learning

Aivar Sootla, Natalja Strelkowa+3 more|arXiv (Cornell University)|Mar 12, 2013

Gene Regulatory Network Analysis参考文献 14被引用 14

一句话总结

本文提出了一种基于强化学习的控制框架，用于在无需详细数学模型的情况下切换合成基因开关。通过在模拟或实验数据上使用拟合Q-iteration，该方法学习到一种最优控制策略，可将蛋白浓度驱动至目标状态，成功处理了随机动力学，并在参数不确定性下实现了高效的在线自适应，兼顾探索与利用的权衡。

ABSTRACT

In this paper, we consider the problem of optimal exogenous control of gene regulatory networks. Our approach consists in adapting an established reinforcement learning algorithm called the fitted Q iteration. This algorithm infers the control law directly from the measurements of the system's response to external control inputs without the use of a mathematical model of the system. The measurement data set can either be collected from wet-lab experiments or artificially created by computer simulations of dynamical models of the system. The algorithm is applicable to a wide range of biological systems due to its ability to deal with nonlinear and stochastic system dynamics. To illustrate the application of the algorithm to a gene regulatory network, the regulation of the toggle switch system is considered. The control objective of this problem is to drive the concentrations of two specific proteins to a target region in the state space.

研究动机与目标

• 开发一种无模型的控制策略，用于合成基因调控网络，以最小化宿主细胞负担并实现期望行为。
• 利用数据驱动的强化学习应对基因调控网络中建模复杂性与随机性的挑战。
• 通过结合预训练策略与实验或模拟中的实时数据，实现实时学习的高效性。
• 在参数不确定性和随机动力学下实现对切换开关的鲁棒控制。
• 证明控制策略在结构相似但定量参数不同的系统之间具有泛化能力。

提出的方法

• 采用拟合Q-iteration从单步系统转移（状态、动作、下一状态）中推断控制策略，无需系统模型。
• 使用模拟或以往实验的输入-输出数据作为训练数据，初始化控制策略。
• 采用探索-利用策略，结合衰减的ε-greedy策略，以平衡数据收集与控制性能。
• 通过混合新获取的实验或模拟数据与历史观测数据，实现控制策略的在线更新。
• 由于拟合Q-iteration具有样本高效性和非参数特性，天然适用于非线性和随机动力学。
• 使用单调递减的探索率 ε·σ(t)，以优先在早期阶段进行探索，后期转向利用。

实验结果

研究问题

• RQ1 无模型的强化学习方法是否能有效控制合成基因切换开关，而无需依赖详细的数学模型？
• RQ2 当将拟合Q-iteration算法应用于具有参数不确定性的不同但结构相似的系统时，其泛化能力如何？
• RQ3 该算法在控制过程中对基因表达动力学中的内在随机性处理能力如何？
• RQ4 探索-利用权衡对实时设置下收敛速度与控制精度的影响程度如何？
• RQ5 与静态预训练策略相比，使用实时数据进行在线策略更新是否能显著提升控制性能？

主要发现

• 该算法在确定性和随机模拟中均成功将基因开关切换至目标蛋白浓度状态，即使训练与验证模型的定量行为显著不同。
• 该方法对随机性表现出鲁棒性，在随机情况下的定性控制性能与确定性情况非常接近。
• 当光脉冲使用成本惩罚提高时，算法需要更长时间完成切换，证实其能根据控制目标中的成本约束自适应调整。
• 采用在线更新并设置 ε = 0.5、0.25 和 0.1 的结果显示，更高的探索率可加快学习速度，尽管所有轨迹最终均成功达到目标。
• 该框架在具有参数不确定性的系统间表现出良好的泛化能力，表明其在更复杂合成基因网络中的应用潜力。
• 当应用于随机系统时，算法无需修改即可保持性能，凸显其对含噪声的真实生物数据的天然适用性。