[论文解读] Understanding how T helper cells learn to coordinate effective immune responses through the lens of reinforcement learning

Takuya Kato, Tetsuya J. Kobayashi|arXiv (Cornell University)|Apr 11, 2019

Artificial Immune Systems Applications参考文献 69被引用 8

一句话总结

该论文提出了一种强化学习（RL）框架，用于建模辅助性T（Th）细胞如何通过将抗原模式与最佳效应细胞反应相关联，来学习协调有效的免疫应答。利用马尔可夫决策过程和基于网络的强化学习，该模型将克隆选择和细胞间相互作用作为涌现的学习规则推导出来，重现了实验观察到的克隆大小分布，并将适应性免疫重新解释为一种计算学习系统。

ABSTRACT

The adaptive immune system of vertebrates can detect, respond to, and memorize diverse pathogens from past experience. While the clonal selection of T helper (Th) cells is the simple and established mechanism to better recognize new pathogens, the question that still remains unexplored is how the Th cells can acquire better ways to bias the responses of immune cells for eliminating pathogens more efficiently by translating the recognized antigen information into regulatory signals. In this work, we address this problem by associating the adaptive immune network organized by the Th cells with reinforcement learning (RL). By employing recent advancements of network-based RL, we show that the Th immune network can acquire the association between antigen patterns of and the effective responses to pathogens. Moreover, the clonal selection as well as other inter-cellular interactions are derived as a learning rule of the network. We also demonstrate that the stationary clone-size distribution after learning shares characteristic features with those observed experimentally. Our theoretical framework may contribute to revising and renewing our understanding of adaptive immunity as a learning system.

研究动机与目标

• 理解T辅助细胞在病原体暴露后如何学习更有效地偏向效应免疫应答。
• 解决目前对Th细胞如何整合抗原信息与细胞因子信号以优化免疫协调的理解空白。
• 通过在算法和计算层面上应用强化学习原理，将适应性免疫重新表述为一个学习系统。
• 从强化学习动力学中推导出生物上合理的学习规则，如克隆选择和细胞间通讯。

提出的方法

• 使用马尔可夫决策过程（MDP）将Th细胞网络形式化为强化学习问题，其中状态代表抗原模式，动作代表细胞因子分泌。
• 将Th细胞群体建模为网络化系统，其中每个细胞通过病原体清除结果的试错反馈来学习最优响应策略。
• 采用基于网络的深度强化学习算法，模拟Th细胞群体中的学习动态和策略优化。
• 将克隆选择机制作为强化学习更新规则的涌现结果推导出来，其中成功克隆根据奖励信号扩展。
• 模拟学习后的稳态克隆大小分布，并与T细胞受体库研究中的实验数据进行比较。
• 利用该框架表明，细胞间相互作用（如细胞因子介导的通讯）自然地作为最优策略学习过程的一部分出现。

实验结果

研究问题

• RQ1 T辅助细胞如何学习将特定抗原模式与有效的效应细胞应答相关联，以提高病原体清除效率？
• RQ2 将Th细胞网络建模为强化学习系统时，会涌现出哪些学习规则？
• RQ3 适应性免疫系统的克隆选择机制能否作为强化学习动力学的结果被推导出来，而非预先假设？
• RQ4 在强化学习框架中，细胞间相互作用（如细胞因子信号传导）如何自然地产生？
• RQ5 该模型预测的稳态克隆大小分布是否与T细胞受体库中的实验观察结果一致？

主要发现

• 强化学习框架成功地将克隆选择机制作为涌现的学习规则推导出来，其中成功的Th细胞克隆根据有效免疫应答的奖励信号扩展。
• 该模型重现了实验观察到的T细胞克隆大小分布的关键特征，包括高通量测序数据中常见的重尾和异质性模式。
• 通过细胞因子介导的细胞间通讯自然地作为最优策略的一部分出现，表明此类相互作用并非任意，而是为最大化病原体清除而学习的结果。
• 该系统学会将特定抗原模式与适当的效应细胞应答相关联——例如，对病毒激活杀伤性T细胞，对细菌激活巨噬细胞——展示了功能特异性。
• 学习后Th细胞网络的稳态表现出的克隆大小分布与人类T细胞受体库的实证数据相匹配。
• 该框架为适应性免疫系统作为学习系统如何运作提供了统一且数学上严谨的解释，整合了计算、算法和实现层次。